JP6704962B2 - Decoding device and decoding method - Google Patents
Decoding device and decoding method Download PDFInfo
- Publication number
- JP6704962B2 JP6704962B2 JP2018150570A JP2018150570A JP6704962B2 JP 6704962 B2 JP6704962 B2 JP 6704962B2 JP 2018150570 A JP2018150570 A JP 2018150570A JP 2018150570 A JP2018150570 A JP 2018150570A JP 6704962 B2 JP6704962 B2 JP 6704962B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- block
- vector
- unit
- decoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、動き補償を用いて画像に含まれるブロックを復号する処理に関する。 The present invention relates to a process of decoding a block included in an image using motion compensation.
動画像の圧縮記録の符号化方式として、H.264/MPEG−4 AVC(以下H.264と略す)が知られている(非特許文献1)。H.264においては従来の符号化方式と同様に他のピクチャを参照して動き補償を行うことによって符号化効率を向上させている。マクロブロック(16画素×16画素)単位またはブロック(8画素×8画素等)単位に動きベクトルを符号化することできる。動きベクトルの符号化においては周囲のブロック(左、上、右上)の動きベクトルの中央値を用いて予測動きベクトルを算出し、これと符号化対象の動きベクトルとの誤差を符号化している。また、H.264では階層符号化を行うことができる。非特許文献1のAnnex G Scalable videocodingの章に記載されている。空間スケーラビリティの場合、拡張レイヤの動きベクトルの符号化時に通常の動きベクトルの中央値の代わりに、基本レイヤのブロックの動きベクトルを拡大して予測動きベクトル(以後、レイヤ間予測動きベクトルと呼ぶ)とすることができる。すなわち、motion_prediction_flagを用いて、この値が真であれば拡大して得られた動きベクトルを用いることができる。 As a coding method for compressed recording of moving images, H.264 is used. H.264/MPEG-4 AVC (hereinafter abbreviated as H.264) is known (Non-Patent Document 1). H. In H.264, coding efficiency is improved by performing motion compensation by referring to other pictures as in the conventional coding method. The motion vector can be encoded in units of macroblocks (16 pixels×16 pixels) or blocks (8 pixels×8 pixels, etc.). In coding a motion vector, a predicted motion vector is calculated using the median value of motion vectors of surrounding blocks (left, upper, upper right), and the error between this and the motion vector to be coded is coded. In addition, H. In H.264, hierarchical coding can be performed. Non-Patent Document 1 is described in the chapter of Annex G Scalable video coding. In the case of spatial scalability, when the motion vector of the enhancement layer is encoded, the motion vector of the block of the base layer is expanded instead of the median value of the normal motion vector to predict the motion vector (hereinafter referred to as inter-layer motion vector predictor). Can be That is, if motion_prediction_flag is used and the value is true, the motion vector obtained by expansion can be used.
また、近年、H.264の後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始された。このために、JCT−VC(Joint CollaborativeTeam on Video Coding)がISO/IECとITU−Tの間で設立された。ここではHigh Efficiency Video Coding符号化方式(以下、HEVCと略す)として標準化が進められている。HEVCでは動きベクトルの新しい符号化方式として、Advanced Motion Vector Prediction(以下、AMVP)が提案されている(非特許文献2)。AMVPでは周囲のブロックの動きベクトルの中央値を参照動きベクトルとするだけではなく、周囲のブロックの動きベクトル自体も参照動きベクトルとなる。また、周囲のブロックの動きベクトルだけではなく、符号化順で前のピクチャの同じ位置のブロックの動きベクトル(以後、時間方向予測動きベクトル)も含めて予測動きベクトルとする。これらの予測動きベクトルから同じ成分の動きベクトルをまとめることで対象となる動きベクトルを削減し、この中から最も近い動きベクトルを選択する。選択された動きベクトルを識別する符号(以下、予測ベクトルインデックス符号)と予測の結果の予測誤差を符号化する。これにより、符号化効率の向上を図っている。 In addition, in recent years, H. As a successor to H.264, activities for international standardization of more efficient coding schemes have started. For this purpose, JCT-VC (Joint Collaborative Team on Video Coding) was established between ISO/IEC and ITU-T. Here, standardization is underway as a High Efficiency Video Coding coding system (hereinafter abbreviated as HEVC). In HEVC, Advanced Motion Vector Prediction (hereinafter, AMVP) has been proposed as a new motion vector encoding method (Non-Patent Document 2). In AMVP, not only the median value of the motion vectors of surrounding blocks is used as a reference motion vector, but the motion vector itself of surrounding blocks is also used as a reference motion vector. Further, not only the motion vector of the surrounding block but also the motion vector of the block at the same position of the previous picture in the coding order (hereinafter, the temporal motion vector predictor) is set as the motion vector predictor. The target motion vector is reduced by collecting motion vectors of the same component from these predicted motion vectors, and the closest motion vector is selected from them. A code for identifying the selected motion vector (hereinafter, prediction vector index code) and a prediction error as a result of prediction are encoded. This improves the coding efficiency.
HEVCにおいて、階層符号化を実現しようとした時、H.264のように拡張レイヤの動きベクトルまたは基本レイヤの動きベクトルを参照するかを選択することになる。しかしながら、H.264のように参照動きベクトルを選択するのであれば前述の方式でも構わないが、AMVPによる予測ベクトルインデックス符号とレイヤ間動きベクトルの予測を選択するフラグが必要になり符号化効率が向上しないという問題が生じている。 In HEVC, when an attempt is made to realize hierarchical coding, H.264/AVC is used. As in H.264, reference is made to the motion vector of the enhancement layer or the motion vector of the base layer. However, H. If the reference motion vector is selected like H.264, the above-mentioned method may be used, but the problem that the prediction vector index code by AMVP and the flag for selecting the prediction of the inter-layer motion vector are required and the coding efficiency is not improved. Is occurring.
したがって、本発明は上述した課題を解決するためになされたものであり、階層符号化の拡張レイヤでの動きベクトルの符号化をより簡易な構成で行い、符号化効率の向上を図ることを目的としている。 Therefore, the present invention has been made to solve the above-mentioned problems, and an object of the present invention is to improve the encoding efficiency by performing the encoding of the motion vector in the enhancement layer of the hierarchical encoding with a simpler configuration. I am trying.
前述の問題点を解決するため、本発明の復号装置は以下の構成を有する。 In order to solve the above problems, the decoding device of the present invention has the following configuration.
複数のレイヤを用いて階層符号化されたビットストリームから、画像に含まれる少なくとも1つのブロックを復号する復号装置であって、
復号対象の画像が属する第1レイヤにおける、復号対象のブロックが属する画像より前に復号済みである画像に含まれ、当該復号対象のブロックに対応する位置にあるブロックの動きベクトルである第1ベクトルと、
前記復号対象の画像が属する第1レイヤとは異なる第2レイヤにおける画像に含まれ、復号対象のブロックに対応する位置にあるブロックの動きベクトルである第2ベクトルと、
前記復号対象の画像が属する第1レイヤにおける画像に含まれ、復号対象のブロックの周囲のブロックの動きベクトルである第3ベクトルと、を取得する取得手段と、
前記第1ベクトル、前記第2ベクトル、及び前記第3ベクトルから、前記取得手段によって取得すべき候補となる動きベクトル群を決定し、当該決定に基づいて取得された候補となる動きベクトル群のうち、前記ビットストリームから復号された予測動きベクトルの順番を表す識別情報に対応する動きベクトルを復号対象のブロックの動きベクトルの予測に用いる予測動きベクトルとして決定する決定手段と、
前記ビットストリームから復号された量子化係数および前記決定手段によって決定された予測動きベクトルに基づいて、前記復号対象のブロックを復号する復号手段とを有し、
前記決定手段は、前記候補となるベクトル群を決定するために同じ成分の動きベクトルをまとめる処理を行い、
前記決定手段は、前記第2ベクトルが前記候補となる動きベクトル群に存在する場合に、前記第1ベクトルを前記候補となる動きベクトル群として含めずに、前記第2ベクトルと、前記第3ベクトルとのうちの少なくともいずれか一つを、前記候補となる動きベクトル群として決定し、
前記決定手段は、前記第2のベクトルを前記候補となる動きベクトル群の所定の順番に配置し、それ以外のベクトルの順番をブロックの位置に基づいて決定することを特徴とする復号装置。
A decoding device for decoding at least one block included in an image from a bitstream hierarchically encoded using a plurality of layers,
A first vector that is included in an image that has been decoded before the image to which the decoding target block belongs in the first layer to which the decoding target image belongs and that is a motion vector of a block at a position corresponding to the decoding target block When,
A second vector which is included in an image in a second layer different from the first layer to which the image to be decoded belongs and which is a motion vector of a block at a position corresponding to the block to be decoded;
An acquisition unit that acquires a third vector that is included in the image in the first layer to which the image to be decoded belongs and that is a motion vector of a block around the block to be decoded,
From the first vector, the second vector, and the third vector, a candidate motion vector group to be acquired by the acquisition unit is determined, and among the candidate motion vector groups acquired based on the determination. Deciding means for deciding a motion vector corresponding to identification information indicating the order of the motion vector predictor decoded from the bitstream, as a motion vector predictor used for predicting the motion vector of the block to be decoded,
A quantized coefficient decoded from the bitstream, and a decoding unit that decodes the block to be decoded, based on the motion vector predictor determined by the determining unit,
The determining means performs a process of collecting motion vectors of the same component to determine the candidate vector group,
When the second vector exists in the candidate motion vector group, the determining means does not include the first vector as the candidate motion vector group, and the second vector and the third vector At least one of the above is determined as the candidate motion vector group ,
The decoding device, wherein the determining means arranges the second vectors in a predetermined order of the candidate motion vector group and determines the order of the other vectors based on the position of the block .
さらに、本発明の復号方法は以下の構成を有する。 Furthermore, the decoding method of the present invention has the following configuration.
複数のレイヤを用いて階層符号化されたビットストリームから動きベクトルを復号する復号方法であって、
復号対象の画像が属する第1レイヤにおける、復号対象のブロックが属する画像より前に復号済みの画像の、当該復号対象のブロックに対応する位置にあるブロックの動きベクトルである第1ベクトルと、
復号対象の画像が属する第1レイヤと異なる第2レイヤにおける画像の、復号対象のブロックに対応する位置にあるブロックの動きベクトルである第2ベクトルと、
復号対象の画像が属する第1レイヤにおける画像の、復号対象のブロックの周囲のブロックの動きベクトルである第3ベクトルと、を取得する取得工程と、
前記第1ベクトル、前記第2ベクトル、及び前記第3ベクトルのうち、前記取得工程によって取得すべき候補となるベクトル群を決定し、当該決定に基づいて取得された候補となるベクトル群のうち、前記ビットストリームから復号された予測動きベクトルの順番を表す識別情報に対応する動きベクトルを復号対象のブロックの動きベクトルの予測に用いる予測動きベクトルとして決定する決定工程と、
前記ビットストリームから復号された量子化係数および前記決定工程において決定された予測動きベクトルに基づいて、前記復号対象のブロックを復号する復号工程とを有し、
前記決定工程において、前記候補となるベクトル群を決定するために同じ成分の動きベクトルをまとめる処理が行われ、
前記決定工程において、前記第2ベクトルが前記候補となるベクトル群に存在する場合に、前記第1ベクトルを前記候補となるベクトル群として含めずに、前記第2ベクトルと、前記第3ベクトルとのうちの少なくともいずれか一つが、前記候補となるベクトル群として決定され、
前記決定工程において、前記第2のベクトルが前記候補となる動きベクトル群の所定の順番に配置され、それ以外のベクトルの順番がブロックの位置に基づいて決定されることを特徴とする復号方法。
A decoding method for decoding a motion vector from a bitstream hierarchically encoded using a plurality of layers,
A first vector, which is a motion vector of a block at a position corresponding to the decoding target block in an image that has been decoded before the image to which the decoding target block belongs, in the first layer to which the decoding target image belongs;
A second vector which is a motion vector of a block at a position corresponding to the block to be decoded in the image in the second layer different from the first layer to which the image to be decoded belongs;
An acquisition step of acquiring a third vector, which is a motion vector of a block around the block to be decoded, of the image in the first layer to which the image to be decoded belongs,
Of the first vector, the second vector, and the third vector, a candidate vector group to be acquired by the acquisition step is determined, and a candidate vector group acquired based on the determination is determined, A determining step of determining a motion vector corresponding to identification information indicating the order of the motion vector predictor decoded from the bitstream, as a motion vector predictor used for predicting the motion vector of the block to be decoded;
A decoding step of decoding the block to be decoded, based on the quantized coefficient decoded from the bitstream and the motion vector predictor determined in the determining step,
In the determining step, a process of collecting motion vectors of the same component is performed to determine the vector group that is the candidate,
In the determining step, if the second vector exists in the candidate vector group, the first vector is not included as the candidate vector group, and the second vector and the third vector are not included. At least one of them is determined as the candidate vector group ,
In the determination step, decoding method the second vector are arranged in a predetermined order of the motion vector group to be the candidate, the order of the other vectors are characterized Rukoto is determined based on the position of the block.
本発明により、符号化効率が向上したデータを処理するための復号装置および方法を提供することができる。 According to the present invention, it is possible to provide a decoding device and method for processing data with improved coding efficiency.
以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。 Hereinafter, the present invention will be described in detail based on its preferred embodiments with reference to the accompanying drawings. Note that the configurations shown in the following embodiments are merely examples, and the present invention is not limited to the illustrated configurations.
<実施形態1>
以下、本発明の実施形態を、図面を用いて説明する。図1は本実施形態の画像符号化装置を示すブロック図である。図1において、106は画像データを入力する端子である。107は入力された画像データをピクチャ毎に格納するフレームメモリである。113は変倍部であり、入力された画像データを倍率n/m(n、mは正の数)で変倍する。114は変倍された画像データをピクチャ単位で格納するフレームメモリである。108、115は予測部であり、画像データを複数のブロックに切り出し、フレーム内予測であるイントラ予測や、動き補償によるインター予測等を行い、予測画像データを生成する。但し、予測の方法についてはこれらに限定されない。さらに入力された画像データと前記予測画像データから予測誤差を算出し、出力する。インター予測を行う場合は符号化済みの他のピクチャを参照し、動きベクトルを算出し、出力する。また予測に必要な情報、例えば、イントラ予測モード等の情報も予測誤差と併せて出力される。109、116は前記予測誤差をブロック単位で直交変換して変換係数を得て、さらに量子化を行い、量子化係数を得る変換・量子化部である。112、119は再生された画像データを格納しておくフレームメモリである。111、118は画像再生部である。ブロック単位で量子化係数を入力し、逆量子化を行って、変換係数を得て、さらに逆直交変換を行い、予測誤差を再生する。予測部108、115から動きベクトルや予測に関する情報からフレームメモリ112、119を適宜参照して予測画像データを生成し、これと再生された予測誤差から再生画像データを生成し、出力する。110、117は変換・量子化部109、116から出力された量子化係数を符号化して量子化係数符号データを生成する係数符号化部である。
<Embodiment 1>
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing an image coding apparatus according to this embodiment. In FIG. 1, 106 is a terminal for inputting image data. A
100は本発明に関する動きベクトル符号化装置である。101、104はブロック単位で動きベクトルを保持する動きベクトル保持部である。動きベクトル保持部104は予測部108で生成された動きベクトルを、動きベクトル保持部101は予測部115で生成された動きベクトルを、保持しておく。102、105は予測部108、115で生成したブロックの動きベクトルを符号化して動きベクトル符号データを生成する動きベクトル符号化部である。103は変倍部113の変倍率に応じて動きベクトルを変倍する動きベクトル変倍部である。120は変倍部であり、変倍部113と逆の変倍率(m/n)でフレームメモリ119の画像データを変倍する。
121、122は統合符号化部である。ヘッダ情報や予測に関する情報の符号データを生成するとともに、動きベクトル符号化部102、105で生成された動きベクトル符号データおよび係数符号化部110、117で生成された量子化係数符号データを統合する。
121 and 122 are integrated encoding units. Code data of header information and information about prediction is generated, and the motion vector code data generated by the motion
ここで、フレームメモリ114、119、予測部115、変換・量子化部116、係数符号化部117、画像再生部118、動きベクトル保持部101、動きベクトル符号化部102は基本レイヤの画像データを符号化する。また、フレームメモリ107、112、予測部108、変換・量子化部109、係数符号化部110、画像再生部111、動きベクトル保持部104、動きベクトル符号化部105は拡張レイヤの画像データを符号化する。
Here, the
123はこれらの基本レイヤの符号データと拡張レイヤの符号データを多重化してビットストリームを形成する多重化部である。124は端子であり、多重化部123で生成されたビットストリームを外部に出力する端子である。
A
上記画像符号化装置における画像の符号化動作を以下に説明する。最初に基本レイヤの符号化動作について説明する。 The image encoding operation in the image encoding device will be described below. First, the coding operation of the base layer will be described.
端子106から入力された1フレーム分の画像データはフレームメモリ107に格納される。変倍部113ではフレームメモリ107に格納された画像データを所定の倍率n/mで変倍する。空間スケーラビリティの場合、n/mは1未満の値となる。変倍された画像データはフレームメモリ114に格納される。また、変倍率は変倍部120、動きベクトル変倍部103に入力される。
The image data for one frame input from the terminal 106 is stored in the
予測部115はイントラ予測または動き補償によるインター予測を行う。変倍部120はフレームメモリ119の基本レイヤの画像データをm/n倍に変倍して基本レイヤの参照画像データを生成する。インター予測の場合はフレームメモリ119に格納されている符号化済みのピクチャと基本レイヤの参照画像データを参照し、動きベクトルを算出する。算出された動きベクトルは画像再生部118、動きベクトル保持部101に入力される。動きベクトル保持部101はブロック単位で動きベクトルを保持する。また、予測部115は生成した予測誤差を変換・量子化部116に入力する。変換・量子化部116で生成された量子化係数は係数符号化部117に入力され、エントロピー符号化され量子化係数符号データを生成する。エントロピー符号化の方法は特に限定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。また、量子化係数、動きベクトル及び予測に関する情報が画像再生部118に入力され、符号化対象のブロックの再生画像を生成し、フレームメモリ119に格納される。
The
予測部115で生成された動きベクトルは動きベクトル符号化部102で符号化され、動きベクトル符号データを生成する。図2に動きベクトル符号化部102の詳細なブロック図を示す。図2において、201は端子であり、動きベクトル保持部101から動きベクトルを入力する。202は端子であり、予測部115から符号化対象ブロックの動きベクトルを入力する。203は動きベクトル抽出部であり、端子201を通じて符号化対象ブロックの周囲の動きベクトルないし前に符号化されたピクチャの動きベクトルを抽出する。204は動きベクトル統合部であり、同じ成分の動きベクトルをまとめ、参照動きベクトル群を生成する。また、参照動きベクトル群ではまとめられた動きベクトルを所定の順に並べられている。並べ方に関しては特に限定しないが、成分の大きさ順、発生確率の高い順、抽出されたブロックの位置等に基づいて並べられる。並べ方は復号側と同じ方法をとればいずれの方法でも構わない。
The motion vector generated by the
205は予測動きベクトル選択部であり、端子202から符号化対象のブロックの動きベクトルを、動きベクトル統合部204から参照動きベクトル群を入力する。入力された参照動きベクトル群から符号化対象のブロックの動きベクトルに最も近い動きベクトルを予測動きベクトルとして選択する。選択された予測動きベクトルを参照動きベクトル群で識別するための識別番号と、選択された予測動きベクトルを出力する。206はインデックス符号化部であり、出力された識別番号を符号化して識別情報符号データを生成する。識別番号の符号化の方法は特に限定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。207は予測部であり、入力された予測動きベクトルで符号化対象のブロックの動きベクトルを予測した時の予測誤差を出力する。208は動きベクトルの予測誤差を符号化して動きベクトル予測誤差符号データを生成する動きベクトル誤差符号化部である。動きベクトルの予測誤差を符号化する方法は特に限定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。209は符号形成部であり、識別情報符号データと動きベクトル予測誤差符号データを成形して動きベクトル符号データを生成する。210は端子であり、生成された動きベクトル符号データを図1の統合符号化部122に出力する。
上記の構成で基本レイヤの動きベクトルの符号化動作を以下に説明する。 The coding operation of the motion vector of the base layer with the above configuration will be described below.
動きベクトル抽出部203は符号化する基本レイヤのブロックの周囲のブロックの動きベクトル、時間方向予測動きベクトルを、端子201を介して入力する。これらの動きベクトルは動きベクトル統合部204に入力され、動きベクトルの成分を比較し、同じものをまとめて参照動きベクトル群を生成する。図6に動きベクトルの抽出・統合の様子を示す。600は第n番目の拡張レイヤのピクチャを表し、601は第n−1番目の拡張レイヤのピクチャを表す。603は符号化対象のブロックであり、604、605、606は符号化対象ブロックに隣接するブロックを表す。607は第n−1番目の拡張レイヤのピクチャでブロック603と同じ位置のブロックを表す。609は符号化対象ブロックの動きベクトルを表し、610、611、612、613は各ブロックの動きベクトルを表す。ここで、動きベクトル611と612が同じ成分だった場合に参照動きベクトル群は動きベクトル613、612、610となる。
The motion
生成された参照動きベクトル群は予測動きベクトル選択部205に入力される。端子202から入力された符号化対象のブロックの動きベクトルは予測動きベクトル選択部205で参照動きベクトル群の動きベクトルと比較される。参照動きベクトル群の中から符号化対象のブロックの動きベクトルと最も近い成分の動きベクトルを予測動きベクトルとして選択する。選択された動きベクトルを参照動きベクトル群で識別するために順番を表す識別番号を生成し、インデックス符号化部206で符号化し、識別情報符号データを生成する。また、予測動きベクトルは予測部207に入力され、符号化対象のブロックの動きベクトルを予測して予測誤差を算出し、動きベクトル誤差符号化部208に出力する。動きベクトル誤差符号化部208では予測誤差を符号化し、動きベクトル予測誤差符号データを生成する。識別情報符号データと動きベクトル予測誤差符号データは符号成形部209で成形され動きベクトル符号データとして端子210から出力される。
The generated reference motion vector group is input to the motion vector
図1に戻り、生成された動きベクトル符号データと係数符号化部117で生成された量子化係数符号データは統合符号化部122に入力され、ブロック単位の符号データを生成する。生成された符号データは多重化部123に入力される。
Returning to FIG. 1, the generated motion vector code data and the quantized coefficient code data generated by the
続いて、拡張レイヤの画像データの符号化動作について説明する。 Subsequently, the encoding operation of the image data of the enhancement layer will be described.
予測部108はフレームメモリ107に格納された画像データに対して、ブロック分割を行い、ブロック単位でイントラ予測または動き補償によるインター予測を行う。インター予測の場合はフレームメモリ112に格納されている符号化済みのピクチャを参照し、動きベクトルを算出する。算出された動きベクトルは画像再生部111、動きベクトル保持部104に入力される。動きベクトル保持部104はブロック単位で動きベクトルを保持する。また、予測部108は生成した予測誤差を変換・量子化部109に入力する。変換・量子化部109で生成された量子化係数は係数符号化部110に入力され、係数符号化部117と同様にエントロピー符号化され量子化係数符号データを生成する。また、量子化係数、動きベクトル及び予測に関する情報が画像再生部111に入力され、画像再生部118と同様に符号化対象のブロックの再生画像を生成し、フレームメモリ112に格納される。
The
予測部108で生成された動きベクトルは動きベクトル符号化部105で符号化され、動きベクトル符号データを生成する。動きベクトル符号化部105での動きベクトルの符号化に先立ち、動きベクトル変倍部103は符号化対象の拡張レイヤのブロックに対応する基本レイヤのブロックの位置の動きベクトルを動きベクトル保持部101から抽出する。抽出された動きベクトルは変倍部113から出力された変倍率(n/m)に応じてm/n倍され、レイヤ間予測動きベクトルとして動きベクトル符号化部105に出力される。図6で動きベクトルの抽出・統合の様子を示す。602は第n番目の拡張レイヤの対応する基本レイヤのピクチャを表す。608は拡張レイヤの符号化対象のブロックに対応する位置のブロックを表す。614は基本レイヤのブロック608の動きベクトルを表す。動きベクトル614は変倍されて、拡張レイヤの解像度と同じ精度のレイヤ間予測動きベクトルとなる。ここで、動きベクトル611と612及びレイヤ間予測動きベクトルが同じ成分だった場合に参照動きベクトル群はレイヤ間予測動きベクトル、動きベクトル613、610となる。
The motion vector generated by the
図3に動きベクトル符号化部105の詳細なブロック図を示す。図3において、図2のブロックと同様の機能を実現するブロックについては同じ番号を付し、説明を省略する。301は端子であり、動きベクトル変倍部103からレイヤ間予測動きベクトルを入力する。303は動きベクトル抽出部であり、端子201を通じて拡張レイヤの符号化対象ブロックの周囲の動きベクトルないし前に符号化されたピクチャの動きベクトルを抽出し、端子301からレイヤ間予測動きベクトルを入力する。304は動きベクトル統合部であり、同じ成分の動きベクトルをまとめ、参照動きベクトル群を生成する。また、参照動きベクトル群ではまとめられた動きベクトルを所定の順に並べられている。並べ方に関しては特に限定しないが、先頭にレイヤ間予測動きベクトルを配置する。それ以外は成分の大きさ順、発生確率の高い順、抽出されたブロックの位置等に基づいて並べても良い。なお、端子201は動きベクトル保持部104に接続され、端子202は予測部108に接続され、端子210は統合符号化部121に接続されている。
FIG. 3 shows a detailed block diagram of the motion
上記の構成で拡張レイヤの動きベクトルの符号化動作を以下に説明する。 The encoding operation of the motion vector of the enhancement layer with the above configuration will be described below.
動きベクトル抽出部303は符号化する基本レイヤのブロックの周囲のブロックの動きベクトル、時間方向予測動きベクトル、レイヤ間予測動きベクトルを入力する。これらの動きベクトルは動きベクトル統合部304で動きベクトルの成分を比較し、同じものをまとめて参照動きベクトル群を生成する。参照動きベクトル群ではまとめられた動きベクトルを所定の順に並べる。生成された参照動きベクトル群は予測動きベクトル選択部205に入力される。以下、基本レイヤの動きベクトル符号化部102と同様に、符号化対象のブロックの動きベクトルと参照動きベクトル群の動きベクトルと比較をし、予測動きベクトルを選択し、識別番号を生成し、符号化して、識別情報符号データを生成する。符号化対象のブロックの動きベクトルの予測誤差を算出し、符号化し、動きベクトル予測誤差符号データを生成する。識別情報符号データと動きベクトル予測誤差符号データは符号成形部209で成形され動きベクトル符号データとして端子210から出力される。
The motion
図1に戻り、生成された動きベクトル符号データは係数符号化部110で生成された量子化係数符号データは統合符号化部121に入力され、ブロック単位の符号データを生成する。生成された符号データは多重化部123に入力される。
Referring back to FIG. 1, the generated motion vector code data is input to the
多重化部123では所定の書式にしたがってこれらの符号データを多重化し、ビットストリームとして端子124から外部に出力する。
The
図4は、実施形態1に係る画像符号化装置における基本レイヤの動きベクトル符号化処理を示すフローチャートである。まず、ステップS401にて、基本レイヤの符号化対象のブロックの動きベクトルが入力され、後段での参照のため、保持される。ステップS402にて、基本レイヤの符号化対象のブロックの周囲のブロックまたは基本レイヤの符号化済みのピクチャの同一位置のブロックの動きベクトルを保持された符号化済みの基本レイヤの動きベクトルの中から抽出する。ステップS403にて、ステップS402で抽出された動きベクトルで同じ成分の動きベクトルをまとめ、所定の順番に並べ替え、参照動きベクトル群を生成する。ステップS404にて、ステップS403で生成された参照動きベクトル群と基本レイヤの符号化対象ブロックの動きベクトルを比較し、最も近い動きベクトルを基本レイヤの予測動きベクトルとして選択し、識別情報を生成する。ステップS405にて、符号化対象の動きベクトルを予測動きベクトルから予測誤差を算出する。ステップS406にて、ステップS404で生成された識別情報を符号化する。ステップS407にて、基本レイヤの動きベクトルの予測誤差を符号化する。 FIG. 4 is a flowchart showing the motion vector coding processing of the base layer in the image coding apparatus according to the first embodiment. First, in step S401, the motion vector of the block to be coded in the base layer is input and held for reference in the subsequent stage. In step S402, from among the motion vectors of the coded base layer in which the motion vectors of the blocks around the block to be coded of the base layer or the blocks at the same position in the coded picture of the base layer are held Extract. In step S403, the motion vectors of the same component are grouped by the motion vector extracted in step S402 and rearranged in a predetermined order to generate a reference motion vector group. In step S404, the reference motion vector group generated in step S403 is compared with the motion vector of the block to be coded in the base layer, the closest motion vector is selected as the motion vector predictor of the base layer, and identification information is generated. .. In step S405, the prediction error of the motion vector to be encoded is calculated from the motion vector predictor. In step S406, the identification information generated in step S404 is encoded. In step S407, the prediction error of the motion vector of the base layer is encoded.
また、図5は、実施形態1に係る画像符号化装置における拡張レイヤの動きベクトル符号化処理を示すフローチャートである。図5において、図4のブロックと同様の機能を実現するステップについては同じ番号を付し、説明を省略する。まず、ステップS501にて、拡張レイヤの符号化対象のブロックの動きベクトルが入力され、後段での参照のため、保持される。ステップS502にて、拡張レイヤの符号化対象のブロックの周囲のブロックまたは符号化済みの拡張レイヤのピクチャの同一位置のブロックの動きベクトルを保持された拡張レイヤの動きベクトルの中から抽出する。ステップS503にて、拡張レイヤの符号化対象ブロックの位置に該当する基本レイヤのブロックの動きベクトルを抽出する。ステップS504にて、抽出された基本レイヤの動きベクトルを変倍し、レイヤ間予測動きベクトルを算出する。ステップS505にて、ステップS502で抽出された動きベクトル、及びレイヤ間予測動きベクトルで同じ成分の動きベクトルをまとめ、所定の順番に並べ替え、参照動きベクトル群を生成する。以下、図4の基本レイヤの動きベクトル符号化と同様に、ステップS504からステップS506にて、予測動きベクトルを決定し、識別情報を生成する。さらに、予測動きベクトルから予測誤差を算出する。生成された識別情報と動きベクトルの予測誤差を符号化する。 Further, FIG. 5 is a flowchart showing the motion vector coding process of the enhancement layer in the image coding apparatus according to the first embodiment. 5, steps that realize the same functions as those of the blocks of FIG. 4 are assigned the same numbers, and explanations thereof are omitted. First, in step S501, a motion vector of a block to be coded in the enhancement layer is input and held for reference at a later stage. In step S502, the motion vector of the block around the block to be coded in the enhancement layer or the block at the same position in the picture of the coded enhancement layer is extracted from the held motion vectors of the enhancement layer. In step S503, the motion vector of the block of the base layer corresponding to the position of the block to be coded of the enhancement layer is extracted. In step S504, the motion vector of the extracted base layer is scaled to calculate an inter-layer predicted motion vector. In step S505, the motion vector extracted in step S502 and the motion vector of the same component in the inter-layer predicted motion vector are collected and rearranged in a predetermined order to generate a reference motion vector group. Hereinafter, similarly to the motion vector coding of the base layer in FIG. 4, in steps S504 to S506, a motion vector predictor is determined and identification information is generated. Further, a prediction error is calculated from the motion vector predictor. The prediction error of the generated identification information and motion vector is encoded.
以上の構成と動作により、拡張レイヤの動きベクトル符号化において、基本レイヤの動きベクトルを用いて効率的な符号化を行うことができる。なお、変倍の倍率が1である場合、変倍部113、120、動きベクトル変倍部103は省略が可能である。
With the above configuration and operation, in the motion vector coding of the enhancement layer, efficient coding can be performed using the motion vector of the base layer. When the scaling factor is 1, the scaling
なお、動きベクトル統合部204でレイヤ間予測動きベクトルを必ず参照動きベクトル群の先頭に割り当てることも可能である。これにより、参照される可能性の非常に高いレイヤ間予測動きベクトルに短い符号が割当たりやすくすることでさらに符号化効率の向上が可能である。 Note that the motion vector integration unit 204 can always assign the inter-layer predicted motion vector to the head of the reference motion vector group. By this means, it is possible to easily assign a short code to an inter-layer motion vector predictor that is highly likely to be referenced, and thus it is possible to further improve coding efficiency.
なお、動きベクトル抽出部203は時間方向予測動きベクトル符号化済みのピクチャの同じ位置のブロックの動きベクトルを入力したが、これに限定されない。例えばレイヤ間予測動きベクトルが存在する場合は時間方向予測動きベクトルの入力を省略しても構わない。
Note that the motion
なお、動きベクトル統合部304はレイヤ間予測動きベクトルを先頭に配置する場合について説明したが、時間方向予測動きベクトルに続く順番でも構わない。さらには動きベクトル統合部204と同様に特に配置を決めなくても構わない。 Although the motion vector integration unit 304 has described the case in which the inter-layer motion vector predictor is arranged at the head, the order following the temporal direction motion vector predictor may be used. Further, like the motion vector integration unit 204, it is not necessary to specifically determine the arrangement.
なお、符号化効率向上のため、動きベクトル統合部で同じ成分を持つ動きベクトルをまとめることを行ったが、これに限定されず、固定の数の動きベクトルを選択しても良い。さらには動きベクトル統合部を省略しても構わない。 In addition, in order to improve the coding efficiency, the motion vectors having the same component are put together by the motion vector integration unit, but the present invention is not limited to this, and a fixed number of motion vectors may be selected. Furthermore, the motion vector integration unit may be omitted.
また、基本レイヤの符号化装置と拡張レイヤの符号装置が個別にあり、変倍部113、変倍部120が外部にある構成でも構わない。
Further, the configuration may be such that the base layer coding apparatus and the enhancement layer coding apparatus are individually provided, and the
なお、参照動きベクトル群の動きベクトルとして図6に示す位置のブロックを参照したが、これに限定されない。例えばブロック604の右に隣接するブロックの動きベクトルを加えても構わないし、これらの動きベクトルの中央値からなる動きベクトルを加えても構わない。また、基本レイヤから参照される動きベクトルは同一位置に限定されない。図16のようにブロック608の下のブロック1601の動きベクトル1604、右下のブロック1602の動きベクトル1605、右のブロック1603の動きベクトル1606を参照しても構わない。また、さらに他のブロックの動きベクトルを参照しても構わない。
Although the block at the position shown in FIG. 6 is referred to as the motion vector of the reference motion vector group, the present invention is not limited to this. For example, a motion vector of a block adjacent to the right of the
<実施形態2>
図7は、本発明の実施形態2に係る画像復号装置の構成を示すブロック図である。本実施形態では、実施形態1で生成された符号化データの復号を例にとって説明する。
<Embodiment 2>
FIG. 7 is a block diagram showing the configuration of the image decoding device according to the second embodiment of the present invention. In this embodiment, the decoding of the encoded data generated in the first embodiment will be described as an example.
706は符号化されたビットストリームを入力する端子である。707はビットストリームを基本レイヤの符号データと拡張レイヤの符号データに分離する分離部である。分離部707は図1の多重化部123の逆の動作を行う。708と715は統合復号部であり、基本レイヤと拡張レイヤに関してヘッダ情報や予測に関する情報の符号データの復号を行い、量子化係数符号データと動きベクトル符号データを分離し、後段に出力する。709、716は係数復号部であり、図1の係数符号化部117、110と逆の動作を行って、量子化係数を再生する。710、717は逆量子化・逆変換部である。入力された量子化係数に対して、図1の変換・量子化部116、109と逆の動作を行い、逆量子化によって直交変換係数を再生し、逆直交変換によって、予測誤差を生成する。
700は本発明に関する動きベクトル復号装置である。701、704は動きベクトル符号データを復号し、復号対象ブロックの動きベクトルを再生する動きベクトル復号部である。702、705はブロック単位で動きベクトルを保持する動きベクトル保持部である。706は図1の変倍部113と同じ変倍率に応じて動きベクトルを変倍する動きベクトル変倍部である。変倍率の算出については特に限定しない。基本レイヤの解像度と拡張レイヤの解像度の比を算出しても良いし、所定の値を設定しても構わない。
700 is a motion vector decoding device according to the present invention.
712、713、719、720はフレームメモリであり、再生されたピクチャの画像データを格納しておく。
711、718は画像再生部であり、動きベクトルを入力して復号済みのピクチャの画像データを参照して動き補償を行い、復号された予測誤差を用いて画像データを再生する。714は図1の変倍部113と同じ変倍率に応じて基本レイヤの画像データを変倍する変倍部である。なお、変倍率の算出については特に限定しない。基本レイヤの解像度と拡張レイヤの解像度の比を算出しても良いし、所定の値を設定しても構わない。721、722は端子であり、端子721は基本レイヤの画像データを出力し、端子722は拡張レイヤの画像データを出力する。
ここで、統合復号部708、係数復号部709、逆量子化・逆変換部710、動きベクトル復号部701、動きベクトル保持部702、画像再生部711、フレームメモリ712、713は基本レイヤの符号データを復号し、基本レイヤの画像データを再生する。また、統合復号部715、係数復号部716、逆量子化・逆変換部717、動きベクトル復号部704、動きベクトル保持部705、画像再生部718、フレームメモリ719、720は拡張レイヤの符号データを復号し、拡張レイヤの画像データを再生する。
Here, the
上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では実施形態1で生成されたビットストリームを復号する。 The image decoding operation in the image decoding apparatus will be described below. In this embodiment, the bitstream generated in the first embodiment is decoded.
図7において、端子706から入力されたビットストリームは分離部707に入力され、基本レイヤの符号データと拡張レイヤの符号データに分離され、前者は統合復号部708に、後者は統合復号部715に入力される。
In FIG. 7, the bit stream input from the terminal 706 is input to the
最初に基本レイヤの符号データの復号動作について説明する。基本レイヤの符号化データは統合復号部708に入力される。統合復号部708はヘッダ情報や予測に関する情報の符号データの復号を行い、量子化係数符号データと動きベクトル符号データを分離し、動きベクトル符号データを動きベクトル復号部701に入力し、量子化係数符号データを係数復号部709に入力する。
First, the decoding operation of base layer coded data will be described. The encoded data of the base layer is input to the
係数復号部709は量子化係数符号データを復号し、量子化係数を再生する。再生された量子化係数は逆量子化・逆変換部710に入力され、逆量子化を行って直交変換係数を生成し、更に逆直交変換を施して予測誤差を再生する。再生された予測誤差は画像再生部711に入力される。
The
動きベクトル復号部701は動きベクトル符号データを復号し、基本レイヤの復号対象のブロックの動きベクトルを復号する。図8に動きベクトル復号部701の詳細なブロック図を示す。図8において、801は端子であり、統合復号部708から復号対象ブロックの動きベクトル符号データを入力する。802は端子であり、動きベクトル保持部702から動きベクトルを入力する。803は動きベクトル抽出部であり、端子802を通じて基本レイヤの復号対象ブロックの周囲の動きベクトルないし前に復号されたピクチャの動きベクトルを抽出する。804は動きベクトル統合部であり、図2の動きベクトル統合部204と同様な動作を行い、同じ成分の動きベクトルをまとめ、参照動きベクトル群を生成する。805は符号分離部であり、動きベクトル符号データから識別情報符号データと動きベクトル予測誤差符号データを分離する。806はインデックス復号部であり、識別情報符号データを復号し、識別情報を再生する。インデックス復号部806は図2のインデックス符号化部206の逆の動作を行って復号する。807は動きベクトル誤差復号部であり、動きベクトル予測誤差符号データを復号し、復号対象のブロックの動きベクトルの予測誤差を再生する。動きベクトル誤差復号部807は図2の動きベクトル誤差符号化部208と逆の動作を行って復号する。808は予測動きベクトル選択部である。再生された識別情報を用いて参照動きベクトル群から予測動きベクトルを選択する。809は動きベクトル再生部であり、選択された予測動きベクトルと再生された動きベクトルの予測誤差から基本レイヤの復号対象ブロックの動きベクトルを再生する。810は端子であり、再生された動きベクトルを図7の画像再生部711及び動きベクトル保持部702に出力する。
The motion
上記の構成で基本レイヤの動きベクトルの復号動作を以下に説明する。端子801から入力された基本レイヤの復号対象ブロックの動きベクトル符号データは符号分離部805に入力され識別情報符号データと動きベクトル予測誤差符号データに分離される。前者はインデックス復号部806に入力され、後者は動きベクトル誤差復号部807に入力される。インデックス復号部806は識別情報符号データを復号し、識別情報を再生する。また、動きベクトル誤差復号部807は動きベクトル予測誤差符号データを復号し、基本レイヤの復号対象ブロックの動きベクトルの予測誤差を再生する。また、図6に示したように動きベクトル抽出部803は復号する基本レイヤのブロックの周囲のブロックの動きベクトル、時間方向予測動きベクトルを、端子802を介して動きベクトル保持部702から抽出する。抽出された動きベクトルは動きベクトル統合部804に入力され、図2の動きベクトル統合部204と同等に参照動きベクトル群を生成する。
The decoding operation of the motion vector of the base layer with the above configuration will be described below. The motion vector code data of the base layer decoding target block input from the terminal 801 is input to the
予測動きベクトル選択部808はインデックス復号部806から識別情報を入力し、参照動きベクトル群から予測動きベクトルを選択する。選択された予測動きベクトルは再生された基本レイヤの復号対象ブロックの動きベクトルの予測誤差とともに動きベクトル再生部809に入力される。動きベクトル再生部809は再生された予測誤差と予測動きベクトルから復号対象ブロックの動きベクトルを再生する。再生された動きベクトルは端子810を介して出力される。
The motion vector
図7に戻り、再生された動きベクトルは画像再生部711と動きベクトル保持部702に入力される。動きベクトル保持部702ではブロック単位で動きベクトルを格納しておく。画像再生部711は再生された動きベクトルを用いてフレームメモリ713から基本レイヤの復号対象ブロックの予測画像データを算出する。さらに逆量子化・逆変換部710で再生された予測誤差を入力し、予測画像データを用いて基本レイヤの画像データを再生する。再生された基本レイヤの画像データはフレームメモリ712及びフレームメモリ713に格納され、参照に用いられる。再生された基本レイヤの画像データは端子721から出力される。
Returning to FIG. 7, the reproduced motion vector is input to the
続いて、拡張レイヤの符号データの復号動作について説明する。動きベクトル復号部704での動きベクトルの復号に先立ち、動きベクトル変倍部703は復号対象の拡張レイヤのブロックに対応する基本レイヤのブロックの位置の動きベクトルを動きベクトル保持部702から抽出する。抽出された動きベクトルは変倍率(n/m)に応じてm/n倍され、レイヤ間予測動きベクトルとして動きベクトル復号部704に出力される。
Next, the decoding operation of the encoded data of the enhancement layer will be described. Prior to the decoding of the motion vector by the motion
拡張レイヤの符号化データは統合復号部715に入力される。統合復号部715はヘッダ情報や予測に関する情報の符号データの復号を行い、量子化係数符号データと動きベクトル符号データを分離し、動きベクトル符号データを動きベクトル復号部704に入力し、量子化係数符号データを係数復号部716に入力する。
The encoded data of the enhancement layer is input to the
係数復号部716は量子化係数符号データを復号し、量子化係数を再生する。再生された量子化係数は逆量子化・逆変換部717に入力され、逆量子化を行って直交変換係数を生成し、更に逆直交変換を施して予測誤差を再生する。再生された予測誤差は画像再生部718に入力される。
The
動きベクトル復号部704は動きベクトル符号データを復号し、拡張レイヤの復号対象のブロックの動きベクトルを復号する。図9に動きベクトル復号部704の詳細なブロック図を示す。図9において、図8のブロックと同様の機能を実現するブロックについては同じ番号を付し、説明を省略する。図9において、901は端子であり、動きベクトル変倍部703から動きベクトルを入力する。903は動きベクトル抽出部であり、端子901を通じて図6に示したように、拡張レイヤの復号対象ブロックの周囲の動きベクトルないし前に符号化されたピクチャの動きベクトルを入力する。また、端子901から入力されたレイヤ間予測動きベクトルを入力する。904は動きベクトル統合部であり、図8の動きベクトル統合部904と同様な動作を行い、同じ成分の動きベクトルをまとめ、参照動きベクトル群を生成する。参照動きベクトル群ではまとめられた動きベクトルを所定の順に並べられている。並べ方に関しては特に限定しないが、先頭にレイヤ間予測動きベクトルを配置する。それ以外は成分の大きさ順、発生確率の高い順、抽出されたブロックの位置等に基づいて並べても良い。なお、端子801は統合復号部715に接続され、端子802は動きベクトル保持部705に接続され、端子810は動きベクトル保持部705と画像再生部718に接続されている。
The motion
上記の構成で拡張レイヤの動きベクトルの復号動作を以下に説明する。動きベクトル抽出部903は復号する拡張レイヤのブロックの周囲のブロックの動きベクトル、時間方向予測動きベクトルを、端子802を介して動きベクトル保持部705から入力する。さらに、レイヤ間予測動きベクトルを、端子901をから入力する。これらの動きベクトルは動きベクトル統合部904に入力され、図8の動きベクトル統合部804と同等に参照動きベクトル群を生成する。以下、基本レイヤの動きベクトル復号部701と同様に、識別情報と参照動きベクトル群から予測動きベクトルを選択する。選択された予測動きベクトルと再生された拡張レイヤの復号対象ブロックの動きベクトルの予測誤差によって拡張レイヤの復号対象ブロックの動きベクトルを再生する。再生された動きベクトルは端子810を介して出力される。
The decoding operation of the motion vector of the enhancement layer with the above configuration will be described below. The motion vector extraction unit 903 inputs the motion vector of the block around the block of the enhancement layer to be decoded and the temporal prediction motion vector from the motion
図7に戻り、再生された動きベクトルは画像再生部718と動きベクトル保持部705に入力される。動きベクトル保持部705ではブロック単位で動きベクトルを格納しておく。画像再生部718は再生された動きベクトルを用いてフレームメモリ720またはフレームメモリ713から対応する画像データを読み出して変倍部714で変倍された画像データを入力する。これらの画像データから拡張レイヤの復号対象ブロックの予測画像データを算出する。さらに逆量子化・逆変換部717で再生された予測誤差を入力し、予測画像データを用いて拡張レイヤの画像データを再生する。再生された拡張レイヤの画像データはフレームメモリ719及びフレームメモリ720に格納され、参照に用いられる。再生された拡張レイヤの画像データは端子722から出力される。
Returning to FIG. 7, the reproduced motion vector is input to the
図10は、実施形態2に係る画像復号装置における基本レイヤの動きベクトル復号処理を示すフローチャートである。まず、ステップS1001にて、基本レイヤの復号対象のブロックの周囲のブロックの動きベクトルと時間方向予測動きベクトルを保持した動きベクトルから抽出する。ステップS1002にて、ステップS1001で抽出された動きベクトルで同じ成分の動きベクトルをまとめ、所定の順番に並べ替え、参照動きベクトル群を生成する。ステップS1003にて、識別情報符号データを復号し識別情報を再生する。ステップS1004にて、ステップS1003で再生された識別情報によって、ステップS1002で生成された参照動きベクトル群から予測動きベクトルを選択する。ステップS1005にて、動きベクトル予測誤差符号データを復号し、基本レイヤの復号対象のブロックの動きベクトルの予測誤差を再生する。ステップS1006にて、ステップS1004で選択された予測動きベクトルとステップS1005で再生された動きベクトルの予測誤差から基本レイヤの復号対象ブロックの動きベクトルを再生する。ステップS1007にて、再生された動きベクトルを出力し、さらに後段での参照のため、保持する。 FIG. 10 is a flowchart showing the motion vector decoding process of the base layer in the image decoding device according to the second embodiment. First, in step S1001, a motion vector of a block around a block to be decoded in the base layer and a temporal motion vector predictor are extracted from the held motion vector. In step S1002, the motion vectors of the same component are grouped by the motion vector extracted in step S1001 and rearranged in a predetermined order to generate a reference motion vector group. In step S1003, the identification information code data is decoded and the identification information is reproduced. In step S1004, a motion vector predictor is selected from the reference motion vector group generated in step S1002 based on the identification information reproduced in step S1003. In step S1005, the motion vector prediction error code data is decoded, and the motion vector prediction error of the block to be decoded in the base layer is reproduced. In step S1006, the motion vector of the decoding target block of the base layer is reproduced from the prediction error of the motion vector selected in step S1004 and the motion vector reproduced in step S1005. In step S1007, the reproduced motion vector is output and held for reference at a later stage.
また、図11は、実施形態2に係る画像符号化装置における拡張レイヤの動きベクトル復号処理を示すフローチャートである。図11において、図10のブロックと同様の機能を実現するステップについては同じ番号を付し、説明を省略する。まず、ステップS1101にて、拡張レイヤの復号対象のブロックの周囲のブロックまたは拡張レイヤの時間方向予測動きベクトルを保持された復号済みの拡張レイヤの動きベクトルの中から抽出する。ステップS1102にて、拡張レイヤの復号対象ブロックの位置に対応する基本レイヤのブロックの動きベクトルを抽出する。ステップS1103にて、抽出された基本レイヤの動きベクトルを変倍し、レイヤ間予測動きベクトルを算出する。ステップS1104にて、ステップS1102で抽出された動きベクトル、及びレイヤ間予測動きベクトルで同じ成分の動きベクトルをまとめ、所定の順番に並べ替え、参照動きベクトル群を生成する。ステップS1105にて、識別情報符号データを復号し識別情報を再生する。ステップS1106にて、再生された識別情報によって、ステップS1104で生成された参照動きベクトル群から予測動きベクトルを選択する。以下、図10の基本レイヤの動きベクトル復号と同様に、動きベクトル予測誤差符号データを復号し、動きベクトルの予測誤差を再生する。選択された予測動きベクトルと動きベクトルの予測誤差から拡張レイヤの復号対象ブロックの動きベクトルを再生して出力、保持する。 Further, FIG. 11 is a flowchart showing motion vector decoding processing of the enhancement layer in the image encoding device according to the second embodiment. 11, steps that realize the same functions as those of the blocks of FIG. 10 are given the same numbers, and description thereof is omitted. First, in step S1101, a temporal motion vector predictor of a block or an enhancement layer around a block to be decoded of the enhancement layer is extracted from the retained decoded motion vectors of the enhancement layer. In step S1102, the motion vector of the block of the base layer corresponding to the position of the decoding target block of the enhancement layer is extracted. In step S1103, the motion vector of the extracted base layer is scaled to calculate an inter-layer predicted motion vector. In step S1104, the motion vector extracted in step S1102 and the motion vector of the same component in the inter-layer predicted motion vector are collected and rearranged in a predetermined order to generate a reference motion vector group. In step S1105, the identification information code data is decoded and the identification information is reproduced. In step S1106, the motion vector predictor is selected from the reference motion vector group generated in step S1104 based on the reproduced identification information. Hereinafter, similarly to the motion vector decoding of the base layer in FIG. 10, the motion vector prediction error code data is decoded and the motion vector prediction error is reproduced. The motion vector of the block to be decoded in the enhancement layer is reproduced from the selected motion vector predictor and the motion vector prediction error, and is output and held.
以上の構成と動作により、実施形態1で生成された、基本レイヤの動きベクトルを用いて効率的に符号化されたビットストリームの復号を行い、再生画像を得ることができる。なお、変倍の倍率が1である場合、変倍部714、動きベクトル変倍部703は省略が可能である。
With the above configuration and operation, it is possible to decode a bitstream efficiently encoded using the motion vector of the base layer, which is generated in the first embodiment, and obtain a reproduced image. If the scaling factor is 1, the
なお、動きベクトル統合部904でレイヤ間予測動きベクトルを必ず参照動きベクトル群の先頭に割り当てることも可能である。これにより、参照される可能性の最も高いレイヤ間予測動きベクトルに短い符号が割当たりやすくすることでさらに符号化効率の向上が可能である。
Note that the motion
なお、動きベクトル抽出部903は時間方向予測動きベクトルを入力したが、これに限定されない。例えばレイヤ間予測動きベクトルが存在する場合は時間方向予測動きベクトルの入力を省略しても構わない。 Although the motion vector extraction unit 903 inputs the temporal motion vector predictor, the present invention is not limited to this. For example, when the inter-layer motion vector predictor exists, the input of the temporal direction motion vector predictor may be omitted.
なお、動きベクトル統合部904はレイヤ間予測動きベクトルを先頭に配置する場合について説明したが、時間方向予測動きベクトルに続く順番でも構わない。さらには動きベクトル統合部204と同様に特に配置を決めなくても構わない。
Although the motion
本実施形態において動きベクトル変倍部703から変倍率を入力しているが、これに限定されず、個別に基本レイヤの解像度と拡張レイヤの解像度の比を算出しても良いし、所定の値を設定しても構わない。
Although the scaling factor is input from the motion
なお、符号化効率向上のため、動きベクトル統合部で同じ成分を持つ動きベクトルをまとめることを行ったが、これに限定されず、固定の数の動きベクトルを選択しても良い。さらには動きベクトル統合部を省略しても構わない。 In addition, in order to improve the coding efficiency, the motion vectors having the same component are put together by the motion vector integration unit, but the present invention is not limited to this, and a fixed number of motion vectors may be selected. Furthermore, the motion vector integration unit may be omitted.
また、基本レイヤの復号装置と拡張レイヤの復号装置が個別にあり、変倍部714が外部にある構成でも構わない。
Alternatively, the decoding device for the base layer and the decoding device for the enhancement layer are individually provided, and the
なお、参照動きベクトル群の動きベクトルとして図6に示す位置のブロックを参照したが、これに限定されない。例えばブロック604の右に隣接するブロックの動きベクトルを加えても構わないし、これらの動きベクトルの中央値からなる動きベクトルを加えても構わない。また、基本レイヤから参照される動きベクトルは同一位置に限定されない。図16のようにブロック608の下のブロック1601の動きベクトル1604、右下のブロック1602の動きベクトル1605、右のブロック1603の動きベクトル1606を参照しても構わない。また、さらに他のブロックの動きベクトルを参照しても構わない。
Although the block at the position shown in FIG. 6 is referred to as the motion vector of the reference motion vector group, the present invention is not limited to this. For example, a motion vector of a block adjacent to the right of the
<実施形態3>
本実施形態では画像符号化装置は実施形態1の図1と同じ構成をとる。ただし、拡張レイヤの動きベクトル符号化部105の構成が異なる。したがって、基本レイヤに関する符号化及び、拡張レイヤの量子化係数の符号化に関しては実施形態1と同様であり、説明を省略する。
<Embodiment 3>
In this embodiment, the image coding apparatus has the same configuration as that of the first embodiment shown in FIG. However, the configuration of the motion
図12は本実施形態の動きベクトル符号化部105の詳細な構成を示すブロック図である。図12において、実施形態1の図3と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。1201は端子であり、図3の端子301と同様に動きベクトル変倍部103からレイヤ間予測動きベクトルを入力する。1203は動きベクトル抽出部であり、端子201から入力される拡張レイヤの符号化対象ブロックの周囲の動きベクトルないし前に符号化されたピクチャの動きベクトルを抽出する。1205は予測動きベクトル選択部である。端子202から拡張レイヤの符号化対象のブロックの動きベクトルを、動きベクトル統合部204から参照動きベクトル群を、端子1201からレイヤ間予測動きベクトルを入力する。入力された参照動きベクトル群から符号化対象のブロックの動きベクトルに最も近い動きベクトルを予測動きベクトルとして選択する。
FIG. 12 is a block diagram showing a detailed configuration of the motion
上記の構成で拡張レイヤの動きベクトルの符号化動作を以下に説明する。 The encoding operation of the motion vector of the enhancement layer with the above configuration will be described below.
動きベクトル抽出部1203は図6に示す拡張レイヤの符号化対象ブロックの周囲の動きベクトルないし前に符号化されたピクチャの動きベクトルを抽出する。抽出された動きベクトルは動きベクトル統合部304に入力される。動きベクトル統合部304は実施形態1と同様に入力された動きベクトルで同じ成分を持つ動きベクトルをまとめ、参照動きベクトル群を生成する。予測動きベクトル選択部1205は入力された参照動きベクトル群、レイヤ間予測動きベクトルから符号化対象ブロックの動きベクトルに最も類似した動きベクトルを予測動きベクトルをとして選択する。選択された予測動きベクトルを識別する識別情報と予測動きベクトルを出力する。
The motion
ここで、実施形態1との相違はレイヤ間予測動きベクトルは参照動きベクトル群とは独立して選択の候補となることである。したがって、参照動きベクトル群の中に同じ成分を持つ動きベクトルが存在する可能性がある。この場合、予測動きベクトル選択部1205は予測動きベクトルとしてレイヤ間予測動きベクトルと参照動きベクトル群の中のベクトルが選べる時、レイヤ間予測動きベクトルを選択することとする。
Here, the difference from the first embodiment is that the inter-layer motion vector predictor is a candidate for selection independently of the reference motion vector group. Therefore, a motion vector having the same component may exist in the reference motion vector group. In this case, the motion vector
以下、実施形態1と同様に識別情報はインデックス符号化部206で符号化される。また、予測部207は符号化対象ブロックの動きベクトルと予測動きベクトルから予測誤差を算出し、動きベクトル誤差符号化部208で符号化する。
Hereinafter, the identification information is encoded by the
図13は、実施形態3に係る画像符号化装置における拡張レイヤの動きベクトル符号化処理を示すフローチャートである。図13において、図4のブロックと同様の機能を実現するステップについては同じ番号を付し、説明を省略する。まず、ステップS501からステップS504については実施形態1と同様である。すなわち、拡張レイヤの符号化対象ブロックの周囲の動きベクトルないし前に符号化されたピクチャの動きベクトルとレイヤ間予測動きベクトルの算出が行われる。ステップS1301にて、拡張レイヤの符号化対象ブロックの周囲の動きベクトルないし前に符号化されたピクチャの動きベクトルについて同じ成分の動きベクトルをまとめ、所定の順番に並べ替え、参照動きベクトル群を生成する。ステップS1302にて、レイヤ間予測動きベクトルを生成された参照動きベクトル群の先頭に追加する。ステップS404にて、実施形態1と同様に参照動きベクトル群から予測動きベクトルを選択する。ステップS1303にて、予測動きベクトルがレイヤ間予測動きベクトルと同じ成分であった場合、ステップS1304に進む。そうでなければステップS405に進む。ステップS1304にて、レイヤ間予測動きベクトルを予測動きベクトルとして選択する。これにより、同じ成分を持つ他の動きベクトルが選択されることを防ぐ。以下、実施形態1の図3の拡張レイヤの動きベクトル符号化処理と同様にステップS405からステップS407にて動きベクトル予測誤差の算出、識別情報の符号化、動きベクトル予測誤差の符号化を行う。 FIG. 13 is a flowchart showing motion vector coding processing of the enhancement layer in the image coding apparatus according to the third embodiment. In FIG. 13, steps that realize the same functions as those of the block in FIG. 4 are assigned the same numbers, and explanations thereof are omitted. First, steps S501 to S504 are the same as those in the first embodiment. That is, the motion vector around the block to be coded in the enhancement layer, or the motion vector of the previously coded picture and the inter-layer predicted motion vector are calculated. In step S1301, the motion vectors of the same components of the motion vector around the target block of the enhancement layer or the motion vector of the previously coded picture are collected and rearranged in a predetermined order to generate a reference motion vector group. To do. In step S1302, the inter-layer motion vector predictor is added to the head of the generated reference motion vector group. In step S404, a motion vector predictor is selected from the reference motion vector group as in the first embodiment. In step S1303, when the motion vector predictor is the same component as the inter-layer motion vector predictor, the process proceeds to step S1304. Otherwise, it proceeds to step S405. In step S1304, the inter-layer motion vector predictor is selected as the motion vector predictor. This prevents other motion vectors having the same component from being selected. Hereinafter, similarly to the motion vector coding process of the enhancement layer in FIG. 3 of the first embodiment, the calculation of the motion vector prediction error, the coding of the identification information, and the coding of the motion vector prediction error are performed in steps S405 to S407.
以上の構成と動作により、拡張レイヤの動きベクトル符号化において、基本レイヤの動きベクトルを他の動きベクトルより優先的に用いて効率的な符号化を行うことができる。これはレイヤ間予測動きベクトルが拡張レイヤのブロックの動きベクトルと非常に相関が高いためである。 With the above configuration and operation, in the motion vector coding of the enhancement layer, the motion vector of the base layer can be used more preferentially than other motion vectors to perform efficient coding. This is because the inter-layer motion vector predictor has a very high correlation with the motion vector of the block of the enhancement layer.
なお、参照動きベクトル群の動きベクトルとして図6に示す位置のブロックを参照したが、これに限定されない。例えばブロック604の右に隣接するブロックの動きベクトルを加えても構わないし、これらの動きベクトルの中央値からなる動きベクトルを加えても構わない。
Although the block at the position shown in FIG. 6 is referred to as the motion vector of the reference motion vector group, the present invention is not limited to this. For example, a motion vector of a block adjacent to the right of the
なお、符号化効率向上のため、動きベクトル統合部で同じ成分を持つ動きベクトルをまとめることを行ったが、これに限定されず、固定の数の動きベクトルを選択しても良い。さらには動きベクトル統合部を省略しても構わない。 In addition, in order to improve the coding efficiency, the motion vectors having the same component are put together by the motion vector integration unit, but the present invention is not limited to this, and a fixed number of motion vectors may be selected. Furthermore, the motion vector integration unit may be omitted.
なお、参照動きベクトル群の動きベクトルとして図6に示す位置のブロックを参照したが、これに限定されない。 Although the block at the position shown in FIG. 6 is referred to as the motion vector of the reference motion vector group, the present invention is not limited to this.
<実施形態4>
本実施形態では画像符号化装置は実施形態2の図7と同じ構成をとる。ただし、拡張レイヤの動きベクトル復号部704の構成が異なる。したがって、基本レイヤに関する復号及び、拡張レイヤの量子化係数の復号に関しては実施形態2と同様であり、説明を省略する。また、本実施形態では実施形態3で生成された符号化データの復号を例にとって説明する。
<Embodiment 4>
In this embodiment, the image coding apparatus has the same configuration as that of FIG. 7 of the second embodiment. However, the configuration of the motion
図14は本実施形態の動きベクトル復号部704の詳細な構成を示すブロック図である。図14において、実施形態2の図9と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。端子1401は図9の端子901と同様に動きベクトル変倍部703からレイヤ間予測動きベクトルを入力する。1403は動きベクトル抽出部であり、実施形態3の動きベクトル抽出部1203と同様に図6に示す拡張レイヤの符号化対象ブロックの周囲の動きベクトルないし前に符号化されたピクチャの動きベクトルを抽出する。1405は予測動きベクトル選択部であり、レイヤ間予測動きベクトルと参照動きベクトル群から予測動きベクトルから識別情報に従って予測動きベクトルを選択する。
FIG. 14 is a block diagram showing a detailed configuration of the motion
上記の構成で拡張レイヤの動きベクトルの符号化動作を以下に説明する。 The encoding operation of the motion vector of the enhancement layer with the above configuration will be described below.
動きベクトル抽出部1403は図6に示す拡張レイヤの復号対象ブロックの周囲の動きベクトルないし前に符号化されたピクチャの動きベクトルを抽出する。抽出された動きベクトルは動きベクトル統合部804に入力される。動きベクトル統合部804は実施形態2と同様に入力された動きベクトルで同じ成分を持つ動きベクトルをまとめ、参照動きベクトル群を生成する。また、実施形態2と同様にインデックス復号部806は識別情報符号データを復号し、識別情報を再生する。予測動きベクトル選択部1405は識別情報に従って、レイヤ間予測動きベクトルか参照動きベクトル群から予測動きベクトルを選択する。以下、実施形態2と同様に動きベクトルの予測誤差と選択された予測動きベクトルから拡張レイヤの復号対象の動きベクトルを再生する。
The motion
図15は、実施形態4に係る画像復号装置における拡張レイヤの動きベクトル復号処理を示すフローチャートである。図15において、図11のブロックと同様の機能を実現するステップについては同じ番号を付し、説明を省略する。まず、ステップS1101からステップS1103については実施形態2と同様である。すなわち、拡張レイヤの復号対象ブロックの周囲の動きベクトルないし前に復号されたピクチャの動きベクトルとレイヤ間予測動きベクトルの算出が行われる。ステップS1501にて、拡張レイヤの復号対象ブロックの周囲の動きベクトルないし前に復号されたピクチャの動きベクトルについて同じ成分の動きベクトルをまとめ、所定の順番に並べ替え、参照動きベクトル群を生成する。ステップS1502にて、レイヤ間予測動きベクトルを生成された参照動きベクトル群の先頭に追加する。以下、実施形態2の図11の拡張レイヤの動きベクトル復号処理と同様にステップS1105からステップS1007の処理が行われる。すなわち、識別情報の復号、予測動きベクトルの選択、動きベクトル予測誤差の再生、拡張レイヤの復号対象ブロックの動きベクトルの再生を行う。 FIG. 15 is a flowchart showing motion vector decoding processing of an enhancement layer in the image decoding device according to the fourth embodiment. 15, steps that realize the same functions as the blocks in FIG. 11 are assigned the same numbers, and explanations thereof are omitted. First, steps S1101 to S1103 are the same as those in the second embodiment. That is, the motion vector around the decoding target block of the enhancement layer, the motion vector of the previously decoded picture, and the inter-layer predicted motion vector are calculated. In step S1501, the motion vectors of the same component as the motion vector around the block to be decoded in the enhancement layer or the motion vector of the previously decoded picture are collected and rearranged in a predetermined order to generate a reference motion vector group. In step S1502, the inter-layer motion vector predictor is added to the head of the generated reference motion vector group. Hereinafter, similar to the motion vector decoding process of the enhancement layer of FIG. 11 of the second embodiment, the processes of steps S1105 to S1007 are performed. That is, the decoding of the identification information, the selection of the motion vector predictor, the reproduction of the motion vector prediction error, and the reproduction of the motion vector of the decoding target block of the enhancement layer are performed.
以上の構成と動作により、拡張レイヤの動きベクトル復号において、基本レイヤの動きベクトルを他の動きベクトルより積極的に用いてより少ない符号量で符号化された符号データの復号を行うことができる。これはレイヤ間予測動きベクトルが拡張レイヤのブロックの動きベクトルと非常に相関が高いためである。 With the above configuration and operation, in the motion vector decoding of the enhancement layer, the motion vector of the base layer can be used more positively than other motion vectors to decode the coded data encoded with a smaller code amount. This is because the inter-layer motion vector predictor has a very high correlation with the motion vector of the block of the enhancement layer.
なお、符号化効率向上のため、動きベクトル統合部で同じ成分を持つ動きベクトルをまとめることを行ったが、これに限定されず、固定の数の動きベクトルを選択しても良い。さらには動きベクトル統合部を省略しても構わない。 In addition, in order to improve the coding efficiency, the motion vectors having the same component are put together by the motion vector integration unit, but the present invention is not limited to this, and a fixed number of motion vectors may be selected. Furthermore, the motion vector integration unit may be omitted.
なお、参照動きベクトル群の動きベクトルとして図6に示す位置のブロックを参照したが、これに限定されない。 Although the block at the position shown in FIG. 6 is referred to as the motion vector of the reference motion vector group, the present invention is not limited to this.
<実施形態5>
図1、図2、図3、図7、図8、図9、図12、図14に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行なう処理をコンピュータプログラムでもって構成しても良い。
<Embodiment 5>
The above-described embodiments have been described on the assumption that the processing units shown in FIGS. 1, 2, 3, 7, 8, 9, 12, and 14 are configured by hardware. However, the processing performed by each processing unit shown in these figures may be configured by a computer program.
図17は、上記各実施形態に係る画像表示装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。 FIG. 17 is a block diagram showing a configuration example of hardware of a computer applicable to the image display device according to each of the above embodiments.
CPU1701は、RAM1702やROM1703に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、CPU1701は、図1、図2、図3、図7、図8、図9、図12、図14に示した各処理部として機能することになる。
The CPU 1701 controls the entire computer by using the computer programs and data stored in the
RAM1702は、外部記憶装置1706からロードされたコンピュータプログラムやデータ、I/F(インターフェース)1709を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、RAM1702は、CPU1701が各種の処理を実行する際に用いるワークエリアを有する。即ち、RAM1702は、例えば、フレームメモリとして割当てたり、その他の各種のエリアを適宜提供することができる。
The
ROM1703には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部1704は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をCPU1701に対して入力することができる。表示部1705は、CPU1701による処理結果を表示する。また表示部1705は例えば液晶ディスプレイで構成される。
The ROM 1703 stores the setting data of the computer, a boot program, and the like. The operation unit 1704 is composed of a keyboard, a mouse, and the like, and can be operated by the user of the computer to input various instructions to the CPU 1701. The
外部記憶装置1706は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置1706には、OS(オペレーティングシステム)や、図1、図2、図3、図7、図8、図9、図12、図14に示した各部の機能をCPU1701に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置1706には、処理対象としての各画像データが保存されていても良い。
The
外部記憶装置1706に保存されているコンピュータプログラムやデータは、CPU1701による制御に従って適宜、RAM1702にロードされ、CPU1701による処理対象となる。I/F1707には、LANやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのI/F1707を介して様々な情報を取得したり、送出したりすることができる。1708は上述の各部を繋ぐバスである。
The computer programs and data stored in the
上述の構成からなる作動は前述のフローチャートで説明した作動をCPU1701が中心となってその制御を行う。 The operation having the above-mentioned configuration is controlled by the CPU 1701 with the operation described in the above-mentioned flowchart being the center.
<その他の実施形態>
本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。
<Other embodiments>
The object of the present invention is also achieved by supplying a storage medium storing a code of a computer program for realizing the above-described functions to a system, and the system reading and executing the code of the computer program. In this case, the code itself of the computer program read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the code of the computer program constitutes the present invention. Further, it includes a case where an operating system (OS) running on a computer performs a part or all of actual processing based on an instruction of the code of the program, and the processing realizes the above-described function. .
さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。 Further, it may be realized in the following forms. That is, the computer program code read from the storage medium is written in the memory provided in the function expansion card inserted in the computer or the function expansion unit connected to the computer. Then, based on the instructions of the code of the computer program, a case where the CPU included in the function expansion card or the function expansion unit performs a part or all of the actual processing to realize the above-described function is also included.
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。 When the present invention is applied to the above storage medium, the storage medium stores the code of the computer program corresponding to the above-described flowchart.
Claims (2)
復号対象の画像が属する第1レイヤにおける、復号対象のブロックが属する画像より前に復号済みである画像に含まれ、当該復号対象のブロックに対応する位置にあるブロックの動きベクトルである第1ベクトルと、
前記復号対象の画像が属する第1レイヤとは異なる第2レイヤにおける画像に含まれ、復号対象のブロックに対応する位置にあるブロックの動きベクトルである第2ベクトルと、
前記復号対象の画像が属する第1レイヤにおける画像に含まれ、復号対象のブロックの周囲のブロックの動きベクトルである第3ベクトルと、を取得する取得手段と、
前記第1ベクトル、前記第2ベクトル、及び前記第3ベクトルから、前記取得手段によって取得すべき候補となる動きベクトル群を決定し、当該決定に基づいて取得された候補となる動きベクトル群のうち、前記ビットストリームから復号された予測動きベクトルの順番を表す識別情報に対応する動きベクトルを復号対象のブロックの動きベクトルの予測に用いる予測動きベクトルとして決定する決定手段と、
前記ビットストリームから復号された量子化係数および前記決定手段によって決定された予測動きベクトルに基づいて、前記復号対象のブロックを復号する復号手段とを有し、
前記決定手段は、前記候補となるベクトル群を決定するために同じ成分の動きベクトルをまとめる処理を行い、
前記決定手段は、前記第2ベクトルが前記候補となる動きベクトル群に存在する場合に、前記第1ベクトルを前記候補となる動きベクトル群として含めずに、前記第2ベクトルと、前記第3ベクトルとのうちの少なくともいずれか一つを、前記候補となる動きベクトル群として決定し、
前記決定手段は、前記第2のベクトルを前記候補となる動きベクトル群の所定の順番に配置し、それ以外のベクトルの順番をブロックの位置に基づいて決定することを特徴とする復号装置。 A decoding device for decoding at least one block included in an image from a bitstream hierarchically encoded using a plurality of layers,
A first vector that is included in an image that has been decoded before the image to which the decoding target block belongs in the first layer to which the decoding target image belongs and that is a motion vector of a block at a position corresponding to the decoding target block When,
A second vector which is included in an image in a second layer different from the first layer to which the image to be decoded belongs and which is a motion vector of a block at a position corresponding to the block to be decoded;
An acquisition unit that acquires a third vector that is included in the image in the first layer to which the image to be decoded belongs and that is a motion vector of a block around the block to be decoded,
From the first vector, the second vector, and the third vector, a candidate motion vector group to be acquired by the acquisition unit is determined, and among the candidate motion vector groups acquired based on the determination. Deciding means for deciding a motion vector corresponding to identification information indicating the order of the motion vector predictor decoded from the bitstream, as a motion vector predictor used for predicting the motion vector of the block to be decoded,
A quantized coefficient decoded from the bitstream, and a decoding unit that decodes the block to be decoded, based on the motion vector predictor determined by the determining unit,
The determining means performs a process of collecting motion vectors of the same component to determine the candidate vector group,
When the second vector exists in the candidate motion vector group, the determining means does not include the first vector as the candidate motion vector group, and the second vector and the third vector At least one of the above is determined as the candidate motion vector group ,
The decoding device, wherein the determining means arranges the second vectors in a predetermined order of the candidate motion vector group and determines the order of the other vectors based on the position of the block .
復号対象の画像が属する第1レイヤにおける、復号対象のブロックが属する画像より前に復号済みの画像の、当該復号対象のブロックに対応する位置にあるブロックの動きベクトルである第1ベクトルと、
復号対象の画像が属する第1レイヤと異なる第2レイヤにおける画像の、復号対象のブロックに対応する位置にあるブロックの動きベクトルである第2ベクトルと、
復号対象の画像が属する第1レイヤにおける画像の、復号対象のブロックの周囲のブロックの動きベクトルである第3ベクトルと、を取得する取得工程と、
前記第1ベクトル、前記第2ベクトル、及び前記第3ベクトルのうち、前記取得工程によって取得すべき候補となるベクトル群を決定し、当該決定に基づいて取得された候補となるベクトル群のうち、前記ビットストリームから復号された予測動きベクトルの順番を表す識別情報に対応する動きベクトルを復号対象のブロックの動きベクトルの予測に用いる予測動きベクトルとして決定する決定工程と、
前記ビットストリームから復号された量子化係数および前記決定工程において決定された予測動きベクトルに基づいて、前記復号対象のブロックを復号する復号工程とを有し、
前記決定工程において、前記候補となるベクトル群を決定するために同じ成分の動きベクトルをまとめる処理が行われ、
前記決定工程において、前記第2ベクトルが前記候補となるベクトル群に存在する場合に、前記第1ベクトルを前記候補となるベクトル群として含めずに、前記第2ベクトルと、前記第3ベクトルとのうちの少なくともいずれか一つが、前記候補となるベクトル群として決定され、
前記決定工程において、前記第2のベクトルが前記候補となる動きベクトル群の所定の順番に配置され、それ以外のベクトルの順番がブロックの位置に基づいて決定されることを特徴とする復号方法。 A decoding method for decoding a motion vector from a bitstream hierarchically encoded using a plurality of layers,
A first vector, which is a motion vector of a block at a position corresponding to the decoding target block in an image that has been decoded before the image to which the decoding target block belongs, in the first layer to which the decoding target image belongs;
A second vector which is a motion vector of a block at a position corresponding to the block to be decoded in the image in the second layer different from the first layer to which the image to be decoded belongs
An acquisition step of acquiring a third vector, which is a motion vector of a block around the block to be decoded, of the image in the first layer to which the image to be decoded belongs,
Of the first vector, the second vector, and the third vector, a candidate vector group to be acquired by the acquisition step is determined, and a candidate vector group acquired based on the determination is determined, A determining step of determining a motion vector corresponding to identification information indicating the order of the motion vector predictor decoded from the bitstream, as a motion vector predictor used for predicting the motion vector of the block to be decoded;
A decoding step of decoding the block to be decoded, based on the quantized coefficient decoded from the bitstream and the motion vector predictor determined in the determining step,
In the determining step, a process of collecting motion vectors of the same component is performed to determine the vector group that is the candidate,
In the determining step, if the second vector exists in the candidate vector group, the first vector is not included as the candidate vector group, and the second vector and the third vector are not included. At least one of them is determined as the candidate vector group ,
The decoding method, wherein in the determining step, the second vectors are arranged in a predetermined order of the candidate motion vector group, and the order of the other vectors is determined based on the position of the block .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018150570A JP6704962B2 (en) | 2018-08-09 | 2018-08-09 | Decoding device and decoding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018150570A JP6704962B2 (en) | 2018-08-09 | 2018-08-09 | Decoding device and decoding method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017143420A Division JP6387159B2 (en) | 2017-07-25 | 2017-07-25 | Decoding device, decoding method and program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020040364A Division JP6882564B2 (en) | 2020-03-09 | 2020-03-09 | Encoding device, decoding method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018201232A JP2018201232A (en) | 2018-12-20 |
JP6704962B2 true JP6704962B2 (en) | 2020-06-03 |
Family
ID=64668387
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018150570A Active JP6704962B2 (en) | 2018-08-09 | 2018-08-09 | Decoding device and decoding method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6704962B2 (en) |
-
2018
- 2018-08-09 JP JP2018150570A patent/JP6704962B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018201232A (en) | 2018-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5950541B2 (en) | Motion vector encoding device, motion vector encoding method and program, motion vector decoding device, motion vector decoding method and program | |
CN107071419B (en) | Image encoding apparatus and method, and image decoding apparatus and method | |
KR101906686B1 (en) | Image encoding apparatus, image encoding method, image decoding apparatus, image decoding method, and computer-readable storage medium | |
JP2013110518A (en) | Image coding apparatus, image coding method, and program, and image decoding apparatus, image decoding method, and program | |
WO2014106608A1 (en) | Encoding and decoding methods and devices, and corresponding computer programs and computer readable media | |
US9686558B2 (en) | Scalable encoding and decoding | |
JP6184558B2 (en) | Encoding device, encoding method and program, decoding device, decoding method and program | |
JP2014011726A (en) | Image encoder, image encoding method and program, image decoder, and image decoding method and program | |
JP6469277B2 (en) | Image encoding device, image encoding method and program, image decoding device, image decoding method and program | |
JP6704962B2 (en) | Decoding device and decoding method | |
JP6882564B2 (en) | Encoding device, decoding method | |
JP6387159B2 (en) | Decoding device, decoding method and program | |
JP6510084B2 (en) | Moving picture decoding method and electronic apparatus | |
JP6679777B2 (en) | Image coding device, image coding method and program, image decoding device, image decoding method and program | |
JP2013110517A (en) | Motion vector encoding device, motion vector encoding method and program, motion vector decoding device, motion vector decoding method and program | |
JP2020092436A (en) | Image encoding device, image encoding method, image decoding device, image decoding method, and program | |
JP2020048208A (en) | Moving image encoding method and moving image decoding method | |
KR20130055318A (en) | Apparatus and method for encoding/decoding of video using block merging based on limited candidate block |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180809 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20190903 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190830 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191105 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191210 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200309 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200317 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200414 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200513 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6704962 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |