JP6854716B2 - Image processing device, image processing method - Google Patents
Image processing device, image processing method Download PDFInfo
- Publication number
- JP6854716B2 JP6854716B2 JP2017132260A JP2017132260A JP6854716B2 JP 6854716 B2 JP6854716 B2 JP 6854716B2 JP 2017132260 A JP2017132260 A JP 2017132260A JP 2017132260 A JP2017132260 A JP 2017132260A JP 6854716 B2 JP6854716 B2 JP 6854716B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- coding
- image processing
- size
- coordinate position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims 3
- 238000000034 method Methods 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、符号化技術に関するものである。 The present invention relates to a coding technique.
動画像の圧縮記録の符号化方式として、H.265/HEVC(High Efficiency Video Coding)符号化方式(以下、HEVC)が知られている。HEVCでは、動画像を構成する各フレームの画像は、四分木空間分割によってCTU(Coding Tree Unit)と呼ばれる画素ブロックに分割される。また、CTUを更に再帰的に四分木空間分割することもできる。HEVCにおいてCTUが取り得るブロックサイズには64×64、32×32、16×16がある。また、CTUを再帰的に四分木空間分割することで得られるCU(Coding Unit)が取り得るブロックサイズには64×64、32×32、16×16、8×8がある。HEVCでは符号化処理はCUを単位に行われる。特許文献1には、ブロックサイズが可変の圧縮方式においても、画像変動時に符号化効率を上げながら画質も向上させるための技術が開示されている。
As a coding method for compressed recording of moving images, H.I. A 265 / HEVC (High Efficiency Video Coding) coding method (hereinafter referred to as HEVC) is known. In HEVC, the image of each frame constituting the moving image is divided into pixel blocks called CTU (Coding Tree Unit) by the quadtree space division. It is also possible to recursively divide the CTU into quadtree spaces. The block sizes that CTU can take in HEVC include 64x64, 32x32, and 16x16. Further, there are 64 × 64, 32 × 32, 16 × 16, and 8 × 8 block sizes that can be taken by the CU (Coding Unit) obtained by recursively dividing the CTU into quadtree spaces. In HEVC, the coding process is performed in units of CU.
CTUに含まれるそれぞれのCUについて符号化処理を行うためには、CTUにおいて符号化対象となるCUの位置を特定する必要がある。CTUに含まれる全てのCUのサイズが同じであれば、それぞれのCUの位置の特定は容易であるが、CTUに異なるサイズのCUが含まれうる。このようなケースについて、図1を用いて説明する。 In order to perform the coding process for each CU included in the CTU, it is necessary to specify the position of the CU to be coded in the CTU. If the sizes of all the CUs contained in the CTU are the same, it is easy to identify the position of each CU, but the CTU may contain CUs of different sizes. Such a case will be described with reference to FIG.
図1には、縦64画素×横64画素のCTUを示しており、CTUの左上隅の座標位置(X座標、Y座標)=(0,0)、右下隅の座標位置(X座標、Y座標)=(63,63)としている。図1のCTUは再帰的な四分木空間分割により13個のCUに分割されている。CUに付された番号0〜12は該CUの読み出し順(符号化順)を示しており、所謂モートン序列である。
FIG. 1 shows a CTU with 64 pixels in the vertical direction and 64 pixels in the horizontal direction. The coordinate position of the upper left corner of the CTU (X coordinate, Y coordinate) = (0,0), and the coordinate position of the lower right corner (X coordinate, Y). Coordinates) = (63, 63). The CTU in FIG. 1 is divided into 13 CUs by recursive quadtree space division.
番号「0」が付されたCU(CU0と称する)は32画素×32画素のサイズを有し、左上隅の座標位置は(0,0)である。番号「1」〜「4」が付されたそれぞれのCU(それぞれCU1〜CU4と称する)は16画素×16画素のサイズを有し、左上隅の座標位置は(32,0)、(48,0)、(32,16)、(48,16)である。番号「5」〜「8」が付されたそれぞれのCU(それぞれCU5〜CU8と称する)は8画素×8画素のサイズを有し、左上隅の座標位置は(0,32)、(8,32)、(0,40)、(8,40)である。番号「9」〜「11」が付されたそれぞれのCU(それぞれCU9〜CU11と称する)は16画素×16画素のサイズを有し、左上隅の座標位置は(16,32)、(0,48)、(16,48)である。番号「12」が付されたCU(CU12と称する)は32画素×32画素のサイズを有し、左上隅の座標位置は(32,32)である。 The CU numbered "0" (referred to as CU0) has a size of 32 pixels x 32 pixels, and the coordinate position in the upper left corner is (0,0). Each CU numbered "1" to "4" (referred to as CU1 to CU4, respectively) has a size of 16 pixels x 16 pixels, and the coordinate positions in the upper left corner are (32,0), (48, 0), (32,16), (48,16). Each CU numbered "5" to "8" (referred to as CU5 to CU8, respectively) has a size of 8 pixels x 8 pixels, and the coordinate positions in the upper left corner are (0, 32), (8, 32), (0,40), (8,40). Each CU numbered "9" to "11" (referred to as CU9 to CU11, respectively) has a size of 16 pixels x 16 pixels, and the coordinate positions in the upper left corner are (16, 32), (0, 32). 48), (16, 48). The CU numbered "12" (referred to as CU12) has a size of 32 pixels x 32 pixels, and the coordinate position in the upper left corner is (32, 32).
ここで、現在CU0を符号化対象としている場合、次に符号化する(読み出す)CUはCU1である。CU0の座標位置に対するCU1の座標位置のオフセット量はX座標については「+32」、Y座標については「0」である。然るに、CU0の座標位置にこのオフセット量を加えた座標位置を左上隅とする16画素×16画素の領域をCU1として読み出すことになる。次に、現在CU2を符号化対象としている場合、次に符号化するCUはCU3である。CU2の座標位置に対するCU3の座標位置のオフセット量はX座標については「−16」、Y座標については「+16」である。然るに、CU2の座標位置にこのオフセット量を加えた座標位置を左上隅とする16画素×16画素の領域をCU3として読み出すことになる。次に、現在CU4を符号化対象としている場合、次に符号化するCUはCU5である。CU4の座標位置に対するCU5の座標位置のオフセット量はX座標については「−48」、Y座標については「+16」である。然るに、CU4の座標位置にこのオフセット量を加えた座標位置を左上隅とする8画素×8画素の領域をCU5として読み出すことになる。このように、従来では、CTUにおける各CUを読み出して符号化する場合、CUの読み出し順やサイズに応じてオフセット量は一定ではないため、次に読み出すCUの位置を、その読み出し順やサイズに応じて毎回計算する必要があり、処理が煩雑となる。
Here, when CU0 is currently the coding target, the CU to be encoded (read) next is CU1. The offset amount of the coordinate position of CU1 with respect to the coordinate position of CU0 is "+32" for the X coordinate and "0" for the Y coordinate. However, the area of 16 pixels × 16 pixels whose upper left corner is the coordinate position obtained by adding this offset amount to the coordinate position of CU0 is read out as CU1. Next, when CU2 is currently the coding target, the CU to be encoded next is CU3. The offset amount of the coordinate position of CU3 with respect to the coordinate position of CU2 is "-16" for the X coordinate and "+16" for the Y coordinate. However, the area of 16 pixels × 16 pixels whose upper left corner is the coordinate position obtained by adding this offset amount to the coordinate position of CU2 is read out as CU3. Next, when CU4 is currently the coding target, the CU to be encoded next is CU5. The offset amount of the coordinate position of CU5 with respect to the coordinate position of CU4 is "-48" for the X coordinate and "+16" for the Y coordinate. However, the area of 8 pixels × 8 pixels whose upper left corner is the coordinate position obtained by adding this offset amount to the coordinate position of the
本発明はこのような問題に鑑みてなされたものであり、CTUからのCUの読み出しをより高速に行うための技術を提供する。 The present invention has been made in view of such a problem, and provides a technique for reading a CU from a CTU at a higher speed.
本発明の一様態は、画像領域を最小のサイズを有する複数のサブブロックに分割した場合における該複数のサブブロックの符号化順、および、該複数のサブブロックの座標位置のそれぞれを示す参照情報を取得する取得手段と、
四分木空間分割により画像領域を再帰的に分割することで得られる複数のブロックのうち第1のブロックの次に符号化する第2のブロックの座標位置を特定する特定手段と、
前記特定手段によって座標位置が特定された前記第2のブロックを符号化する符号化手段と
を備え、
前記特定手段は、
前記第1のブロックの左上隅に対応するサブブロックであって、前記第1のブロックにおいて符号化順が先頭であるサブブロックを先頭サブブロックとして前記参照情報から特定し、
前記最小のサイズを有する複数のサブブロックのうちの1つのサブブロックのサイズに対する前記第1のブロックのサイズがk倍の場合、前記先頭サブブロックから前記参照情報が示す符号化順においてk番目のサブブロックの座標位置を、前記第2のブロックの座標位置として特定する
ことを特徴とする。
The uniformity of the present invention is reference information indicating the coding order of the plurality of subblocks when the image region is divided into a plurality of subblocks having the minimum size, and the coordinate positions of the plurality of subblocks. And the acquisition method to acquire
A specific means for specifying the coordinate position of the second block to be encoded next to the first block among the plurality of blocks obtained by recursively dividing the image area by the quadtree space division, and
A coding means for encoding the second block whose coordinate position is specified by the specific means is provided.
The specific means
The sub-block corresponding to the upper left corner of the first block and the sub-block having the first coding order in the first block is specified as the first sub-block from the reference information.
When the size of the first block is k times the size of one subblock among the plurality of subblocks having the minimum size, the kth th block from the first subblock in the coding order indicated by the reference information. It is characterized in that the coordinate position of the sub-block is specified as the coordinate position of the second block.
本発明の構成によれば、CTUからのCUの読み出しをより高速に行うことができる。 According to the configuration of the present invention, the reading of the CU from the CTU can be performed at a higher speed.
以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の1つである。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. In addition, the embodiment described below shows an example when the present invention is concretely implemented, and is one of the specific examples of the configuration described in the claims.
[第1の実施形態]
本実施形態では動画像を構成する各フレームの画像を符号化する画像処理装置について説明する。先ず、本実施形態に係る画像処理装置の機能構成例について、図2のブロック図を用いて説明する。
[First Embodiment]
In this embodiment, an image processing device that encodes an image of each frame constituting a moving image will be described. First, an example of the functional configuration of the image processing apparatus according to the present embodiment will be described with reference to the block diagram of FIG.
分割部101は、動画像を構成する各フレームの画像(入力画像)を取得し、該入力画像を四分木空間分割によって再帰的に分割する。分割部101は先ず、入力画像を四分木空間分割により複数のCTU(Coding Tree Unit)に分割し、更に該CTUを再帰的に四分木空間分割することでCU(Coding Unit)を得る。
The
取得部102は、分割部101によって分割されたそれぞれのCTUについて、該CTUを構成するCUを符号化順に読み出して符号化部103に対して送出する。符号化部103は、取得部102から送出されたCUを符号化する。制御部104は、分割部101、取得部102、符号化部103を含む画像処理装置全体の動作制御を行う。
For each CTU divided by the
次に、上記の画像処理装置が1つのCTUを符号化するために行う処理について、図3のフローチャートに従って説明する。図3のフローチャートは、取得部102が1つのCTUを分割部101から取得した場合に、取得部102及び符号化部103によって該1つのCTUを符号化するための処理を示すフローチャートである。従って、画像処理装置は1枚の入力画像を構成するそれぞれのCTUについて図3のフローチャートに従った処理を行うことで、該入力画像に対する符号化を行うことができる。以下では一例として、取得部102は図1に示したCTUを分割部101から取得したものとして説明する。
Next, the process performed by the image processing apparatus to encode one CTU will be described with reference to the flowchart of FIG. The flowchart of FIG. 3 is a flowchart showing a process for encoding the one CTU by the
画像処理装置には予め図4に示す如く、CTU内の全てのCUが四分木空間分割における最小サイズ(8画素×8画素とする)を有するCU(最小CUと称する)になったときのそれぞれの最小CUの符号化順及び座標位置が参照情報として登録されている。最小CUの座標位置とは、例えば、CTUにおける該最小CUの左上隅の座標位置である。符号化順はモートン序列に従っている。以下では、符号化順においてi番目のCUをCU(i)と表し、参照情報が規定する符号化順においてj番目の最小CUをMCU(j)と表す。 In the image processing device, as shown in FIG. 4, when all the CUs in the CTU become CUs (referred to as the minimum CUs) having the minimum size (8 pixels × 8 pixels) in the quadtree space division. The coding order and coordinate position of each minimum CU are registered as reference information. The coordinate position of the minimum CU is, for example, the coordinate position of the upper left corner of the minimum CU in the CTU. The coding order follows the Morton order. In the following, the i-th CU in the coding order is referred to as CU (i), and the j-th minimum CU in the coding order defined by the reference information is referred to as MCU (j).
ステップS301では、制御部104は、以下の処理で用いる変数i及び変数jの値を0に初期化すると共に、参照情報を取得する。参照情報は、画像処理装置内の不図示のメモリから取得しても良いし、外部の装置から取得しても良い。
In step S301, the
ステップS302で取得部102は左上隅の最小CUがMCU(j)となるCU(i)(参照情報が規定する符号化順においてMCU(j)を先頭とするCU(i))をCTUから特定し、該特定したCU(i)をCTUから取得して符号化部103に出力する。ステップS301からステップS302に処理が進んだ時点ではi=j=0である。そのため、この場合、ステップS302では取得部102は、左上隅の最小CUがMCU(0)となり、縦32画素×横32画素のサイズを有するCU(0)をCTUから取得して符号化部103に出力することになる。上記の通り、MCU(0)の左上隅の座標位置は(0,0)であり、CU(0)のブロックサイズは縦32画素×横32画素であるため、CTUの左上隅の位置から縦32画素×横32画素の画像領域をCU(0)として取得する。CU(i)も同様に、MCU(j)の左上隅の位置から縦P画素×横Q画素(PはCU(i)の縦の画素数、QはCU(i)の横の画素数)の画像領域をCU(i)として取得する。
In step S302, the
ステップS303では、符号化部103は、取得部102から出力されたCU(i)に対して符号化処理を行う。符号化処理には、インター予測(画面間予測、動き補償予測)を行うインター予測符号化モード、イントラ予測(画面内予測)を行うイントラ予測符号化モード、の2つの予測符号化モードが採用されている。符号化部103は、この2つの予測符号化モードのうち制御部104によって設定された予測符号化モードに対応する符号化(インター予測符号化/イントラ予測符号化)を行う。何れの予測符号化モードにおいても、「イントラ予測/インター予測、量子化、エントロピー符号化などの一連の処理」は、CUの単位で行われる。
In step S303, the
ステップS304では、制御部104は、i<Nであるか否かを判断する。ここで、Nは、CTUに含まれているCUの総数であり、図1の場合、N=13である。このような判断の結果、i≧Nであれば、CTUにおける全てのCUの符号化を行ったので、該CTUについての図3のフローチャートに従った処理は終了する。一方、i<Nである場合には、処理はステップS305に進む。
In step S304, the
ステップS305では、取得部102は、CU(i)の次に符号化するCU(i+1)の左上隅の最小CUをMCU(j+k)とするときに、このkの値(オフセット)を、CU(i)のサイズ(面積)に応じて決定する。ステップS305における処理の詳細について、図5のフローチャートに従って説明する。
In step S305, when the minimum CU in the upper left corner of the CU (i + 1) to be encoded next to the CU (i) is the MCU (j + k), the
ステップS501では、取得部102は、CU(i)のサイズが8画素×8画素であるのか否かを判断する。この判断の結果、CU(i)のサイズが8画素×8画素であれば、処理はステップS502に進み、CU(i)のサイズが8画素×8画素ではない場合には、処理はステップS503に進む。
In step S501, the
ステップS502では、取得部102は、オフセットk=1とする。CU(i)のサイズが最小CUと同じ8画素×8画素である場合、参照情報が規定する符号化順においてCU(i)の先頭の最小CUから1つ後の最小CUは、参照情報が規定する符号化順においてCU(i+1)の先頭の最小CUとなる。図4を例にとると、CU(i)がMCU(0)である場合、参照情報が規定する符号化順においてMCU(0)の1つ後の最小CUであるMCU(1)は、参照情報が規定する符号化順においてCU(i+1)の先頭の最小CUとなる。このように、最小CUのサイズに対するCU(i)のサイズの倍率が1の場合は、オフセットk=1となる。
In step S502, the
ステップS503では、取得部102は、CU(i)のサイズが16画素×16画素であるのか否かを判断する。この判断の結果、CU(i)のサイズが16画素×16画素であれば、処理はステップS504に進み、CU(i)のサイズが16画素×16画素ではない場合には、処理はステップS505に進む。
In step S503, the
ステップS504では、取得部102は、オフセットk=4とする。CU(i)のサイズが最小CUのサイズの4倍である16画素×16画素である場合、参照情報が規定する符号化順においてCU(i)の先頭の最小CUから4つ後の最小CUは、参照情報が規定する符号化順においてCU(i+1)の先頭の最小CUとなる。図4を例にとると、参照情報が規定する符号化順においてCU(i)の先頭の最小CUがMCU(0)であるとする(このとき、CU(i)はMCU(0)〜MCU(3)で構成されている)。このとき、参照情報が規定する符号化順においてMCU(0)の4つ後の最小CUであるMCU(4)は、参照情報が規定する符号化順においてCU(i+1)の先頭の最小CUとなる。このように、最小CUのサイズに対するCU(i)のサイズの倍率が4の場合は、オフセットk=4となる。
In step S504, the
ステップS505では、取得部102は、CU(i)のサイズは32画素×32画素であるとして、オフセットk=16とする。CU(i)のサイズが最小CUのサイズの16倍である32画素×32画素である場合、参照情報が規定する符号化順においてCU(i)の先頭の最小CUから16後の最小CUは、参照情報が規定する符号化順においてCU(i+1)の先頭の最小CUとなる。図4を例にとると、参照情報が規定する符号化順においてCU(i)の先頭の最小CUがMCU(0)であるとする(このとき、CU(i)はMCU(0)〜MCU(15)で構成されている)。このとき、参照情報が規定する符号化順においてMCU(0)の16後の最小CUであるMCU(16)は、参照情報が規定する符号化順においてCU(i+1)の先頭の最小CUとなる。このように、最小CUのサイズに対するCU(i)のサイズの倍率が16の場合は、オフセットk=16となる。一般的には、最小CUのサイズ(面積)をMS、CU(i)のサイズ(面積)をSとすると、オフセットkはS/MSで表される。
In step S505, the
図3に戻って、次に、ステップS306では、取得部102は、変数jの値にオフセットkの値を加えることで変数jの値を更新する(j=j+k)と共に、変数iの値に1を加えることで変数iの値を更新する(i=i+1)。そして処理はステップS302に戻る。
Returning to FIG. 3, next, in step S306, the
図7は、本実施形態の動作の具体例を示す図である。まず左上のCUのサイズは32X32である。そのため、最小CUサイズを8X8とすると、オフセットK=16となり、次に符号化すべきCUの位置が特定される。さらに、次に符号化すべきCUのサイズは16X16であり、オフセットK=4となり、その次に符号化すべきCUの位置が特定される。すなわち、CU(0)〜CU(12)のサイズとオフセットKとの関係は以下の通りである。 FIG. 7 is a diagram showing a specific example of the operation of the present embodiment. First, the size of the upper left CU is 32X32. Therefore, if the minimum CU size is 8X8, the offset K = 16, and the position of the CU to be encoded next is specified. Further, the size of the CU to be encoded next is 16X16, the offset K = 4, and the position of the CU to be encoded next is specified. That is, the relationship between the sizes of CU (0) to CU (12) and the offset K is as follows.
CU(0):サイズ32X32、 オフセットk=16
CU(1):サイズ16X16、 オフセットk=4
CU(2):サイズ16X16、 オフセットk=4
CU(3):サイズ16X16、 オフセットk=4
CU(4):サイズ16X16、 オフセットk=4
CU(5):サイズ8X8、 オフセットk=1
CU(6):サイズ8X8、 オフセットk=1
CU(7):サイズ8X8、 オフセットk=1
CU(8):サイズ8X8、 オフセットk=1
CU(9):サイズ16X16、 オフセットk=4
CU(10):サイズ16X16、オフセットk=4
CU(11):サイズ16X16、オフセットk=4
CU(12):サイズ32X32、オフセットk=16
オフセットKの和がCTUのサイズに対応する64となるとその処理が完了する。なお、各CUの位置は、図8に示すような座標変換テーブルを用いてXY座標に変換して処理されることになる。
CU (0): size 32X32, offset k = 16
CU (1): size 16X16, offset k = 4
CU (2): size 16X16, offset k = 4
CU (3): size 16X16, offset k = 4
CU (4): size 16X16, offset k = 4
CU (5): size 8X8, offset k = 1
CU (6): size 8X8, offset k = 1
CU (7): size 8X8, offset k = 1
CU (8): size 8X8, offset k = 1
CU (9): size 16X16, offset k = 4
CU (10): size 16X16, offset k = 4
CU (11): size 16X16, offset k = 4
CU (12): size 32X32, offset k = 16
When the sum of the offset K becomes 64, which corresponds to the size of the CTU, the process is completed. The position of each CU is converted into XY coordinates using a coordinate conversion table as shown in FIG. 8 and processed.
なお、本実施形態で用いた具体的な数値は説明を具体的に行うために使用したものであり、上記の処理は、上記の数値に限ったものではなく、任意の数値であって良い。例えば、最小CUのサイズは8画素×8画素に限らず、4画素×4画素であっても良いし、CTUのサイズは64画素×64画素に限らず、32画素×32画素であっても良い。 The specific numerical values used in the present embodiment are used for concrete explanation, and the above processing is not limited to the above numerical values, and may be any numerical value. For example, the size of the minimum CU is not limited to 8 pixels × 8 pixels and may be 4 pixels × 4 pixels, and the size of the CTU is not limited to 64 pixels × 64 pixels and may be 32 pixels × 32 pixels. good.
そして、CU(ブロック)や最小CU(サブブロック)のサイズが如何なる数値であったとしても、第1のブロックの次に符号化する第2のブロックは、次のようにして求める。つまり、画像領域としてのCTUを最小のサイズを有する複数のサブブロックに分割した場合における該複数のサブブロックのそれぞれの符号化順を示す情報(参照情報)を取得する。そして、第1のブロック中の該符号化順において先頭のサブブロックから、該符号化順においてサブブロックのサイズに対する第1のブロックのサイズの倍率に応じた個数分だけ後のサブブロックを特定する。そして、該符号化順において該特定したサブブロックを先頭とする第2のブロックを特定する。 Then, regardless of the size of the CU (block) or the minimum CU (subblock), the second block to be encoded next to the first block is obtained as follows. That is, information (reference information) indicating the coding order of each of the plurality of sub-blocks when the CTU as an image region is divided into a plurality of sub-blocks having the minimum size is acquired. Then, from the first sub-block in the coding order in the first block, the number of sub-blocks after the first sub-block in the coding order according to the multiplication factor of the size of the first block with respect to the size of the sub-block is specified. .. Then, in the coding order, the second block starting from the specified sub-block is specified.
[第2の実施形態]
図2に示した各機能部はハードウェアで実装しても良いが、ソフトウェア(コンピュータプログラム)で実装しても良い。前者の場合、このようなハードウェアは、ディジタルカメラ、スマートフォン、タブレット端末、ネットワークカメラなどのコンピュータ装置に組み込んでも良い。一方、後者の場合、図2に示した各機能部に対応するコンピュータプログラムを実行可能なプロセッサを有するコンピュータ装置は、上記の画像処理装置に適用することができる。図2に示した各機能部に対応するコンピュータプログラムを実行可能なプロセッサを有するコンピュータ装置のハードウェア構成例について、図6のブロック図を用いて説明する。
[Second Embodiment]
Each functional part shown in FIG. 2 may be implemented by hardware, but may be implemented by software (computer program). In the former case, such hardware may be incorporated into a computer device such as a digital camera, a smartphone, a tablet terminal, or a network camera. On the other hand, in the latter case, a computer device having a processor capable of executing a computer program corresponding to each functional unit shown in FIG. 2 can be applied to the above-mentioned image processing device. An example of a hardware configuration of a computer device having a processor capable of executing a computer program corresponding to each functional unit shown in FIG. 2 will be described with reference to the block diagram of FIG.
CPU601は、RAM602やROM603に格納されているコンピュータプログラムやデータを用いて処理を実行する。これによりCPU601は、コンピュータ装置全体の動作制御を行うと共に、画像処理装置が行うものとして上述した各処理を実行若しくは制御する。
The
RAM602は、ROM603や外部記憶装置606からロードされたコンピュータプログラムやデータ、I/F(インターフェース)607を介して外部から受信したデータを格納するためのエリアを有する。更にRAM602は、CPU601が各種の処理を実行する際に用いるワークエリアを有する。このようにRAM602は、各種のエリアを適宜提供することができる。
The
ROM603には、書換不要のコンピュータプログラム(例えば、BIOSのコンピュータプログラムや起動プログラム)やデータ(例えば、コンピュータ装置の設定データ)が格納されている。
The
操作部604は、キーボードやマウスなどのユーザインターフェースにより構成されており、ユーザが操作することで各種の指示をCPU601に対して入力することができる。
The
出力部605は、CRTや液晶画面などにより構成されている表示装置、壁面などに画像や文字を投影する投影装置、などの機器により構成されており、CPU601による処理結果を画像や文字などでもって表示/投影する。表示装置はタッチパネル画面であっても良い。
The
外部記憶装置606は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置606には、OS(オペレーティングシステム)や、画像処理装置が行うものとして上述した各処理をCPU601に実行させるためのコンピュータプログラムやデータが保存されている。外部記憶装置606に保存されているコンピュータプログラムには、図2に示した各機能部の機能をCPU601に実現させるためのコンピュータプログラムが含まれている。また、外部記憶装置606に保存されているデータには、上記の参照情報や符号化部103が符号化に用いる符号化パラメータなどが含まれている。外部記憶装置606に保存されているコンピュータプログラムやデータは、CPU601による制御に従って適宜RAM602にロードされ、CPU601による処理対象となる。
The
I/F607は、外部の機器とのデータ通信を行うためのインターフェースとして機能するものであり、例えば、動画像を撮像する撮像装置をI/F607に接続し、該I/F607を介して上記の動画像を構成する各フレームの画像を取得することができる。また、I/F607には、LANやインターネットなどのネットワークに接続するためのネットワークインターフェースが含まれていても良く、上記の説明における様々な情報をI/F607を介して外部の機器から取得しても良い。
The I /
上記のCPU601、RAM602、ROM603、操作部604、出力部605、外部記憶装置606、I/F607は何れもバス608に接続されている。なお、図6に示したハードウェア構成は、上記の画像処理装置に適用可能なコンピュータ装置のハードウェア構成の一例に過ぎない。
The
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other Examples)
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
101:分割部 102:取得部 103:符号化部 104:制御部 101: Division unit 102: Acquisition unit 103: Coding unit 104: Control unit
Claims (7)
四分木空間分割により画像領域を再帰的に分割することで得られる複数のブロックのうち第1のブロックの次に符号化する第2のブロックの座標位置を特定する特定手段と、
前記特定手段によって座標位置が特定された前記第2のブロックを符号化する符号化手段と
を備え、
前記特定手段は、
前記第1のブロックの左上隅に対応するサブブロックであって、前記第1のブロックにおいて符号化順が先頭であるサブブロックを先頭サブブロックとして前記参照情報から特定し、
前記最小のサイズを有する複数のサブブロックのうちの1つのサブブロックのサイズに対する前記第1のブロックのサイズがk倍の場合、前記先頭サブブロックから前記参照情報が示す符号化順においてk番目のサブブロックの座標位置を、前記第2のブロックの座標位置として特定する
ことを特徴とする画像処理装置。 An acquisition means for acquiring reference information indicating the coding order of the plurality of subblocks when the image area is divided into a plurality of subblocks having the minimum size, and the coordinate positions of the plurality of subblocks.
A specific means for specifying the coordinate position of the second block to be encoded next to the first block among the plurality of blocks obtained by recursively dividing the image area by the quadtree space division, and
A coding means for encoding the second block whose coordinate position is specified by the specific means is provided.
The specific means
The sub-block corresponding to the upper left corner of the first block and the sub-block having the first coding order in the first block is specified as the first sub-block from the reference information.
When the size of the first block is k times the size of one subblock among the plurality of subblocks having the minimum size, the kth th block from the first subblock in the coding order indicated by the reference information. An image processing device characterized in that the coordinate position of a sub-block is specified as the coordinate position of the second block.
前記画像処理装置の取得手段が、画像領域を最小のサイズを有する複数のサブブロックに分割した場合における該複数のサブブロックの符号化順、および、該複数のサブブロックの座標位置のそれぞれを示す参照情報を取得する取得工程と、
前記画像処理装置の特定手段が、四分木空間分割により画像領域を再帰的に分割することで得られる複数のブロックのうち第1のブロックの次に符号化する第2のブロックの座標位置を特定する特定工程と、
前記画像処理装置の符号化手段が、前記特定工程で座標位置が特定された前記第2のブロックを符号化する符号化工程と
を備え、
前記特定工程では、
前記第1のブロックの左上隅に対応するサブブロックであって、前記第1のブロックにおいて符号化順が先頭であるサブブロックを先頭サブブロックとして前記参照情報から特定し、
前記最小のサイズを有する複数のサブブロックのうちの1つのサブブロックのサイズに対する前記第1のブロックのサイズがk倍の場合、前記先頭サブブロックから前記参照情報が示す符号化順においてk番目のサブブロックの座標位置を、前記第2のブロックの座標位置として特定する
ことを特徴とする画像処理方法。 This is an image processing method performed by an image processing device.
The acquisition means of the image processing apparatus indicates the coding order of the plurality of subblocks when the image area is divided into a plurality of subblocks having the minimum size, and the coordinate positions of the plurality of subblocks, respectively. The acquisition process to acquire reference information and
The specific means of the image processing apparatus recursively divides the image area by quadtree space division, and among the plurality of blocks obtained , the coordinate position of the second block to be encoded next to the first block is determined. Specific process to identify and
The coding means of the image processing apparatus includes a coding step of coding the second block whose coordinate position is specified in the specific step .
In the specific step,
The sub-block corresponding to the upper left corner of the first block and the sub-block having the first coding order in the first block is specified as the first sub-block from the reference information.
When the size of the first block is k times the size of one subblock among the plurality of subblocks having the minimum size, the kth th block from the first subblock in the coding order indicated by the reference information. An image processing method characterized in that the coordinate position of a sub-block is specified as the coordinate position of the second block.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017132260A JP6854716B2 (en) | 2017-07-05 | 2017-07-05 | Image processing device, image processing method |
US16/026,107 US11222414B2 (en) | 2017-07-05 | 2018-07-03 | Image processing apparatus that specifies a block to be encoded |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017132260A JP6854716B2 (en) | 2017-07-05 | 2017-07-05 | Image processing device, image processing method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019016895A JP2019016895A (en) | 2019-01-31 |
JP2019016895A5 JP2019016895A5 (en) | 2020-02-06 |
JP6854716B2 true JP6854716B2 (en) | 2021-04-07 |
Family
ID=64902801
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017132260A Active JP6854716B2 (en) | 2017-07-05 | 2017-07-05 | Image processing device, image processing method |
Country Status (2)
Country | Link |
---|---|
US (1) | US11222414B2 (en) |
JP (1) | JP6854716B2 (en) |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120005968A (en) * | 2010-07-09 | 2012-01-17 | 삼성전자주식회사 | Method and apparatus for video encoding using adjustable loop-filtering, method and apparatus for video dncoding using adjustable loop-filtering |
US8861587B2 (en) * | 2010-07-21 | 2014-10-14 | Telefonaktiebolaget L M Ericsson (Publ) | Picture coding and decoding |
EP3267681B1 (en) * | 2011-07-02 | 2018-11-21 | Samsung Electronics Co., Ltd. | Apparatus for multiplexing and demultiplexing video data to identify reproducing state of video data |
IN2014CN02377A (en) * | 2011-09-29 | 2015-06-19 | Sharp Kk | |
KR102088383B1 (en) * | 2013-03-15 | 2020-03-12 | 삼성전자주식회사 | Method and apparatus for encoding and decoding video |
JP2015115903A (en) | 2013-12-13 | 2015-06-22 | キヤノン株式会社 | Imaging apparatus, control method of imaging apparatus, and computer program |
US10230980B2 (en) | 2015-01-26 | 2019-03-12 | Qualcomm Incorporated | Overlapped motion compensation for video coding |
WO2017195554A1 (en) | 2016-05-13 | 2017-11-16 | シャープ株式会社 | Predicted image generation device, video decoding device and video encoding device |
US9948930B2 (en) | 2016-05-17 | 2018-04-17 | Arris Enterprises Llc | Template matching for JVET intra prediction |
US11310495B2 (en) | 2016-10-03 | 2022-04-19 | Sharp Kabushiki Kaisha | Systems and methods for applying deblocking filters to reconstructed video data |
EP3343925A1 (en) | 2017-01-03 | 2018-07-04 | Thomson Licensing | Method and apparatus for encoding and decoding motion information |
US11032545B2 (en) * | 2017-06-29 | 2021-06-08 | Qualcomm Incorporated | Reducing seam artifacts in 360-degree video |
-
2017
- 2017-07-05 JP JP2017132260A patent/JP6854716B2/en active Active
-
2018
- 2018-07-03 US US16/026,107 patent/US11222414B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019016895A (en) | 2019-01-31 |
US11222414B2 (en) | 2022-01-11 |
US20190012775A1 (en) | 2019-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI565307B (en) | Moving image encoding device, moving image decoding device, moving image encoding method, moving image decoding method, and memory storage | |
KR102005007B1 (en) | Picture prediction method and related apparatus | |
KR20210077799A (en) | Coding apparatus, coding method and program | |
KR102438246B1 (en) | Deblocking filter method and apparatus | |
EP3282701A1 (en) | Prediction mode selection method, apparatus and device | |
JP7457861B2 (en) | Image data encoding/decoding method and device | |
JP5779116B2 (en) | Image coding method, image coding apparatus, and image coding program | |
JP2016136700A (en) | Image encoder, image encoding method and program | |
JP6854716B2 (en) | Image processing device, image processing method | |
JP6936641B2 (en) | Image processing device, image processing method | |
JP2015165644A (en) | Image encoder and image encoding method | |
JP3775630B2 (en) | Video segmentation coding apparatus | |
JP2013207402A (en) | Image encoding device and program | |
CN115917611A (en) | Method and system for video coding and decoding using reference region | |
CN114079769A (en) | Video encoding method, apparatus, device and computer readable storage medium | |
JP2017050744A (en) | Image encoding apparatus, image encoding method and program | |
JP2021013145A (en) | Video transmission device and video transmission method | |
TWI833620B (en) | Image encoding device, image encoding method, image decoding device and image decoding method | |
JP6110724B2 (en) | Image processing apparatus, encoding apparatus, and encoding program | |
JP6308409B2 (en) | Moving picture coding apparatus and moving picture coding method | |
JP2019047346A (en) | Encoder, coding method, and program | |
TW202034699A (en) | Image coding device, image decoding device, image coding method, image decoding method, and program | |
TW202106030A (en) | Image coding device, image decoding device, image coding method, and image decoding method | |
JP2014099850A (en) | Image division system and image division method | |
JP6101067B2 (en) | Image processing apparatus and image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191217 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201013 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201023 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201222 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210316 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6854716 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |