JP6854716B2 - 画像処理装置、画像処理方法 - Google Patents

画像処理装置、画像処理方法 Download PDF

Info

Publication number
JP6854716B2
JP6854716B2 JP2017132260A JP2017132260A JP6854716B2 JP 6854716 B2 JP6854716 B2 JP 6854716B2 JP 2017132260 A JP2017132260 A JP 2017132260A JP 2017132260 A JP2017132260 A JP 2017132260A JP 6854716 B2 JP6854716 B2 JP 6854716B2
Authority
JP
Japan
Prior art keywords
block
coding
image processing
size
coordinate position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017132260A
Other languages
English (en)
Other versions
JP2019016895A (ja
JP2019016895A5 (ja
Inventor
ロー ジー フェルナンデス マイケル
ロー ジー フェルナンデス マイケル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017132260A priority Critical patent/JP6854716B2/ja
Priority to US16/026,107 priority patent/US11222414B2/en
Publication of JP2019016895A publication Critical patent/JP2019016895A/ja
Publication of JP2019016895A5 publication Critical patent/JP2019016895A5/ja
Application granted granted Critical
Publication of JP6854716B2 publication Critical patent/JP6854716B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、符号化技術に関するものである。
動画像の圧縮記録の符号化方式として、H.265/HEVC(High Efficiency Video Coding)符号化方式(以下、HEVC)が知られている。HEVCでは、動画像を構成する各フレームの画像は、四分木空間分割によってCTU(Coding Tree Unit)と呼ばれる画素ブロックに分割される。また、CTUを更に再帰的に四分木空間分割することもできる。HEVCにおいてCTUが取り得るブロックサイズには64×64、32×32、16×16がある。また、CTUを再帰的に四分木空間分割することで得られるCU(Coding Unit)が取り得るブロックサイズには64×64、32×32、16×16、8×8がある。HEVCでは符号化処理はCUを単位に行われる。特許文献1には、ブロックサイズが可変の圧縮方式においても、画像変動時に符号化効率を上げながら画質も向上させるための技術が開示されている。
特開2015−115903号公報
CTUに含まれるそれぞれのCUについて符号化処理を行うためには、CTUにおいて符号化対象となるCUの位置を特定する必要がある。CTUに含まれる全てのCUのサイズが同じであれば、それぞれのCUの位置の特定は容易であるが、CTUに異なるサイズのCUが含まれうる。このようなケースについて、図1を用いて説明する。
図1には、縦64画素×横64画素のCTUを示しており、CTUの左上隅の座標位置(X座標、Y座標)=(0,0)、右下隅の座標位置(X座標、Y座標)=(63,63)としている。図1のCTUは再帰的な四分木空間分割により13個のCUに分割されている。CUに付された番号0〜12は該CUの読み出し順(符号化順)を示しており、所謂モートン序列である。
番号「0」が付されたCU(CU0と称する)は32画素×32画素のサイズを有し、左上隅の座標位置は(0,0)である。番号「1」〜「4」が付されたそれぞれのCU(それぞれCU1〜CU4と称する)は16画素×16画素のサイズを有し、左上隅の座標位置は(32,0)、(48,0)、(32,16)、(48,16)である。番号「5」〜「8」が付されたそれぞれのCU(それぞれCU5〜CU8と称する)は8画素×8画素のサイズを有し、左上隅の座標位置は(0,32)、(8,32)、(0,40)、(8,40)である。番号「9」〜「11」が付されたそれぞれのCU(それぞれCU9〜CU11と称する)は16画素×16画素のサイズを有し、左上隅の座標位置は(16,32)、(0,48)、(16,48)である。番号「12」が付されたCU(CU12と称する)は32画素×32画素のサイズを有し、左上隅の座標位置は(32,32)である。
ここで、現在CU0を符号化対象としている場合、次に符号化する(読み出す)CUはCU1である。CU0の座標位置に対するCU1の座標位置のオフセット量はX座標については「+32」、Y座標については「0」である。然るに、CU0の座標位置にこのオフセット量を加えた座標位置を左上隅とする16画素×16画素の領域をCU1として読み出すことになる。次に、現在CU2を符号化対象としている場合、次に符号化するCUはCU3である。CU2の座標位置に対するCU3の座標位置のオフセット量はX座標については「−16」、Y座標については「+16」である。然るに、CU2の座標位置にこのオフセット量を加えた座標位置を左上隅とする16画素×16画素の領域をCU3として読み出すことになる。次に、現在CU4を符号化対象としている場合、次に符号化するCUはCU5である。CU4の座標位置に対するCU5の座標位置のオフセット量はX座標については「−48」、Y座標については「+16」である。然るに、CU4の座標位置にこのオフセット量を加えた座標位置を左上隅とする8画素×8画素の領域をCU5として読み出すことになる。このように、従来では、CTUにおける各CUを読み出して符号化する場合、CUの読み出し順やサイズに応じてオフセット量は一定ではないため、次に読み出すCUの位置を、その読み出し順やサイズに応じて毎回計算する必要があり、処理が煩雑となる。
本発明はこのような問題に鑑みてなされたものであり、CTUからのCUの読み出しをより高速に行うための技術を提供する。
本発明の一様態は、画像領域を最小のサイズを有する複数のサブブロックに分割した場合における該複数のサブブロックの符号化順、および、該複数のサブブロックの座標位置のそれぞれを示す参照情報を取得する取得手段と、
四分木空間分割により画像領域を再帰的に分割することで得られる複数のブロックのうち第1のブロックの次に符号化する第2のブロックの座標位置を特定する特定手段と、
前記特定手段によって座標位置が特定された前記第2のブロックを符号化する符号化手段と
を備え
前記特定手段は、
前記第1のブロックの左上隅に対応するサブブロックであって、前記第1のブロックにおいて符号化順が先頭であるサブブロックを先頭サブブロックとして前記参照情報から特定し、
前記最小のサイズを有する複数のサブブロックのうちの1つのサブブロックのサイズに対する前記第1のブロックのサイズがk倍の場合、前記先頭サブブロックから前記参照情報が示す符号化順においてk番目のサブブロックの座標位置を、前記第2のブロックの座標位置として特定する
ことを特徴とする。
本発明の構成によれば、CTUからのCUの読み出しをより高速に行うことができる。
CTUの構成例を説明する図。 画像処理装置の機能構成例を示すブロック図。 画像処理装置がCTUを符号化するために行う処理のフローチャート。 参照情報を示す図。 ステップS305における処理の詳細を示すフローチャート。 コンピュータ装置のハードウェア構成例を示すブロック図。 第1の実施形態の動作処理の一例を示す図。 座標変換テーブルの一例を示す図。
以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の1つである。
[第1の実施形態]
本実施形態では動画像を構成する各フレームの画像を符号化する画像処理装置について説明する。先ず、本実施形態に係る画像処理装置の機能構成例について、図2のブロック図を用いて説明する。
分割部101は、動画像を構成する各フレームの画像(入力画像)を取得し、該入力画像を四分木空間分割によって再帰的に分割する。分割部101は先ず、入力画像を四分木空間分割により複数のCTU(Coding Tree Unit)に分割し、更に該CTUを再帰的に四分木空間分割することでCU(Coding Unit)を得る。
取得部102は、分割部101によって分割されたそれぞれのCTUについて、該CTUを構成するCUを符号化順に読み出して符号化部103に対して送出する。符号化部103は、取得部102から送出されたCUを符号化する。制御部104は、分割部101、取得部102、符号化部103を含む画像処理装置全体の動作制御を行う。
次に、上記の画像処理装置が1つのCTUを符号化するために行う処理について、図3のフローチャートに従って説明する。図3のフローチャートは、取得部102が1つのCTUを分割部101から取得した場合に、取得部102及び符号化部103によって該1つのCTUを符号化するための処理を示すフローチャートである。従って、画像処理装置は1枚の入力画像を構成するそれぞれのCTUについて図3のフローチャートに従った処理を行うことで、該入力画像に対する符号化を行うことができる。以下では一例として、取得部102は図1に示したCTUを分割部101から取得したものとして説明する。
画像処理装置には予め図4に示す如く、CTU内の全てのCUが四分木空間分割における最小サイズ(8画素×8画素とする)を有するCU(最小CUと称する)になったときのそれぞれの最小CUの符号化順及び座標位置が参照情報として登録されている。最小CUの座標位置とは、例えば、CTUにおける該最小CUの左上隅の座標位置である。符号化順はモートン序列に従っている。以下では、符号化順においてi番目のCUをCU(i)と表し、参照情報が規定する符号化順においてj番目の最小CUをMCU(j)と表す。
ステップS301では、制御部104は、以下の処理で用いる変数i及び変数jの値を0に初期化すると共に、参照情報を取得する。参照情報は、画像処理装置内の不図示のメモリから取得しても良いし、外部の装置から取得しても良い。
ステップS302で取得部102は左上隅の最小CUがMCU(j)となるCU(i)(参照情報が規定する符号化順においてMCU(j)を先頭とするCU(i))をCTUから特定し、該特定したCU(i)をCTUから取得して符号化部103に出力する。ステップS301からステップS302に処理が進んだ時点ではi=j=0である。そのため、この場合、ステップS302では取得部102は、左上隅の最小CUがMCU(0)となり、縦32画素×横32画素のサイズを有するCU(0)をCTUから取得して符号化部103に出力することになる。上記の通り、MCU(0)の左上隅の座標位置は(0,0)であり、CU(0)のブロックサイズは縦32画素×横32画素であるため、CTUの左上隅の位置から縦32画素×横32画素の画像領域をCU(0)として取得する。CU(i)も同様に、MCU(j)の左上隅の位置から縦P画素×横Q画素(PはCU(i)の縦の画素数、QはCU(i)の横の画素数)の画像領域をCU(i)として取得する。
ステップS303では、符号化部103は、取得部102から出力されたCU(i)に対して符号化処理を行う。符号化処理には、インター予測(画面間予測、動き補償予測)を行うインター予測符号化モード、イントラ予測(画面内予測)を行うイントラ予測符号化モード、の2つの予測符号化モードが採用されている。符号化部103は、この2つの予測符号化モードのうち制御部104によって設定された予測符号化モードに対応する符号化(インター予測符号化/イントラ予測符号化)を行う。何れの予測符号化モードにおいても、「イントラ予測/インター予測、量子化、エントロピー符号化などの一連の処理」は、CUの単位で行われる。
ステップS304では、制御部104は、i<Nであるか否かを判断する。ここで、Nは、CTUに含まれているCUの総数であり、図1の場合、N=13である。このような判断の結果、i≧Nであれば、CTUにおける全てのCUの符号化を行ったので、該CTUについての図3のフローチャートに従った処理は終了する。一方、i<Nである場合には、処理はステップS305に進む。
ステップS305では、取得部102は、CU(i)の次に符号化するCU(i+1)の左上隅の最小CUをMCU(j+k)とするときに、このkの値(オフセット)を、CU(i)のサイズ(面積)に応じて決定する。ステップS305における処理の詳細について、図5のフローチャートに従って説明する。
ステップS501では、取得部102は、CU(i)のサイズが8画素×8画素であるのか否かを判断する。この判断の結果、CU(i)のサイズが8画素×8画素であれば、処理はステップS502に進み、CU(i)のサイズが8画素×8画素ではない場合には、処理はステップS503に進む。
ステップS502では、取得部102は、オフセットk=1とする。CU(i)のサイズが最小CUと同じ8画素×8画素である場合、参照情報が規定する符号化順においてCU(i)の先頭の最小CUから1つ後の最小CUは、参照情報が規定する符号化順においてCU(i+1)の先頭の最小CUとなる。図4を例にとると、CU(i)がMCU(0)である場合、参照情報が規定する符号化順においてMCU(0)の1つ後の最小CUであるMCU(1)は、参照情報が規定する符号化順においてCU(i+1)の先頭の最小CUとなる。このように、最小CUのサイズに対するCU(i)のサイズの倍率が1の場合は、オフセットk=1となる。
ステップS503では、取得部102は、CU(i)のサイズが16画素×16画素であるのか否かを判断する。この判断の結果、CU(i)のサイズが16画素×16画素であれば、処理はステップS504に進み、CU(i)のサイズが16画素×16画素ではない場合には、処理はステップS505に進む。
ステップS504では、取得部102は、オフセットk=4とする。CU(i)のサイズが最小CUのサイズの4倍である16画素×16画素である場合、参照情報が規定する符号化順においてCU(i)の先頭の最小CUから4つ後の最小CUは、参照情報が規定する符号化順においてCU(i+1)の先頭の最小CUとなる。図4を例にとると、参照情報が規定する符号化順においてCU(i)の先頭の最小CUがMCU(0)であるとする(このとき、CU(i)はMCU(0)〜MCU(3)で構成されている)。このとき、参照情報が規定する符号化順においてMCU(0)の4つ後の最小CUであるMCU(4)は、参照情報が規定する符号化順においてCU(i+1)の先頭の最小CUとなる。このように、最小CUのサイズに対するCU(i)のサイズの倍率が4の場合は、オフセットk=4となる。
ステップS505では、取得部102は、CU(i)のサイズは32画素×32画素であるとして、オフセットk=16とする。CU(i)のサイズが最小CUのサイズの16倍である32画素×32画素である場合、参照情報が規定する符号化順においてCU(i)の先頭の最小CUから16後の最小CUは、参照情報が規定する符号化順においてCU(i+1)の先頭の最小CUとなる。図4を例にとると、参照情報が規定する符号化順においてCU(i)の先頭の最小CUがMCU(0)であるとする(このとき、CU(i)はMCU(0)〜MCU(15)で構成されている)。このとき、参照情報が規定する符号化順においてMCU(0)の16後の最小CUであるMCU(16)は、参照情報が規定する符号化順においてCU(i+1)の先頭の最小CUとなる。このように、最小CUのサイズに対するCU(i)のサイズの倍率が16の場合は、オフセットk=16となる。一般的には、最小CUのサイズ(面積)をMS、CU(i)のサイズ(面積)をSとすると、オフセットkはS/MSで表される。
図3に戻って、次に、ステップS306では、取得部102は、変数jの値にオフセットkの値を加えることで変数jの値を更新する(j=j+k)と共に、変数iの値に1を加えることで変数iの値を更新する(i=i+1)。そして処理はステップS302に戻る。
図7は、本実施形態の動作の具体例を示す図である。まず左上のCUのサイズは32X32である。そのため、最小CUサイズを8X8とすると、オフセットK=16となり、次に符号化すべきCUの位置が特定される。さらに、次に符号化すべきCUのサイズは16X16であり、オフセットK=4となり、その次に符号化すべきCUの位置が特定される。すなわち、CU(0)〜CU(12)のサイズとオフセットKとの関係は以下の通りである。
CU(0):サイズ32X32、 オフセットk=16
CU(1):サイズ16X16、 オフセットk=4
CU(2):サイズ16X16、 オフセットk=4
CU(3):サイズ16X16、 オフセットk=4
CU(4):サイズ16X16、 オフセットk=4
CU(5):サイズ8X8、 オフセットk=1
CU(6):サイズ8X8、 オフセットk=1
CU(7):サイズ8X8、 オフセットk=1
CU(8):サイズ8X8、 オフセットk=1
CU(9):サイズ16X16、 オフセットk=4
CU(10):サイズ16X16、オフセットk=4
CU(11):サイズ16X16、オフセットk=4
CU(12):サイズ32X32、オフセットk=16
オフセットKの和がCTUのサイズに対応する64となるとその処理が完了する。なお、各CUの位置は、図8に示すような座標変換テーブルを用いてXY座標に変換して処理されることになる。
なお、本実施形態で用いた具体的な数値は説明を具体的に行うために使用したものであり、上記の処理は、上記の数値に限ったものではなく、任意の数値であって良い。例えば、最小CUのサイズは8画素×8画素に限らず、4画素×4画素であっても良いし、CTUのサイズは64画素×64画素に限らず、32画素×32画素であっても良い。
そして、CU(ブロック)や最小CU(サブブロック)のサイズが如何なる数値であったとしても、第1のブロックの次に符号化する第2のブロックは、次のようにして求める。つまり、画像領域としてのCTUを最小のサイズを有する複数のサブブロックに分割した場合における該複数のサブブロックのそれぞれの符号化順を示す情報(参照情報)を取得する。そして、第1のブロック中の該符号化順において先頭のサブブロックから、該符号化順においてサブブロックのサイズに対する第1のブロックのサイズの倍率に応じた個数分だけ後のサブブロックを特定する。そして、該符号化順において該特定したサブブロックを先頭とする第2のブロックを特定する。
[第2の実施形態]
図2に示した各機能部はハードウェアで実装しても良いが、ソフトウェア(コンピュータプログラム)で実装しても良い。前者の場合、このようなハードウェアは、ディジタルカメラ、スマートフォン、タブレット端末、ネットワークカメラなどのコンピュータ装置に組み込んでも良い。一方、後者の場合、図2に示した各機能部に対応するコンピュータプログラムを実行可能なプロセッサを有するコンピュータ装置は、上記の画像処理装置に適用することができる。図2に示した各機能部に対応するコンピュータプログラムを実行可能なプロセッサを有するコンピュータ装置のハードウェア構成例について、図6のブロック図を用いて説明する。
CPU601は、RAM602やROM603に格納されているコンピュータプログラムやデータを用いて処理を実行する。これによりCPU601は、コンピュータ装置全体の動作制御を行うと共に、画像処理装置が行うものとして上述した各処理を実行若しくは制御する。
RAM602は、ROM603や外部記憶装置606からロードされたコンピュータプログラムやデータ、I/F(インターフェース)607を介して外部から受信したデータを格納するためのエリアを有する。更にRAM602は、CPU601が各種の処理を実行する際に用いるワークエリアを有する。このようにRAM602は、各種のエリアを適宜提供することができる。
ROM603には、書換不要のコンピュータプログラム(例えば、BIOSのコンピュータプログラムや起動プログラム)やデータ(例えば、コンピュータ装置の設定データ)が格納されている。
操作部604は、キーボードやマウスなどのユーザインターフェースにより構成されており、ユーザが操作することで各種の指示をCPU601に対して入力することができる。
出力部605は、CRTや液晶画面などにより構成されている表示装置、壁面などに画像や文字を投影する投影装置、などの機器により構成されており、CPU601による処理結果を画像や文字などでもって表示/投影する。表示装置はタッチパネル画面であっても良い。
外部記憶装置606は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置606には、OS(オペレーティングシステム)や、画像処理装置が行うものとして上述した各処理をCPU601に実行させるためのコンピュータプログラムやデータが保存されている。外部記憶装置606に保存されているコンピュータプログラムには、図2に示した各機能部の機能をCPU601に実現させるためのコンピュータプログラムが含まれている。また、外部記憶装置606に保存されているデータには、上記の参照情報や符号化部103が符号化に用いる符号化パラメータなどが含まれている。外部記憶装置606に保存されているコンピュータプログラムやデータは、CPU601による制御に従って適宜RAM602にロードされ、CPU601による処理対象となる。
I/F607は、外部の機器とのデータ通信を行うためのインターフェースとして機能するものであり、例えば、動画像を撮像する撮像装置をI/F607に接続し、該I/F607を介して上記の動画像を構成する各フレームの画像を取得することができる。また、I/F607には、LANやインターネットなどのネットワークに接続するためのネットワークインターフェースが含まれていても良く、上記の説明における様々な情報をI/F607を介して外部の機器から取得しても良い。
上記のCPU601、RAM602、ROM603、操作部604、出力部605、外部記憶装置606、I/F607は何れもバス608に接続されている。なお、図6に示したハードウェア構成は、上記の画像処理装置に適用可能なコンピュータ装置のハードウェア構成の一例に過ぎない。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101:分割部 102:取得部 103:符号化部 104:制御部

Claims (7)

  1. 画像領域を最小のサイズを有する複数のサブブロックに分割した場合における該複数のサブブロックの符号化順、および、該複数のサブブロックの座標位置のそれぞれを示す参照情報を取得する取得手段と、
    四分木空間分割により画像領域を再帰的に分割することで得られる複数のブロックのうち第1のブロックの次に符号化する第2のブロックの座標位置を特定する特定手段と、
    前記特定手段によって座標位置が特定された前記第2のブロックを符号化する符号化手段と
    を備え
    前記特定手段は、
    前記第1のブロックの左上隅に対応するサブブロックであって、前記第1のブロックにおいて符号化順が先頭であるサブブロックを先頭サブブロックとして前記参照情報から特定し、
    前記最小のサイズを有する複数のサブブロックのうちの1つのサブブロックのサイズに対する前記第1のブロックのサイズがk倍の場合、前記先頭サブブロックから前記参照情報が示す符号化順においてk番目のサブブロックの座標位置を、前記第2のブロックの座標位置として特定する
    ことを特徴とする画像処理装置。
  2. 前記符号化順は、前記複数のサブブロックに対するモートン序列であることを特徴とする請求項に記載の画像処理装置。
  3. 前記符号化手段は、前記第2のブロックに対して、インター予測を行うインター予測符号化、イントラ予測を行うイントラ予測符号化、の何れかの予測符号化を行うことを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記画像領域は、画像を四分木空間分割により分割したCTU(Coding Tree Unit)であることを特徴とする請求項1乃至の何れか1項に記載の画像処理装置。
  5. 前記画像領域を四分木空間分割により再帰的に分割することで得られるそれぞれのブロックは、CU(Coding Unit)であることを特徴とする請求項1乃至の何れか1項に記載の画像処理装置。
  6. 画像処理装置が行う画像処理方法であって、
    前記画像処理装置の取得手段が、画像領域を最小のサイズを有する複数のサブブロックに分割した場合における該複数のサブブロックの符号化順、および、該複数のサブブロックの座標位置のそれぞれを示す参照情報を取得する取得工程と、
    前記画像処理装置の特定手段が、四分木空間分割により画像領域を再帰的に分割することで得られる複数のブロックのうち第1のブロックの次に符号化する第2のブロックの座標位置を特定する特定工程と、
    前記画像処理装置の符号化手段が、前記特定工程で座標位置が特定された前記第2のブロックを符号化する符号化工程と
    を備え
    前記特定工程では、
    前記第1のブロックの左上隅に対応するサブブロックであって、前記第1のブロックにおいて符号化順が先頭であるサブブロックを先頭サブブロックとして前記参照情報から特定し、
    前記最小のサイズを有する複数のサブブロックのうちの1つのサブブロックのサイズに対する前記第1のブロックのサイズがk倍の場合、前記先頭サブブロックから前記参照情報が示す符号化順においてk番目のサブブロックの座標位置を、前記第2のブロックの座標位置として特定する
    ことを特徴とする画像処理方法。
  7. コンピュータを、請求項1乃至の何れか1項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
JP2017132260A 2017-07-05 2017-07-05 画像処理装置、画像処理方法 Active JP6854716B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017132260A JP6854716B2 (ja) 2017-07-05 2017-07-05 画像処理装置、画像処理方法
US16/026,107 US11222414B2 (en) 2017-07-05 2018-07-03 Image processing apparatus that specifies a block to be encoded

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017132260A JP6854716B2 (ja) 2017-07-05 2017-07-05 画像処理装置、画像処理方法

Publications (3)

Publication Number Publication Date
JP2019016895A JP2019016895A (ja) 2019-01-31
JP2019016895A5 JP2019016895A5 (ja) 2020-02-06
JP6854716B2 true JP6854716B2 (ja) 2021-04-07

Family

ID=64902801

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017132260A Active JP6854716B2 (ja) 2017-07-05 2017-07-05 画像処理装置、画像処理方法

Country Status (2)

Country Link
US (1) US11222414B2 (ja)
JP (1) JP6854716B2 (ja)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112013000556A2 (pt) * 2010-07-09 2019-09-24 Samsung Electronics Co Ltd método para decodificar um vídeo usando um processador de decodificação de vídeo, método para codificar um vídeo usando um processador de codificação de vídeo, aparaleho de decodificação de vídeo em relação a um processador de decodificação de vídeo, aparelho de codificação de vídeo em relação com um processador de codificação de vídeo, e meio de gravação legível por computador
EP3618431B1 (en) * 2010-07-21 2023-01-18 Telefonaktiebolaget LM Ericsson (publ) Picture coding and decoding
MX337078B (es) * 2011-07-02 2016-02-11 Samsung Electronics Co Ltd Metodo y aparato para multiplexar y desmultiplexar datos de video para identificar el estado de reproduccion de los datos de video.
JP5972888B2 (ja) * 2011-09-29 2016-08-17 シャープ株式会社 画像復号装置、画像復号方法および画像符号化装置
KR102088383B1 (ko) * 2013-03-15 2020-03-12 삼성전자주식회사 비디오의 부호화 방법 및 장치, 비디오의 복호화 방법 및 장치
JP2015115903A (ja) 2013-12-13 2015-06-22 キヤノン株式会社 撮像装置、撮像装置の制御方法、コンピュータプログラム
US10230980B2 (en) 2015-01-26 2019-03-12 Qualcomm Incorporated Overlapped motion compensation for video coding
WO2017195554A1 (ja) 2016-05-13 2017-11-16 シャープ株式会社 予測画像生成装置、動画像復号装置、および動画像符号化装置。
US9948930B2 (en) 2016-05-17 2018-04-17 Arris Enterprises Llc Template matching for JVET intra prediction
CN109845255A (zh) 2016-10-03 2019-06-04 夏普株式会社 用于将解块滤波器应用于重构视频数据的系统和方法
EP3343925A1 (en) 2017-01-03 2018-07-04 Thomson Licensing Method and apparatus for encoding and decoding motion information
US10848761B2 (en) * 2017-06-29 2020-11-24 Qualcomm Incorporated Reducing seam artifacts in 360-degree video

Also Published As

Publication number Publication date
US11222414B2 (en) 2022-01-11
JP2019016895A (ja) 2019-01-31
US20190012775A1 (en) 2019-01-10

Similar Documents

Publication Publication Date Title
TWI565307B (zh) 動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法、動畫像解碼方法及記憶媒體
US10536692B2 (en) Picture prediction method and related apparatus
KR20210077799A (ko) 부호화 장치, 부호화 방법 및 프로그램
EP3282701A1 (en) Prediction mode selection method, apparatus and device
KR102438246B1 (ko) 디블로킹 필터 방법 및 장치
JP7457861B2 (ja) 画像データ符号化/復号化方法及び装置
JP5779116B2 (ja) 画像符号化方法、画像符号化装置及び画像符号化プログラム
JP2016136700A (ja) 画像符号化装置、画像符号化方法及びプログラム
JP2014099852A (ja) イメージ分割システム及びその方法
JP6854716B2 (ja) 画像処理装置、画像処理方法
JP6936641B2 (ja) 画像処理装置、画像処理方法
CN114079769A (zh) 视频编码方法、装置、设备及计算机可读存储介质
JP3775630B2 (ja) 動画像の領域分割符号化装置
JP2015165644A (ja) 動画像符号化装置及び動画像符号化方法
JP2013207402A (ja) 画像符号化装置及びプログラム
CN115917611A (zh) 使用参考区域的视频编解码的方法和系统
JP2017050744A (ja) 画像符号化装置、画像符号化方法、及びプログラム
TW202025747A (zh) 圖像編碼裝置、圖像解碼裝置、其等之控制方法及程式
JP2021013145A (ja) 動画像伝送装置、動画像伝送方法
TWI833620B (zh) 圖像編碼裝置、圖像編碼方法、圖像解碼裝置及圖像解碼方法
JP6308409B2 (ja) 動画像符号化装置及び動画像符号化方法
JP2019047346A (ja) 符号化装置、符号化方法、及び、プログラム
TW202034699A (zh) 圖像編碼裝置、圖像解碼裝置、圖像編碼方法、圖像解碼方法及程式
TW202106030A (zh) 圖像編碼裝置、圖像解碼裝置、圖像編碼方法、圖像解碼方法
JP2014099850A (ja) イメージ分割システム及びその方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191217

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201222

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210316

R151 Written notification of patent or utility model registration

Ref document number: 6854716

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151