JP7364936B2 - 符号化方法、符号化装置、及びプログラム - Google Patents

符号化方法、符号化装置、及びプログラム Download PDF

Info

Publication number
JP7364936B2
JP7364936B2 JP2021563456A JP2021563456A JP7364936B2 JP 7364936 B2 JP7364936 B2 JP 7364936B2 JP 2021563456 A JP2021563456 A JP 2021563456A JP 2021563456 A JP2021563456 A JP 2021563456A JP 7364936 B2 JP7364936 B2 JP 7364936B2
Authority
JP
Japan
Prior art keywords
encoding
sub
encoding unit
unit block
isp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021563456A
Other languages
English (en)
Other versions
JPWO2021117091A1 (ja
Inventor
優也 大森
健 中村
大祐 小林
裕江 岩崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2021117091A1 publication Critical patent/JPWO2021117091A1/ja
Application granted granted Critical
Publication of JP7364936B2 publication Critical patent/JP7364936B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Description

本発明は、符号化方法、符号化装置、及びプログラムに関する。
映像符号化技術として、ＭＰＥＧ（Moving Picture Experts Group）－２、ＭＰＥＧ－４、及びＨ．２６４／ＭＰＥＧ－４ ＡＶＣ（Advanced Video Coding）等が広く用いられいる。とくに近年は、最新の国際標準映像符号化規格であるＨ．２６５／ＨＥＶＣ（High Efficiency Video Coding）（以下、「ＨＥＶＣ」という。）の普及が進んでいる。さらに、Ｈ．２６５／ＨＥＶＣの次の国際標準映像符号化規格として、２０２０年７月の標準化を目指し、Ｈ．２６６／ＶＶＣ（Versatile Video Coding）（以下、「ＶＶＣ」という。）の検討が進められている。ＶＶＣは、ＨＥＶＣの２倍の符号化効率が実現されることを目標として、検討が進められている。
ＨＥＶＣ、ＶＶＣ等の規格に則った映像符号化では、イントラ予測符号化が行われることで符号化効率の向上が実現されている。イントラ予測符号化とは、符号化単位ブロックであるコーディングユニット（ＣＵ）を符号化する際に、符号化対象のＣＵ（以下、「符号化対象ＣＵ」という。）の周辺に位置する画素の画素値に基づいて、当該符号化対象ＣＵ内の画素の画素値を予測・推定し、補償する符号化方式である。具体的には、イントラ予測符号化は、符号化対象ＣＵに隣接するＣＵ内に位置する画素であって、かつ生成済みの再構成画像（すなわち、符号化及び復号がなされた画像）内の画素を複数参照して、符号化対象ＣＵの予測画像を生成する。イントラ予測符号化は、入力画像と予測画像との差分を符号化する。イントラ予測符号化は、予測画像の生成において、ＲＤ（Rate-Distortion）コストが最小となるイントラ予測モードをＣＵごとに決定する。イントラ予測モードとしては、複数の方向性予測のモード（ＡＮＧＵＬＡＲモード）と、１つの直流予測のモード（ＤＣモード）と、１つの平面予測のモード（ＰＬＡＮＡＲモード）とが存在する。ＡＮＧＵＬＡＲモードのモード数は、ＨＥＶＣでは３３モードに、及びＶＶＣでは６５モードに定められている。
上述したように、イントラ予測符号化においては、エンコーダは、ＲＤコストが最小となるイントラ予測モードを選択することが理想的である。しかしながら、ＲＤコストの算出のためには、予測画像生成、差分画像生成、離散コサイン変換（ＤＣＴ）等の周波数変換、量子化、及びＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）のエントロピー符号化の処理が必要とされる。特に、周波数変換及びエントロピー符号化における処理量は多く、エンコーダが、各ＣＵごとに、全てのイントラ予測モードについてそれぞれＲＤコストを算出するのは難しい場合がある。
以上のことから、ＲＤコストを簡略化したコスト（以下、「簡略化コスト」という。）の値を用いてイントラ予測モードが決定される場合が多い。例えば、ＲＤコストに代えて、差分画像の差分絶対値和（ＳＡＴＤ）にオーバーヘッドビット等を加算した値が、簡略化コストとして用いられることがある。エンコーダは、簡略化コストに基づいて決定された１つのイントラ予測モードについてのみ、予測画像生成、差分画像生成、周波数変換、量子化、逆量子化、及び逆周波数変換の処理を行い、符号化対象ＣＵの再構成画像を生成する。生成された再構成画像は、それ以降に符号化される他の符号化対象ＣＵのイントラ予測符号化において参照される。この簡略化コストを用いる方法によれば、エンコーダは、再構成画像の生成において上記の周波数変換等の処理を一度だけ実行すればよい。すなわち、エンコーダは、イントラ予測モードの決定のために上記の周波数変換等の処理を行う必要がない。
ＶＶＣでは、イントラ予測符号化において、ＩＳＰ（Intra Sub Partition）予測処理という追加手法が提案されている。ＩＳＰ予測処理においては、ＣＵは、垂直又は水平に分割される。また、ＩＳＰ予測処理においては、ＣＵは、２つ又は４つのサブＣＵに分割される。また、ＩＳＰ予測処理においては、同一のＣＵから分割された全てのサブＣＵにおいて、同一のイントラ予測モードが用いられる。そのため、２つ又は４つのサブＣＵのイントラ予測モードを１つのフラグのみで表現することが可能になり、符号量が削減される。
また、通常のイントラ予測符号化は、上述したように、隣接するＣＵの再構成画像を参照して符号化対象ＣＵについてのイントラ予測を行う。これに対し、ＩＳＰ予測処理は、サブＣＵごとに再構成画像を順次生成していくため、隣接するサブＣＵの再構成画像を参照して符号化対象のサブＣＵについてのイントラ予測を行うことができる。そのため、ＩＳＰ予測処理は、通常のイントラ予測符号化と比べて符号化対象画素と参照先画素との間の空間的距離が近く、より相関の高い画素を参照することができる。これにより、ＩＳＰ予測処理は、予測画像の予測精度をより向上させ、符号量を削減することができる。
また、ＩＳＰ予測処理では、当該ＩＳＰ予測処理を用いるべきか否かを示す情報と、ＣＵをいずれの方向（垂直方向、又は水平方向）に分割すべきかを示す情報とが、それぞれフラグとして送信される。なお、ＩＳＰ予測処理では、ＣＵをいくつに（２つ、又は４つのいずれに）分割すべきかについては、符号化対象ＣＵのサイズに基づいて自動的に決定される。そのため、ＩＳＰ予測処理では、ＣＵをいくつに分割すべきかを示すフラグは不要である。
S. De-Luxan-Hernandez, et al., "CE3:Intra Sub-Partitions Coding Mode (Tests 1.1.1 and 1.1.2)," JVET-M0102-v2, Joint Video Experts Team of ITU-T, 13th Meeting Marrakech, January 2019.
ＩＳＰ予測処理は、１つのフラグのみで全てのサブＣＵのイントラ予測モードを表現することによって符号量を削減する。これは、同一のＣＵから分割されたサブＣＵのそれぞれのイントラ予測モードは近似していることが前提とされているためである。しかしながら、各サブＣＵの、ＩＳＰ予測処理が用いられなかった場合に本来決定されるべきイントラ予測モードにばらつきがある場合、本来決定されるべきイントラ予測モードとは全く異なるイントラ予測モードに決定されてイントラ予測が行われるサブＣＵが生じる。これにより、符号化対象画素と参照先画素との間の距離が近くても、イントラ予測における予測精度は低くなる場合がある。すなわち、ＩＳＰ予測処理が用いられた場合に、むしろ符号量が増加する場合がある。実際に、各サブＣＵのイントラ予測モードにばらつきがあることは珍しくなく、ＩＳＰ予測処理を用いることが望ましくない場合がある。
これに対し、ＩＳＰ予測処理において、サブＣＵごとに、全てのイントラ予測モードについてそれぞれＲＤコストを算出し比較することによって、ＩＳＰ予測処理を用いるべきか否かを判定することは可能である。しかしながら、ＩＳＰ予測処理を用いるべきではないと判定された場合、この判定のために行われた処理は無駄になる。そして、この判定のために行われる処理の処理量は膨大になることがある。
上述したように、通常のイントラ予測では、ＲＤコストに代わる簡略化コストに基づいて決定された１つのイントラ予測モードについてのみ、再構成画像生成のための各種処理を一度だけ実行し、処理量を削減することができる。これに対し、ＩＳＰ予測処理では、同一ＣＵ内のサブＣＵのイントラ予測モードは共通であり、イントラ予測における参照先画素は同一ＣＵ内の他のサブＣＵである。そのため、サブＣＵごとにイントラ予測モードを順次確定させていくことができない。ＩＳＰ予測処理では、イントラ予測モードについてのコストを算出する場合、１つ目のサブＣＵについて上記のイントラ予測モードでの再構成画像を生成した後でなければ、２つ目のサブＣＵについて上記のイントラ予測モードでのイントラ予測における参照を行うことができない。このように、ＩＳＰ予測処理では、各サブＣＵにおいて、候補となるイントラ予測モードの全ての場合について再構成画像の生成が必要となる。そのため、ＩＳＰ予測処理では、候補となるイントラ予測モードの数に相当する回数だけ、再構成画像生成のための各種処理が実行されなければならない。
このように、ＩＳＰ予測処理では、通常のイントラ予測に比べて処理量が膨大となる。また、ＩＳＰ予測処理を用いるべきか否かについての判定を行うためには、サブＣＵごとに、全てのイントラ予測モードについてそれぞれＲＤコストが算出される必要があり、この判定に要する処理の処理量は膨大になることが多い。また、ＩＳＰ予測処理におけるイントラ予測モードの決定においては、ＣＵの分割方向（垂直方向、又水平方向）を示すフラグと、ＶＶＣの全６７モードのイントラ予測モードの中のいずれのイントラ予測モードであるかを示すフラグとがそれぞれ必要になる。そのため、ＩＳＰ予測処理では、分割方向とイントラ予測モードとの全ての組み合わせについて、各サブＣＵの再構成画像生成が必要となるため、エンコーダにおける処理に大きな負担がかかるという課題がある。
本発明は、このような事情に鑑みてなされたもので、イントラ予測符号化におけるＩＳＰ（Intra Sub Partition）予測処理の処理量を削減することができる技術の提供を目的としている。
本発明の一態様は、画像をブロックに分割して符号化を行う符号化方法であって、符号化対象画像を複数の符号化単位ブロックに分割する分割ステップと、前記符号化単位ブロックの画素ごとに得られるエッジのエッジ方向及びエッジ強度に基づいて、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割して前記符号化を行うか否かを判定する判定ステップと、前記判定ステップにより、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割すると判定された場合、第一のサブ符号化単位ブロックの符号化において、前記第一のサブ符号化単位ブロックと同一の符号化単位ブロック内の第二のサブ符号化単位ブロックを参照して前記符号化を行う符号化ステップと、を有する符号化方法である。
また、本発明の一態様は、画像をブロックに分割して符号化を行う符号化装置であって、符号化対象画像を複数の符号化単位ブロックに分割する分割部と、前記符号化単位ブロックの画素ごとに得られるエッジのエッジ方向及びエッジ強度に基づいて、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割して前記符号化を行うか否かを判定する判定部と、前記判定部により、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割すると判定された場合、第一のサブ符号化単位ブロックの符号化において、前記第一のサブ符号化単位ブロックと同一の符号化単位ブロック内の第二のサブ符号化単位ブロックを参照して前記符号化を行う符号化部と、を備える符号化装置である。
また、本発明の一態様は、画像をブロックに分割して符号化を行うコンピュータに、符号化対象画像を複数の符号化単位ブロックに分割する分割ステップと、前記符号化単位ブロックの画素ごとに得られるエッジのエッジ方向及びエッジ強度に基づいて、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割して前記符号化を行うか否かを判定する判定ステップと、前記判定ステップにより、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割すると判定された場合、第一のサブ符号化単位ブロックの符号化において、前記第一のサブ符号化単位ブロックと同一の符号化単位ブロック内の第二のサブ符号化単位ブロックを参照して前記符号化を行う符号化ステップと、を実行させるためのプログラムである。
本発明により、イントラ予測符号化におけるＩＳＰ（Intra Sub Partition）予測処理の処理量を削減することができる。
本発明の第１の実施形態に係る映像符号化装置１００の機能構成を示すブロック図。 本発明の第１の実施形態に係るイントラ予測処理部１０１の機能構成を示すブロック図。 本発明の第１の実施形態に係るＩＳＰ事前解析部２０２の動作を示すフローチャート。 ＶＶＣのイントラ予測モードを示す図。 本発明の第１の実施形態に係るＩＳＰ事前解析部２０２によって生成されるヒストグラムの一例を示す図。
＜第１の実施形態＞
以下、本発明の第１の実施形態に係る映像符号化装置１００について、図面を参照しながら説明する。
［映像符号化装置の構成］
以下、映像符号化装置１００の機能構成について説明する。
図１は、本発明の第１の実施形態に係る映像符号化装置１００の機能構成を示すブロック図である。映像符号化装置１００は、符号化対象ＣＵを示す映像信号（以下、「原画像信号」という。）の入力を受け付ける。映像符号化装置１００は、入力された原画像信号を、指定されたパラメータに従って符号化する。そして、映像符号化装置１００は、符号化された結果を示す符号化ビットストリームを出力する。
図１に示すように、映像符号化装置１００は、イントラ予測処理部１０１と、インター予測処理部１０２と、予測画像生成部１０３と、残差信号生成部１０４と、変換・量子化処理部１０５と、エントロピー符号化部１０６と、逆量子化・逆変換処理部１０７と、復号信号生成部１０８と、ループフィルタ処理部１０９と、参照画像用データ記憶部１１０とを含んで構成される。
予測画像生成部１０３は、イントラ予測処理部１０１又はインター予測処理部１０２から出力された予測結果を示す情報を取得する。予測画像生成部１０３は、予測結果を示す情報に従い、参照画像用データ記憶部１１０に保存された過去の復号画像データを参照して、原画像信号の予測信号を生成する。予測画像生成部１０３は、予測信号を残差信号生成部１０４及び復号信号生成部１０８へ出力する。
残差信号生成部１０４は、原画像信号を取得する。また、残差信号生成部１０４は、予測画像生成部１０３から出力された予測信号を取得する。残差信号生成部１０４は、原画像信号と予測信号との差分を算出する。残差信号生成部１０４は、算出された差分を示す予測残差信号を変換・量子化処理部１０５へ出力する。
変換・量子化処理部１０５は、残差信号生成部１０４から出力された予測残差信号を取得する。変換・量子化処理部１０５は、取得された予測残差信号に対してＤＣＴ変換等の直交変換を行い、変換係数を生成する。変換・量子化処理部１０５は、生成された変換係数を量子化する。変換・量子化処理部１０５は、量子化された変換係数を、エントロピー符号化部１０６及び逆量子化・逆変換処理部１０７へ出力する。
エントロピー符号化部１０６は、変換・量子化処理部１０５から出力された、量子化された変換係数を取得する。エントロピー符号化部１０６は、量子化された変換係数をエントロピー符号化する。エントロピー符号化部１０６は、エントロピー符号化の結果を示す符号化ビットストリームを出力する。
逆量子化・逆変換処理部１０７は、変換・量子化処理部１０５から出力された、量子化された変換係数を取得する。逆量子化・逆変換処理部１０７は、量子化された変換係数を逆量子化する。逆量子化・逆変換処理部１０７は、逆量子化された変換係数に対して逆直交変換を行い、予測残差復号信号を生成する。逆量子化・逆変換処理部１０７は、生成された予測残差復号信号を復号信号生成部１０８へ出力する。
復号信号生成部１０８は、予測画像生成部１０３から出力された予測信号を取得する。また、復号信号生成部１０８は、逆量子化・逆変換処理部１０７から出力された予測残差復号信号を取得する。復号信号生成部１０８は、予測信号と予測残差復号信号とを加算することにより、符号化対象ＣＵの復号信号を生成する。復号信号生成部１０８は、生成された復号信号をループフィルタ処理部１０９及び参照画像用データ記憶部１１０へ出力する。
ループフィルタ処理部１０９は、復号信号生成部１０８から出力された復号信号を取得する。ループフィルタ処理部１０９は、取得された復号信号に対してフィルタリング処理を行うことにより、参照画像を生成する。ここでいうフィルタリング処理とは、符号化歪みを低減させる処理である。ループフィルタ処理部１０９は、生成された参照画像を参照画像用データ記憶部１１０へ出力する。
参照画像用データ記憶部１１０は、復号信号生成部１０８から出力された復号信号と、ループフィルタ処理部１０９から出力された参照画像とを取得する。以下、復号信号生成部１０８から出力された復号信号を、「ループフィルタ処理前の復号信号」ともいう。また、ループフィルタ処理部１０９から出力された参照画像を、「ループフィルタ処理後の復号信号」ともいう。参照画像用データ記憶部１１０は、ループフィルタ処理前の復号信号とループフィルタ処理後の復号信号とを記憶する。参照画像用データ記憶部１１０に記憶されたループフィルタ処理前の復号信号及びループフィルタ処理後の復号信号は、イントラ予測処理部１０１における予測処理及びインター予測処理部１０２における予測処理と、予測画像生成部１０３における予測画像の生成処理において用いられる。
イントラ予測処理部１０１は、原画像信号を取得する。また、イントラ予測処理部１０１は、参照画像用データ記憶部１１０からループフィルタ処理前の復号信号を取得する。イントラ予測処理部１０１は、原画像信号に対し、取得されたループフィルタ処理前の復号信号を用いてイントラ予測を行う。イントラ予測処理部１０１は、イントラ予測による予測結果を示す情報を予測画像生成部１０３へ出力する。なお、イントラ予測処理部１０１の構成については、後に詳しく説明する。
インター予測処理部１０２は、原画像信号を取得する。インター予測処理部１０２は、参照画像用データ記憶部１１０からループフィルタ処理後の復号信号を取得する。インター予測処理部１０２は、原画像信号に対し、取得されたループフィルタ処理後の復号信号を用いてフレーム間の動き探索処理を行う。インター予測処理部１０２は、インター予測による予測結果を示す情報を予測画像生成部１０３へ出力する。
［イントラ予測処理部の構成］
以下、イントラ予測処理部１０１の機能構成について、更に詳しく説明する。
図２は、本発明の第１の実施形態に係るイントラ予測処理部１０１の機能構成を示すブロック図である。
図２に示すように、イントラ予測処理部１０１は、本イントラ予測処理部２０１と、ＩＳＰ事前解析部２０２と、ＩＳＰ予測処理部２０３とを含んで構成される。
イントラ予測処理部１０１は、原画像信号を取得する。また、イントラ予測処理部１０１は、参照画像用データ記憶部１１０から参照画像（ループフィルタ処理前の復号信号）を取得する。
本イントラ予測処理部２０１は、原画像信号と参照信号とを用いて、通常のイントラ予測を行う。すなわち、本イントラ予測処理部２０１は、符号化対象ＣＵに対し、当該符号化対象ＣＵの周囲の参照画素をイントラ予測モードに則って参照する。ＶＶＣでは、イントラ予測モードの候補として、最大６７モード（ＤＣの１モード、ＰＬＡＮＡＲの１モード、及びＡＮＧＵＬＡＲの６５モード）存在する。
本イントラ予測処理部２０１は、符号化対象ＣＵについて、イントラ予測モードごとに評価指標の指標値（例えば、ＲＤコスト）を算出する。本イントラ予測処理部２０１は、算出された指標値のうち最良の指標値となるイントラ予測モードを、符号化対象のＣＵイントラ予測モードとして決定する。本イントラ予測処理部２０１は、決定されたイントラ予測モードを示す情報を予測結果として予測画像生成部１０３へ出力する。
ＩＳＰ事前解析部２０２は、ＩＳＰ予測処理部２０３によって行われるＩＳＰ予測処理のための事前解析を行う。ＩＳＰ事前解析部２０２は、事前解析により、ＩＳＰ予測処理を実行すべきか否かを決定する。また、ＩＳＰ事前解析部２０２は、ＩＳＰ予測処理を行う場合、候補とするＣＵの分割方向（すなわち、垂直方向、水平方向、又はその両方）を決定する。また、ＩＳＰ事前解析部２０２は、ＩＳＰ予測処理を行う場合、ＩＳＰ予測処理において候補とするイントラ予測モードを決定する。ＩＳＰ事前解析部２０２は、決定された結果（ＩＳＰ予測処理の実行可否、候補とするＣＵの分割方向、及び候補とするイントラ予測モード）を示す情報をＩＳＰ予測処理部２０３へ出力する。
ＩＳＰ予測処理部２０３は、ＩＳＰ事前解析部２０２から出力された情報を取得する。ＩＳＰ予測処理部２０３は、取得された情報に基づいて動作を決定する。例えば、ＩＳＰ予測処理部２０３は、取得された情報がＩＳＰ予測処理を行うべきではないこと示す情報である場合には、ＩＳＰ予測処理を実行しない（すなわち、何もしない）。また、例えば、ＩＳＰ予測処理部２０３は、取得された情報がＩＳＰ予測処理を行うべきであること示す情報である場合には、ＩＳＰ予測処理を行う。
ＩＳＰ予測処理部２０３は、ＩＳＰ予測処理を行う場合、符号化対象ＣＵを２複数の（２つ又は４つの）サブＣＵに分割する。なお、ＩＳＰ予測処理部２０３は、符号化対象ＣＵのサイズに基づいて、当該符号化対象ＣＵをいくつのサブＣＵに分割するかを決定する。
ＩＳＰ予測処理部２０３は、垂直方向又は水平方向に符号化対象ＣＵを分割してＩＳＰ予測処理を行う。ＩＳＰ予測処理部２０３は、ＩＳＰ事前解析部２０２から取得した情報に基づいて、符号化対象ＣＵを垂直方向に分割してＩＳＰ予測処理を行うか、符号化対象ＣＵを水平方向に分割してＩＳＰ予測処理を行うか、又は、これらのＩＳＰ予測処理の双方を行うかを決定する。
ＩＳＰ予測処理において、１つのＣＵ内のサブＣＵのそれぞれのイントラ予測モードは共通である。それぞれのサブＣＵにおいて、当該サブＣＵの周囲の他のサブＣＵ内の参照画素が、イントラ予測モードに則って参照される。そしてイントラ予測モードごとに復号画像が適宜生成され、以降の他のサブＣＵについてのおＩＳＰ予測処理においては、直前のサブＣＵの復号画像の画素が参照画素として用いられる。
ＶＶＣのＩＳＰ予測処理におけるイントラ予測モードは、上記の本イントラ予測処理部２０１によって用いられるイントラ予測モードと同様に、最大６７モード（ＤＣの１モード、ＰＬＡＮＡＲの１モード、及びＡＮＧＵＬＡＲの６５モード）存在する。但し、上述したＩＳＰ事前解析部２０２によって決定される、候補とするイントラ予測モードによって、実際に用いられるイントラ予測モードの個数は６７モードから大幅に削減されうる。
ＩＳＰ予測処理部２０３は、ＩＳＰ予測処理を行う場合、符号化対象ＣＵについて、候補とする分割方向ごとに評価指標の指標値（例えば、ＲＤコスト）を算出する。また、ＩＳＰ予測処理部２０３は、ＩＳＰ予測処理を行う場合、符号化対象ＣＵについて、候補とするイントラ予測モードごとに評価指標の指標値を算出する。
ＩＳＰ予測処理部２０３は、候補とする分割方向についてそれぞれ算出された指標値のうち最良の指標値となる分割方向を、符号化対象ＣＵの分割方向として決定する。また、ＩＳＰ予測処理部２０３は、候補とするイントラ予測モードについてそれぞれ算出された指標値のうち最良の指標値となるイントラ予測モードを、符号化対象ＣＵのイントラ予測モードとして決定する。イントラ予測モードは、決定された分割方向及びイントラ予測モードを示す情報を予測結果として、予測画像生成部１０３へ出力する。
なお、本イントラ予測処理部２０１は、ＩＳＰ事前解析部２０２の決定に基づき、ＩＳＰ予測処理部２０３によるＩＳＰ予測処理が行われない場合にのみイントラ予測処理を行う構成であってもよい。または、本イントラ予測処理部２０１は、ＩＳＰ予測処理部２０３によるＩＳＰ予測処理が行われるか否かにかかわらず、常にイントラ予測処理を行う構成であってもよい。なお、本イントラ予測処理部２０１が常にイントラ予測処理を行う構成である場合には、イントラ予測処理部１０１は、例えば、本イントラ予測処理部２０１によって仮決定されたイントラ予測モードによる指標値と、ＩＳＰ予測処理部２０３によって仮決定された、ＩＳＰ予測処理における分割方向及びイントラ予測モードによる指標値とを比較して、より良い指標値を予測結果として予測画像生成部１０３へ出力するようにしてもよい。
上述した構成を備えることで、本実施形態に係る映像符号化装置１００は、ＩＳＰ事前解析部２０２によって、各サブＣＵの間のエッジ情報の相似度を算出する。映像符号化装置１００は、当該相似度を用いてＩＳＰ予測処理の実行可否、及びＩＳＰ予測処理における各パラメータを決定する。これにより、映像符号化装置１００は、映像符号化時におけるＩＳＰ予測処理の処理量を削減することができる。
［ＩＳＰ事前解析部の動作］
以下、ＩＳＰ事前解析部２０２のＩＳＰ事前解析処理における動作の一例について説明する。
図３は、本発明の第１の実施形態に係るＩＳＰ事前解析部２０２の動作を示すフローチャートである。本フローチャートが示す動作は、ＩＳＰ事前解析部２０２が符号化対象のＣＴＵ（Coding Tree Unit）に対するＩＳＰ事前解析処理を開始した際に開始される。
ＩＳＰ事前解析部２０２は、符号化対象のＣＴＵについて、Ｘ方向の微分画像、及びＹ方向の微分画像をそれぞれ生成する（ステップＳ１０１及びステップＳ１０２）。なお、微分画像の生成には、例えば、１次微分フィルタ、Ｐｒｅｗｉｔｔフィルタ、及びＳｏｂｅｌフィルタ等を用いることができる。これにより、符号化対象のＣＴＵ内に存在する全画素について、それぞれＸ方向微分強度及びＹ方向微分強度が得られる。
ＩＳＰ事前解析部２０２は、符号化対象のＣＴＵ内の画素のそれぞれについて、エッジ方向とエッジ強度とを算出する（ステップＳ１０４）。例えば、ＩＳＰ事前解析部２０２は、符号化対象ＣＴＵ内の画素それぞれについて、Ｘ方向微分強度とＹ方向微分強度とのＬ１ノルム又はＬ２ノルム（を整数に丸めた値）を、エッジ強度としてもよい。
図４は、ＶＶＣのイントラ予測モードを示す図である。ＶＶＣのＡＮＧＵＬＡＲ予測の場合、図４のように、イントラ予測方向はｍｏｄｅ２からｍｏｄｅ６６までの計６５方向に分類される。Ｘ方向微分強度とＹ方向微分強度から各画素の微分方向がわかるため、ＩＳＰ事前解析部２０２は、ＶＶＣのＡＮＧＵＬＡＲ予測におけるイントラ予測方向６５方向のうち、各画素の微分方向（又は、微分方向を１８０度反転した方向）に最も近い方向を対象画素のエッジ方向として決定するようにしてもよい。ここで、各画素のエッジ方向は、２から６６のいずれかの整数をとる。
なお、イントラ予測方向の６５方向は、左上方向の１８０度の範囲をカバーするものである。そのため、算出された微分方向が右下方向１８０度部分を指している場合には、ＩＳＰ事前解析部２０２は、微分方向を１８０度反転した上で、最も近い方向を対象画素のエッジ方向として決定するようにしてもよい。
ＩＳＰ事前解析部２０２は、上記のステップＳ１０１～ステップＳ１０３においてＣＴＵ全体に対する処理を行った後、下記のステップＳ１０５～ステップＳ１１１においてＣＵごとの処理を行う。ＩＳＰ事前解析部２０２は、ＣＵ位置が異なる場合についてＳ１０５～Ｓ１１１の処理をそれぞれ行うだけでなく、ＣＵサイズが異なる場合についてもＳ１０５～Ｓ１１１の処理をそれぞれ行う。
ＩＳＰ事前解析部２０２は、まずＩＳＰ事前処理を行う対象のＣＵ（すなわち、符号化対象ＣＵ）を設定する（ＣＵ ｉｎｄｅｘ＝０）（ステップＳ１０４）。ＩＳＰ事前解析部２０２は、まずＣＵの分割方向が垂直方向である場合について試行する（Ｄｉｖｉｓｉｏｎ ｉｎｄｅｘ＝０（０：垂直，１：水平））（ステップＳ１０５）。ＩＳＰ事前解析部２０２は、ＩＳＰ予測処理として、上記設定された符号化対象ＣＵを複数のサブＣＵに分割する（ＳｕｂＣＵ ｉｎｄｅｘ＝０）（ステップＳ１０６）。なお、上述したように、符号化対象ＣＵがいくつのサブＳＵに分割されるかについては、当該符号化対象ＣＵのサイズに応じて自動的に決定される。ＩＳＰ事前解析部２０２は、最初のサブＣＵを設定し、以降の処理を行う。
ＩＳＰ事前解析部２０２は、上記設定されたサブＣＵ内の全ての画素について、上記ステップＳ１０３において算出されたエッジ情報の投票を行う。これにより、い、ＩＳＰ事前解析部２０２は、例えば図５に示すようなエッジ方向ごとのヒストグラムを生成する。
図５は、本発明の第１の実施形態に係るＩＳＰ事前解析部２０２によって生成されるヒストグラムの一例を示す図である。ＩＳＰ事前解析部２０２は、例えば、各画素のエッジ方向に相当するモード番号（イントラ予測モードの番号）に、各画素ごとに１ずつ投票をしていくことによってヒストグラムを生成するようにしてもよい。又は、ＩＳＰ事前解析部２０２は、例えば、各画素のエッジ方向に相当するモード番号に、各画素ごとにエッジ強度の値を投票していくことによってヒストグラムを生成するようにしてもよい。
又は、ＩＳＰ事前解析部２０２は、例えば、各画素のエッジ方向に相当するモード番号のみに投票するのではなく、各画素のエッジ方向に相当するモード番号と、その前後のいくつかのモード番号にも投票するようにしてもよい。さらに、この場合、ＩＳＰ事前解析部２０２は、例えば、各画素のエッジ方向に相当するモード番号に最も大きな値を投票するようにし、その前後のモード番号についてはエッジ方向に相当するモード番号から離れたモード番号ほど小さな値を投票するようにしてもよい。
ＩＳＰ事前解析部２０２は、上記設定されたサブＣＵにおけるヒストグラムを生成した後、生成されたヒストグラムにおいて最大の度数となるイントラ予測モードのモード番号を、サブＣＵのエッジ方向として設定する。例えば、図５に示されるヒストグラムの場合、サブＣＵのエッジ方向は「９」である。ＩＳＰ事前解析部２０２は、サブＣＵのエッジ方向における、ヒストグラムにおける度数（すなわち、強度）をサブＣＵのエッジ強度として設定する（ステップＳ１０７）。
ＩＳＰ事前解析部２０２は、上記設定されたサブＣＵが符号化対象ＣＵ内における最後のサブＣＵであるか否かを判定する（ステップＳ１０８）。最後のサブＣＵであると判定された場合（ステップＳ１０８・Ｙｅｓ）、ＩＳＰ事前解析部２０２は、以下のステップＳ１０９に示す処理に進む。最後のサブＣＵではないと判定された場合（ステップＳ１０８・Ｎｏ）、ＩＳＰ事前解析部２０２は、次のサブＣＵに対する処理に進み（ＳｕｂＣＵ ｉｎｄｅｘ＋＝１）（ステップＳ１１２）、次のサブＣＵに対して上記ステップＳ１０７以降の処理を行う。
ＩＳＰ事前解析部２０２は、上記設定されたＣＵの水平方向の分割方向について試行中であるか否かを判定する（Ｄｉｖｉｓｉｏｎ ｉｎｄｅｘ＝＝１？）（ステップＳ１０９）。水平方向の分割方向について試行中であると判定された場合（ステップＳ１０９・Ｙｅｓ）、ＩＳＰ事前解析部２０２は、以下のステップＳ１１０示す処理に進む。垂直方向の分割方向について試行中であると判定された場合（ステップＳ１０９・Ｎｏ）、ＩＳＰ事前解析部２０２は、次に、水平方向の分割方向について試行を行う（Ｄｉｖｉｓｉｏｎ ｉｎｄｅｘ＋＝１）（ステップＳ１１３）。
ＩＳＰ事前解析部２０２は、符号化対象ＣＵを各分割方向（垂直方向及び水平方向）にそれぞれ分割した場合における全てのサブＣＵのエッジ方向及びエッジ強度を決定すると、サブＣＵのエッジ方向及びエッジ強度の情報を用いて、ＩＳＰ予測処理の実行可否、候補とするＣＵの分割方向、及び候補とするイントラ予測モードを決定する（ステップＳ１１０）。なお、これらのＩＳＰ予測処理における各パラメータの決定方法については後に詳しく説明する。
ＩＳＰ事前解析部２０２は、上記設定されたＣＵが符号化対象のＣＴＵ内における最後のＣＵであるか否かを判定する（ステップＳ１１１）。最後のＣＵであると判定された場合（ステップＳ１１１・Ｙｅｓ）、ＩＳＰ事前解析部２０２は、符号化対象のＣＴＵに対するＩＳＰ事前解析処理を終了する。最後のＣＵではないと判定された場合（ステップＳ１１１・Ｎｏ）、ＩＳＰ事前解析部２０２は、次のＣＵに対する処理に移り（ＣＵ ｉｎｄｅｘ＋＝１）（ステップＳ１１４）、次のＣＵに対して上記ステップＳ１０５以降の処理を行う。以上で、図３のフローチャートが示すＩＳＰ事前解析部２０２の動作が終了する。
［パラメータ決定方法］
以下、図３に示されるフローチャートのステップＳ１１０において行われる、ＩＳＰ予測処理における各パラメータの決定方法について説明する。
ＩＳＰ事前解析部２０２は、符号化対象ＣＵが分割された（２つ又は４つの）サブＣＵのうち、エッジ方向が同一である組が少なくとも１組存在する場合のみ、ＩＳＰ予測処理を実行する。すなわち、ＩＳＰ事前解析部２０２は、各サブＣＵのエッジ方向が同一である組が１組も存在しないない場合には、ＩＳＰ予測処理を実行しない。
ＩＳＰ事前解析部２０２は、ＩＳＰ予測処理を行う場合には、各サブＣＵのエッジ方向が同一である組の数がより多いほうの分割方向（垂直方向、又は水平方向）のみについてＩＳＰ予測処理を実行する。各サブＣＵにおいてエッジ方向が同一である組の数が、垂直方向と水平方向とにおいて互いに等しい場合には、ＩＳＰ事前解析部２０２は、垂直方向に分割する場合と水平方向に分割する場合とのそれぞれについて、サブＣＵごとのエッジ強度を全て合計する。そして、ＩＳＰ事前解析部２０２は、合計されたエッジ強度がより強いほうの分割方向に決定するようにしてもよい。
または、垂直方向の分割及び水平方向のいずれの分割方向の場合においても、各サブＣＵのエッジ方向が同一である組が少なくとも１組存在する場合には、ＩＳＰ事前解析部２０２は、いずれの分割方向についてもＩＳＰ予測処理を実行するようにしてもよい。なお、上記の各サブＣＵのエッジ方向が同一である組が少なくとも１組存在する場合とは、すなわち、少なくとも２つのサブＣＵから同じエッジ方向が出力された場合である。
ＩＳＰ事前解析部２０２は、ＩＳＰ予測処理を行う場合、各サブＣＵにおいて同一である組が存在するエッジ方向のみを、ＩＳＰ予測処理におけるのイントラ予測モードの候補とする。なお、ＩＳＰ事前解析部２０２は、上記エッジ方向に対応するイントラ予測モードに加えて、ＤＣモード及びＰＬＡＮＡＲモードを加えた３つのイントラ予測モードを、ＩＳＰ予測処理におけるイントラ予測モードの候補とするようにしてもよい。
上記のようなＩＳＰ予測処理の各パラメータの決定方法によれば、サブＣＵのエッジ方向ごとの等価比較処理だけで、ＩＳＰ予測処理の実行可否、候補とするＣＵの分割方向、及び候補とするイントラ予測モードを決定することが可能となる。これにより、より少ない処理量で、以降のＩＳＰ予測処理の絞り込みが可能になる。
＜第２の実施形態＞
以下、本発明の第２の実施形態について説明する。第２の実施形態では、図３に示されるフローチャートのステップＳ１１０において行われるＩＳＰ予測処理の各パラメータの決定方法として、上述した第１の実施形態とは異なり次のような方法が用いられる。
［パラメータ決定方法］
ＩＳＰ事前解析部２０２は、符号化対象ＣＵが分割された（２つ又は４つの）サブＣＵのそれぞれのエッジ方向のモード番号の、最大値と最小値とを算出する。ＩＳＰ事前解析部２０２は、算出された最大値と最小値との差分値がエンコーダの使用者によって設定可能なパラメータ値よりも小さい場合にのみ、ＩＳＰ予測処理を実行する。すなわち、ＩＳＰ事前解析部２０２は、符号化対象ＣＵのいずれの分割方向（垂直方向及び水平方向の双方）についても、算出された最大値と最小値との差分値がエンコーダ使用者によって設定可能なパラメータ値以上になる場合には、ＩＳＰ予測処理を実行しない。
なお、全てのサブＣＵにおけるエッジ方向のモード番号の最大値と最小値との差が小さいということは、外れた方向を向いたサブＣＵが存在しないということ、すなわち、サブＣＵ全体が同じ方向を向いている場合であることを意味する。上記のＩＳＰ事前解析部２０２の構成は、このような場合においてのみＩＳＰ予測処理を行わせることを意図した構成である。
ＩＳＰ事前解析部２０２は、上記の差分値がより小さい分割方向（垂直方向又は水平方向）のみについて、ＩＳＰ予測処理を実行する。または、ＩＳＰ事前解析部２０２は、符号化対象ＣＵのいずれの分割方向（垂直方向及び水平方向の双方）についても、上記の差分値がパラメータ値より小さい場合には、いずれの分割方向についてもＩＳＰ予測処理を実行するようにしてもよい。
ＩＳＰ事前解析部２０２は、ＩＳＰ予測処理を行う場合、同一の分割方向の全てのサブＣＵのヒストグラムをマージすることによって、符号化対象ＣＵのヒストグラムを生成する。ＩＳＰ事前解析部２０２は、符号化対象ＣＵのヒストグラムにおいて、最大の度数となるモード番号のみを符号化対象ＣＵのエッジ方向とＩＳＰ予測処理におけるイントラ予測モードの候補とする。または、ＩＳＰ事前解析部２０２は、符号化対象ＣＵのヒストグラムにおいて度数が上位であるいくつかのモード番号に対応するイントラ予測モードを、ＩＳＰ予測処理のイントラ予測モードの候補とするようにしてもよい。
又は、ＩＳＰ事前解析部２０２は、全てのサブＣＵのエッジ方向におけるそれぞれのモード番号の平均値に対応するイントラ予測モードのみを、ＩＳＰ予測処理におけるイントラ予測モードの候補とするようにしてもよい。又は、ＩＳＰ事前解析部２０２は、全てのサブＣＵのエッジ方向におけるそれぞれのモード番号のうち、中央値と同一又は中央値に近似する２つのモード番号に対応するイントラ予測モードのみを、ＩＳＰ予測処理におけるイントラ予測モードの候補とするようにしてもよい。
なお、上記の、全てのサブＣＵのエッジ方向におけるそれぞれのモード番号の平均値に対応するイントラ予測モードとは、各サブＣＵのエッジ方向におけるそれぞれのモード番号との差の総和が最小になるようなイントラ予測モードであることを意味する。
なお、上述した第２の実施形態に係るイントラ予測モードの決定方法のいずれにおいても、第１の実施形態と同様に、ＩＳＰ事前解析部２０２は、上記エッジ方向に対応するイントラ予測モードに加えて、ＤＣモード及びＰＬＡＮＡＲモードを加えた３つのイントラ予測モードを、ＩＳＰ予測処理におけるイントラ予測モードの候補とするようにしてもよい。
上記のようなＩＳＰ予測処理の各パラメータの決定方法によれば、エンコーダの使用者によって設定可能なパラメータ値に対する値の大小関係によってＩＳＰ予測処理の実行可否が決定されるため、エンコーダ側のみでＩＳＰ予測処理の使用率を調整することが可能である。
なお、上述した第１の実施形態及び第２の実施形態において、ＩＳＰ予測処理の実行可否、候補とするＣＵの分割方向、及び候補とするイントラ予測モードが、別々の決定方法によって決定されるような構成であってもよい。例えば、ＩＳＰ予測処理のを実行可否については、各サブＣＵのエッジ方向が同一である組が少なくとも１組以上存在するかか否かによって決定され、符号化対象ＣＵのヒストグラムにおいて度数が最大となるモード番号に対応するイントラ予測モードが、候補とするイントラ予測モードとして決定されるような構成であってもよい。
上述した各実施形態に係る映像符号化装置１００は、ＩＳＰ予測処理において各サブＣＵの持つ二次元平面的方向性及びエッジ情報が、各サブＣＵの本来のイントラ予測モード（元となる符号化対象ＣＵのイントラ予測モード）と高い相関を持つことを利用して、サブＣＵ間におけるエッジ情報の相似度を算出する。そして、映像符号化装置１００は、算出された相似度を用いてＩＳＰ予測処理の実行可否と、ＩＳＰ予測処理の各パラメータとを決定する。これにより、映像符号化装置１００は、エンコーダにおけるＩＳＰ予測処理の処理量を削減させることができる。
なお、上述した実施形態において、ＩＳＰ事前解析部２０２は、エッジ方向とエッジ強度とを算出する構成としたが、エッジ方向のみを算出する構成であってもよい。この場合、例えば、エッジ強度の値をヒストグラムに投票していくのではなく、ヒストグラムには１ずつ固定値として投票していく構成等が考えられる。例えば、ＩＳＰ事前解析部２０２は、符号化対象のＣＴＵ内に存在する全画素について、それぞれＸ方向微分強度及びＹ方向微分強度の両方を取得しておく。そして、ＩＳＰ事前解析部２０２は、少なくともエッジ方向の算出は行い、場合に応じてエッジ強度の算出を行うようにしてもよい。
なお、上述した各実施形態に係る映像符号化装置１００は、演算量の限られている映像符号化装置及び映像符号化プログラム等に適用することができる。
上述した実施形態における映像符号化装置１００の一部又は全部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
１００・・・映像符号化装置、１０１・・・イントラ予測処理部、１０２・・・インター予測処理部、１０３・・・予測画像生成部、１０４・・・残差信号生成部、１０５・・・変換・量子化処理部、１０６・・・エントロピー符号化部、１０７・・・逆量子化・逆変換処理部、１０８・・・復号信号生成部、１０９・・・ループフィルタ処理部、１１０・・・参照画像用データ記憶部、２０１・・・本イントラ予測処理部、２０２・・・ＩＳＰ事前解析部、２０３・・・ＩＳＰ予測処理部

Claims (8)

  1. 画像をブロックに分割して符号化を行う符号化方法であって、
    符号化対象画像を複数の符号化単位ブロックに分割する分割ステップと、
    前記符号化単位ブロックの画素ごとに得られるエッジのエッジ方向及びエッジ強度に基づいて、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割して前記符号化を行うか否かを判定する判定ステップと、
    前記判定ステップにより、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割すると判定された場合、
    第一のサブ符号化単位ブロックの符号化において、前記第一のサブ符号化単位ブロックと同一の符号化単位ブロック内の第二のサブ符号化単位ブロックを参照して前記符号化を行う符号化ステップと、
    を有し、
    前記判定ステップでは、前記サブ符号化単位ブロックのそれぞれの画素の前記エッジ方向を示す番号ごとの前記画素の分布を表すヒストグラムを生成し、同一の前記符号化単位ブロックが分割された複数の前記サブ符号化単位ブロックのそれぞれの前記ヒストグラムを合計し、合計された前記ヒストグラムの最大度数及び前記最大度数となる前記番号に対応する前記エッジ方向を、前記符号化単位ブロックの前記エッジ強度及び前記符号化単位ブロックの前記エッジ方向とする
    符号化方法。
  2. 前記判定ステップにより、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割すると判定された場合、
    前記符号化ステップは、前記エッジ方向及び前記エッジ強度に基づいて、前記符号化単位ブロックのそれぞれの画素が属する前記サブ符号化単位ブロックをそれぞれ決定する
    請求項１に記載の符号化方法。
  3. 前記判定ステップでは、前記符号化単位ブロックが分割された複数の前記サブ符号化単位ブロックの画素ごとに得られるエッジのエッジ方向の中で度数が最大の前記エッジ方向を前記サブ符号化単位ブロックの最大エッジ方向と設定し、前記サブ符号化単位ブロックのそれぞれの前記最大エッジ方向のうち同一の前記最大エッジ方向となる組が１組以上存在する場合に、前記符号化単位ブロックを複数の前記サブ符号化単位ブロックに分割して前記符号化を行うと判定する
    請求項１又は請求項２に記載の符号化方法。
  4. 前記判定ステップにより、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割すると判定された場合、
    前記符号化ステップは、前記符号化単位ブロックが分割された複数の前記サブ符号化単位ブロックのそれぞれの前記エッジ方向のうち同一の前記エッジ方向となる組がより多くなるように、前記符号化単位ブロックを複数の前記サブ符号化単位ブロックに分割する
    請求項３に記載の符号化方法。
  5. 前記判定ステップでは、前記符号化単位ブロックの分割パターンのうち、前記符号化単位ブロックが分割された複数の前記サブ符号化単位ブロックの画素ごとに得られるエッジのエッジ方向の中で度数が最大の前記エッジ方向を前記サブ符号化単位ブロックの最大エッジ方向と設定し、前記サブ符号化単位ブロックのそれぞれの前記最大エッジ方向を示す値の最大値と最小値との差分値が所定値よりも小さい前記分割パターンが少なくとも１つ存在する場合に、前記符号化単位ブロックを複数の前記サブ符号化単位ブロックに分割して前記符号化を行うと判定する
    請求項１又は請求項２に記載の符号化方法。
  6. 前記判定ステップにより、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割すると判定された場合、
    前記符号化ステップは、前記差分値が前記所定値よりも小さい前記分割パターンによって前記符号化単位ブロックを複数の前記サブ符号化単位ブロックに分割する
    請求項５に記載の符号化方法。
  7. 画像をブロックに分割して符号化を行う符号化装置であって、
    符号化対象画像を複数の符号化単位ブロックに分割する分割部と、
    前記符号化単位ブロックの画素ごとに得られるエッジのエッジ方向及びエッジ強度に基づいて、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割して前記符号化を行うか否かを判定する判定部と、
    前記判定部により、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割すると判定された場合、
    第一のサブ符号化単位ブロックの符号化において、前記第一のサブ符号化単位ブロックと同一の符号化単位ブロック内の第二のサブ符号化単位ブロックを参照して前記符号化を行う符号化部と、
    を備え、
    前記判定部は、前記サブ符号化単位ブロックのそれぞれの画素の前記エッジ方向を示す番号ごとの前記画素の分布を表すヒストグラムを生成し、同一の前記符号化単位ブロックが分割された複数の前記サブ符号化単位ブロックのそれぞれの前記ヒストグラムを合計し、合計された前記ヒストグラムの最大度数及び前記最大度数となる前記番号に対応する前記エッジ方向を、前記符号化単位ブロックの前記エッジ強度及び前記符号化単位ブロックの前記エッジ方向とする
    符号化装置。
  8. 画像をブロックに分割して符号化を行うコンピュータに、
    符号化対象画像を複数の符号化単位ブロックに分割する分割ステップと、
    前記符号化単位ブロックの画素ごとに得られるエッジのエッジ方向及びエッジ強度に基づいて、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割して前記符号化を行うか否かを判定する判定ステップと、
    前記判定ステップにより、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割すると判定された場合、
    第一のサブ符号化単位ブロックの符号化において、前記第一のサブ符号化単位ブロックと同一の符号化単位ブロック内の第二のサブ符号化単位ブロックを参照して前記符号化を行う符号化ステップと、
    を実行させ、
    前記判定ステップでは、前記サブ符号化単位ブロックのそれぞれの画素の前記エッジ方向を示す番号ごとの前記画素の分布を表すヒストグラムを生成し、同一の前記符号化単位ブロックが分割された複数の前記サブ符号化単位ブロックのそれぞれの前記ヒストグラムを合計し、合計された前記ヒストグラムの最大度数及び前記最大度数となる前記番号に対応する前記エッジ方向を、前記符号化単位ブロックの前記エッジ強度及び前記符号化単位ブロックの前記エッジ方向とするステップ
    を実行させるためのプログラム。
JP2021563456A 2019-12-09 2019-12-09 符号化方法、符号化装置、及びプログラム Active JP7364936B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/048104 WO2021117091A1 (ja) 2019-12-09 2019-12-09 符号化方法、符号化装置、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2021117091A1 JPWO2021117091A1 (ja) 2021-06-17
JP7364936B2 true JP7364936B2 (ja) 2023-10-19

Family

ID=76329891

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021563456A Active JP7364936B2 (ja) 2019-12-09 2019-12-09 符号化方法、符号化装置、及びプログラム

Country Status (3)

Country Link
US (1) US20230022215A1 (ja)
JP (1) JP7364936B2 (ja)
WO (1) WO2021117091A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023012934A1 (ja) * 2021-08-04 2023-02-09 日本電信電話株式会社 映像符号化装置、映像符号化方法、及び映像符号化プログラム
JP7392764B2 (ja) * 2022-05-16 2023-12-06 日本電気株式会社 映像符号化装置、映像符号化方法および映像システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006523073A (ja) 2003-03-03 2006-10-05 エージェンシー・フォア・サイエンス・テクノロジー・アンド・リサーチ 高度動画像符号化におけるイントラ予測のための高速モード決定アルゴリズム
JP2011082801A (ja) 2009-10-07 2011-04-21 Fujitsu Ltd 画像処理装置および画像処理方法
WO2011080925A1 (ja) 2009-12-28 2011-07-07 パナソニック株式会社 画像符号化装置および方法
JP2014225795A (ja) 2013-05-16 2014-12-04 日本電信電話株式会社 イントラ予測方向絞込み方法、イントラ予測方向絞込み装置及びイントラ予測方向絞込みプログラム
JP2016208094A (ja) 2015-04-15 2016-12-08 富士通株式会社 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9014265B1 (en) * 2011-12-29 2015-04-21 Google Inc. Video coding using edge detection and block partitioning for intra prediction
JPWO2014054267A1 (ja) * 2012-10-01 2016-08-25 パナソニックＩｐマネジメント株式会社 画像符号化装置及び画像符号化方法
US9294765B2 (en) * 2014-01-07 2016-03-22 Vixs Systems, Inc. Video encoder with intra-prediction pre-processing and methods for use therewith
US20180048915A1 (en) * 2015-02-27 2018-02-15 Lg Electronics Inc. Method and apparatus for encoding/decoding a video signal
WO2019188944A1 (en) * 2018-03-30 2019-10-03 Sharp Kabushiki Kaisha Systems and methods for applying deblocking filters to reconstructed video data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006523073A (ja) 2003-03-03 2006-10-05 エージェンシー・フォア・サイエンス・テクノロジー・アンド・リサーチ 高度動画像符号化におけるイントラ予測のための高速モード決定アルゴリズム
JP2011082801A (ja) 2009-10-07 2011-04-21 Fujitsu Ltd 画像処理装置および画像処理方法
WO2011080925A1 (ja) 2009-12-28 2011-07-07 パナソニック株式会社 画像符号化装置および方法
JP2014225795A (ja) 2013-05-16 2014-12-04 日本電信電話株式会社 イントラ予測方向絞込み方法、イントラ予測方向絞込み装置及びイントラ予測方向絞込みプログラム
JP2016208094A (ja) 2015-04-15 2016-12-08 富士通株式会社 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
VAN DER AUWERA, Greet et al.，Description of Core Experiment 3 (CE3): Intra Prediction and Mode Coding，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Macau, CN, 3-12 October 2018, [JVET-L1023-v3]，JVET-L1023 (version 3)，ITU-T，2018年12月27日，＜URL:https://jvet-experts.org/doc_end_user/documents/12_Macao/wg11/JVET-L1023-v3.zip＞: JVET-L1023_v3.docx: pp.3-4,15-17

Also Published As

Publication number Publication date
JPWO2021117091A1 (ja) 2021-06-17
US20230022215A1 (en) 2023-01-26
WO2021117091A1 (ja) 2021-06-17

Similar Documents

Publication Publication Date Title
US10499054B2 (en) System and method for inter-frame predictive compression for point clouds
US11533470B2 (en) Method and apparatus for encoding/decoding an image signal
US8023562B2 (en) Real-time video coding/decoding
KR101365570B1 (ko) 인트라 예측 부호화, 복호화 방법 및 장치
EP2805499B1 (en) Video decoder, video encoder, video decoding method, and video encoding method
CN107483947B (zh) 视频编码和解码设备及非暂时性计算机可读存储介质
US20150063452A1 (en) High efficiency video coding (hevc) intra prediction encoding apparatus and method
KR20070047522A (ko) 영상의 부호화, 복호화 방법 및 장치
KR20130005233A (ko) 영상 정보 부호화 방법 및 복호화 방법
KR20110045950A (ko) 복수의 프레임을 참조하여 영상을 부호화, 복호화하는 방법 및 장치
KR20110017302A (ko) 움직임 벡터의 정확도 조절을 이용한 영상 부호화, 복호화 방법 및 장치
US20090016443A1 (en) Inter mode determination method for video encoding
US10771815B2 (en) Method and apparatus for processing video signals using coefficient induced prediction
US20210014489A1 (en) Intra prediction device, image encoding device, image decoding device and program
JP7364936B2 (ja) 符号化方法、符号化装置、及びプログラム
WO2013005967A2 (ko) 영상 정보 부호화 방법 및 복호화 방법
AU2018236769A1 (en) Method for inducing a merge candidate block and device using same
EP3844961A1 (en) Coefficient context modeling in video coding
WO2014084674A2 (ko) 잔차 변환을 이용한 인트라 예측 방법 및 장치
US8265141B2 (en) System and method for open loop spatial prediction in a video encoder
US20210289230A1 (en) Method and apparatus for encoding and decoding video signal using transform domain prediction for prediction unit partition
US20240089457A1 (en) Coding a merged block that overlaps a reference block in intra block copy mode
US20240107009A1 (en) Video coding device and video coding method
KR20080075987A (ko) 움직임 추정 방법
XIANTAO Study on key technologies for video coding standard beyond H. 265/HEVC

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230918

R150 Certificate of patent or registration of utility model

Ref document number: 7364936

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150