JPWO2016067557A1 - 予測画像生成装置および予測画像生成方法 - Google Patents

予測画像生成装置および予測画像生成方法 Download PDF

Info

Publication number
JPWO2016067557A1
JPWO2016067557A1 JP2016556201A JP2016556201A JPWO2016067557A1 JP WO2016067557 A1 JPWO2016067557 A1 JP WO2016067557A1 JP 2016556201 A JP2016556201 A JP 2016556201A JP 2016556201 A JP2016556201 A JP 2016556201A JP WO2016067557 A1 JPWO2016067557 A1 JP WO2016067557A1
Authority
JP
Japan
Prior art keywords
prediction
pixel
pixels
predicted
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016556201A
Other languages
English (en)
Other versions
JP6589878B2 (ja
Inventor
栄太 小林
栄太 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2016067557A1 publication Critical patent/JPWO2016067557A1/ja
Application granted granted Critical
Publication of JP6589878B2 publication Critical patent/JP6589878B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

回路規模を抑制しつつ、イントラ予測画像を並列処理で生成することのできる予測画像生成装置を得ることを目的とする。本発明の予測画像生成装置は、記憶部１１と、選択部１３と、予測画素生成処理部１４と、並び替えバッファ部１５を備える。記憶部１１は、複数の参照画素を保持する。選択部１３は、モード番号と画素位置を基に、画面内の予測画像の生成に用いる参照画素を必要参照画素として選択する。予測画素生成処理部１４は、必要参照画素を基に複数の予測画素を並列処理で生成する。並び替えバッファ部１５は、予測画素生成処理部１４が生成した複数の予測画素を、モード番号を基に並び替えて（シフトして）予測画像を生成する。

Description

本発明は、動画像の符号化に関するものであり、特に、符号化を行う際の画面内予測画像の生成に関するものである。
高画質の映像が放送や通信回線等を介して配信され、映像表示装置や情報端末装置で利用されるようになっている。それらの高画質の映像を構成する画像データは、送信側で符号化され受信側となる端末装置等で復号されて利用される。高画質の映像を伝送するためには、膨大な画像データが必要となるため、圧縮効率の高い符号化を高速で行えることが望ましい。また、膨大な画像データを高速で処理する装置は、装置の規模が大きくなるため画像データの符号化を行う機能ユニットごとの回路規模が抑えられていることが望ましい。そのような背景から、高画質の映像を伝送するための動画像符号化について、関連する技術開発が盛んに行われている。動画像の符号化に関する技術としては、例えば、非特許文献１のような技術が開示されている。
非特許文献１には、ＩＴＵ−Ｔ（International Telecommunication Union Telecommunication Standardization Sector）勧告Ｈ.２６５規格に基づく映像符号化方式であるＨＥＶＣ（High Efficiency Video Coding）規格が記載されている。ＨＥＶＣ規格では、デジタル化された映像の各フレームは、符号化ツリーユニット（ＣＴＵ：Coding Tree Unit）に分割されている。各ＣＴＵは、ラスタスキャン順に符号化される。各ＣＴＵは、クアッドツリー構造で、符号化ユニット（ＣＵ：Coding Unit）に分割されて符号化される。また、符号化させる際に、各ＣＵは、予測ユニット（ＰＵ:Prediction Unit）に分割されて予測符号化される。
符号化が行われる際に各ＣＵは、画面内予測またはフレーム間予測によって予測符号化される。画面内予測は、符号化対象フレームの参照画像から予測画像を生成する予測である。ＨＥＶＣ規格では、３３種類の角度画面内予測が定義されている。角度画面内予測は、符号化対象ブロック周辺の参照画素を３３種類の方向のいずれかに外挿して、予測画素を生成する予測方法である。また、ＨＥＶＣ規格では、３３種類の角度画面内予測に加えて、符号化対象ブロック周辺の参照画素を平均するＤＣ（Discrete Cosine）画面内予測、および、符号化対象ブロック周辺の参照画素を線形補間するＰｌａｎｎｅｒ画面内予測が定義されている。
符号化対象ブロック周辺の参照画素は、回路上ではレジスタ等の記憶素子で保持されている。予測画像を生成する回路は、予測画素を生成する際に適切な位置の参照画素を参照して予測画素を生成する。参照画素は、ＨＥＶＣ規格の場合には、最大で１２９個存在する。従って、予測画素を生成するためには最大で１２９個の参照画素から、所定の数の参照画素を選択するセレクタが必要となる。
また、高速化の要求から画像処理に要する時間を抑制するために、画像処理回路を並列に配列して並列に処理を行う技術が用いられることがある。画像処理を並列に行う技術としては、例えば、特許文献１のような技術が開示されている。
特許文献１には、画像データの処理を並列で行う画像処理装置に関する技術が開示されている。特許文献１の画像処理装置は、画像データを保持するラインメモリと、垂直フィルタ処理部と、バッファと、水平フィルタ処理部を備えている。特許文献１では、ラインメモリに保存された各画素データが垂直フィルタ処理部に入力され、垂直フィルタ処理部において並列処理される。垂直フィルタ処理部で処理されたデータは、水平フィルタ処理部に送られて並列に所定の画像処理が施される。特許文献１は、このような構成とすることで、垂直と水平方向の違いを吸収するバッファが不要となり回路面積を削減できるとしている。
国際公開第２００７／０７２６４４号
ＩＴＵ−Ｔ勧告 Ｈ.２６５ High efficiency video coding, April 2013
しかしながら、非特許文献１および特許文献１の技術は次のような点で十分ではない。予測符号化処理に用いられる予測画像生成装置は、実用的な処理速度を得るために予測画素生成回路を複数備えて、予測画素の生成処理を並列に行う。予測画像生成装置は、予測画像の各画素に対応した予測画素を順次生成することにより予測画像を生成する。
予測画素を生成する際に、予測画素生成回路ごとに必要な参照画素を選択して各予測画素生成回路に入力する必要がある。例えば、ＨＥＶＣ規格に基づいた場合には、最大１２９個の参照画素から、予測画素の生成に必要な参照画素をセレクタで選択し、各予測画素生成回路へ入力する必要がある。しかし、予測画素生成回路ごとに最大１２９個の参照画素から所定の数の参照画素を選択するためにセレクタを備える構成とすると、回路規模が増大する。よって、非特許文献１および特許文献１の技術は、回路規模を抑制しつつ並列処理で予測画像を生成するための技術としては十分ではない。
本発明は、上述の課題を解決するため、回路規模を抑制しつつ画面内予測画像を並列処理で生成することができる予測画像生成装置を得ることを目的としている。
上記の課題を解決するため、本発明の予測画像生成装置は、記憶手段と、選択手段と、予測画素生成手段と、並び替えバッファ手段を備えている。記憶手段は、複数の参照画素を保持する。選択手段は、モード番号と画素位置を基に、画面内の予測画像の生成に用いる参照画素を必要参照画素として選択する。予測画素生成手段は、必要参照画素を基に複数の予測画素を並列処理で生成する。並び替えバッファ手段は、予測画素生成手段が生成した予測画素を、モード番号を基に並び替えて予測画像を生成する。
また、本発明の予測画像生成方法は、複数の参照画素を保持し、モード番号と画素位置を基に、画面内の予測画像の生成に用いる参照画素を必要参照画素として選択する。本発明の予測画像生成方法は、必要参照画素を基に複数の予測画素を並列処理で生成し、生成した予測画素を、モード番号を基に並び替えて予測画像を生成する。
本発明によると、回路規模を抑制しつつ画面内予測画像を並列処理で生成することができる。
本発明の第１の実施形態の構成の概要を示す図である。 本発明の第２の実施形態の装置構成の概要を示す図である。 ＨＥＶＣ規格の画面内予測におけるモード番号と方向を示した図である。 本発明の第２の実施形態における動作フローの概要を示す図である。 本発明の第２の実施形態の装置構成の例を示す図である。 本発明の第２の実施形態の装置の一部の詳細な構成を示す図である。 本発明の第２の実施形態の装置の一部の詳細な構成を示す図である。 本発明の第２の実施形態の装置の一部の詳細な構成を示す図である。 本発明の第２の実施形態においてデータを格納する位置の例を示す図である。 本発明の第２の実施形態においてデータを格納する位置の例を示す図である。 本発明の第２の実施形態における動作フローの例を示す図である。 本発明の第３の実施形態の構成の概要を示す図である。 本発明の第３の実施形態の装置の一部の詳細な構成を示す図である。 本発明の第３の実施形態における動作フローの概要を示す図である。 本発明の第３の実施形態の装置構成の例を示す図である。 本発明の第３の実施形態の装置の一部の詳細な構成を示す図である。 本発明の第３の実施形態における動作フローの例を示す図である。 動画像符号化装置の構成の概要を示す図である。
［第１の実施形態］
［第１の実施形態の構成］
本発明の第１の実施形態について図を参照して詳細に説明する。図１は、本実施形態の予測画像生成装置の構成の概要を示したものである。図１および以下の各図における図面中のブロック間の矢印の向きは、一例を示すものであり、ブロック間の信号の向きを限定するものではない。本実施形態の予測画像生成装置は、記憶手段１と、選択手段２と、予測画素生成手段３と、並び替えバッファ手段４を備えている。
記憶手段１は、複数の参照画素を保持する。選択手段２は、モード番号と画素位置を基に、画面内の予測画像の生成に用いる参照画素を必要参照画素として選択する。予測画素生成手段３は、必要参照画素を基に複数の予測画素を並列処理で生成する。並び替えバッファ手段４は、予測画素生成手段３が生成した予測画素を、モード番号を基に並び替えて予測画像を生成する。
［第１の実施形態の効果］
本実施形態の予測画像生成装置では、選択手段２において選択された必要参照画素を基に予測画素生成手段３が複数の予測画素を並列処理により生成している。また、並び替えバッファ手段４が、予測画素の並び替えを行い、予測画像を生成している。このように、選択手段２が選択した必要参照画素を予測画素生成手段３に入力して、並列処理により予測画素を生成した後に、並び替えて予測画像を生成することにより、予測画素生成手段３の前段に予測画素ごとのセレクタ等の回路を備える必要がない。そのため、セレクタ等を複数、備えるために要する回路面積を抑制することができる。その結果、本実施形態の予測画像生成装置は、回路規模を抑制しつつ並列処理により画面内予測画像を生成することが可能となる。
［第２の実施形態］
［第２の実施形態の構成］
本発明の第２の実施形態について図を参照して詳細に説明する。図２は、本実施形態の画面内予測画像生成装置１０の構成の概要を示したものである。本実施形態の画面内予測画像生成装置１０は、動画像の符号化において画面内予測画像を生成する装置である。本実施形態の画面内予測画像生成装置１０は、同一の参照画素から生成される予測画素を並列処理によって生成し、バッファに保持した後に、予測画素を並び替えて予測画像を生成することを特徴としている。本実施形態の画面内予測画像生成装置１０は、予測画像を構成する予測画素ごとに対応した参照画素を逐次、選択する構成に比べて、回路面積を抑制することが可能である。
本実施形態の画面内予測画像生成装置１０は、記憶部１１と、選択信号生成処理部１２と、選択部１３と、予測画素生成処理部１４と、並び替えバッファ部１５と、並び替えバッファ制御部１６を備えている。予測画素生成処理部１４は、予測画素生成処理部１４−１から予測画素生成処理部１４−ＮまでＮ個備えられている。Ｎは整数であり、外部からの入力されるＮ個の係数、すなわち、係数１から係数Ｎに対応している。
記憶部１１は、参照画素のデータを保持する機能を有する。記憶部１１は、予測画像を生成する際に参照する参照画素のデータを保存している。参照画素は、予測画素を生成するブロックの周辺の画素であり、予測画素の生成の対象となるブロックの予測画素を生成する際に参照される。記憶部１１に保存されている参照画素のデータは１ピクセルのデータごとに、参照画素信号Ｓ１１として選択部１３に送られる。また、記憶部１１は、第１の実施形態の記憶手段１に相当する。
記憶部１１は、例えば、半導体記憶素子を用いて構成することができる。記憶部１１に用いる半導体記憶素子としては、例えば、レジスタやフリップフロップなどの記憶素子を用いることができる。また、記憶部１１には、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、ＰＲＡＭ（Phase Shifter Random Access Memory）およびその他の半導体記憶素子を用いることもできる。また、記憶部１１には、フラッシュメモリや、ＳＳＤ（Solid State Drive）、ハードディスク等のデバイスを用いることもできる。
選択信号生成処理部１２は、参照画素を選択するための制御信号を生成する機能を有する。選択信号生成処理部１２は、外部から入力される画素位置とモード番号の情報を基に、参照画素を選択する制御信号を選択信号Ｓ１２として生成する。
選択部１３は、選択信号Ｓ１２を基に、記憶部１１から予測画素生成処理部１４に送られる参照画素を選択する機能を有する。選択部１３は、記憶部１１が保持している参照画素のデータを、１ピクセル分のデータごとに参照画素信号Ｓ１１として受け取る。すなわち、選択部１３は、記憶部１１から複数の参照画素信号Ｓ１１を受け取る。選択部１３は、選択信号Ｓ１２を基に、記憶部１１から受け取る参照画素信号Ｓ１１の中から２つの信号を選択して、選択した参照画素信号Ｓ１１のデータを予測画素生成処理部１４に必要参照画素信号Ｓ１３として送る。本実施形態では、２つの必要参照画素のデータが必要参照画素信号Ｓ１３−１およびＳ１３−２として各予測画素生成処理部１４に送られる。また、選択部１３は、第１の実施形態の選択手段２に相当する。
予測画素生成処理部１４は、選択部１３から入力される参照画素および外部から入力される係数を基に予測画素を生成する機能を有する。各予測画素生成処理部１４、すなわち、予測画素生成処理部１４−１から１４−Ｎは、選択部１３から必要参照画素信号Ｓ１３−１およびＳ１３−２として入力される必要参照画素のデータおよび外部から入力される係数を基に予測画素をそれぞれ生成する。同一のタイミングにおいて各予測画素生成処理部１４にそれぞれ入力される参照画素は同じ画素データである。すなわち、各予測画素生成処理部１４には、同一の必要参照画素信号Ｓ１３−１およびＳ１３−２が入力される。各予測画素生成処理部１４は、入力されるそれぞれの係数に基づいて、予測画素をそれぞれ生成する。
各予測画素生成処理部１４は、生成した予測画素のデータを予測画素信号Ｓ１４として並び替えバッファ部１５に出力する。すなわち、Ｎ個の予測画素生成処理部１４がそれぞれ生成した予測画素のデータが、予測画素信号Ｓ１４−１からＳ１４−Ｎとしてそれぞれ出力され、並び替えバッファ部１５に送られる。また、予測画素生成処理部１４は、第１の実施形態の予測画素生成手段３に相当する。
画面内予測は、符号化の対象とするフレームの参照画像から予測画素を生成して予測画像を得る予測方法である。ＨＥＶＣ規格では、図３に示す３３種類の角度画面内予測が定義されている。角度画面内予測では、符号化の対象ブロック周辺の参照画素を図３に示す３３種類の方向のいずれかに外挿して予測画素が生成される。
図３の最上段の行の各矩形および最左列の各矩形は、参照画素を示している。矩形中の数字は、座標を示す。矢印は、予測方向を示す。矢印の近傍に付された数字は、予測モードの番号を示す。以下の説明では、予測モードのことをモードと呼ぶ。符号化対象ブロック周辺の参照画素は、レジスタ等の記憶素子で保持されて、予測画素を生成する際には適切な位置の参照画素を参照して予測画素を生成する。角度画面内予測において予測画素PredSamples[x][y]は、例えば、以下の式で計算される。
PredSamples[x][y] = ((３２-iFact) * ref[x+iIdx+１] + iFact * ref[x+iIdx+２] + １６) >> ５ （式１）
ここでxとyは、予測ブロック内の予測画素の画素位置の座標である。ref[x+iIdx+１]およびref[x+iIdx+２]は、参照画素の配列であり、配列のインデックスで参照画素の位置を表している。ref[x+iIdx+１]およびref[x+iIdx+２]は、対象ブロックサイズとブロック内の画素位置によって定められた位置の参照画素である。iIdxは、iIdx = ((y+１) * PredAngle)で算出される。PredAngleは、予測モードごとに定められている角度である。また、iFactは、iFact = ((y+１) * PredAngle) ＆ ３１で算出される。「＆３１」は、３１の２進表現である「１１１１１」とのビットＡＮＤ計算である。iFactは、予測モードごとに、ブロック内の各行で同一の値の係数となる。「>>５」は、２進数における５ｂｉｔの右シフト演算である。予測ブロック内の全ての(x,y)において、上記の（式１）でPredSamples[x][y]を求めることで、予測ブロックの予測画像を生成することができる。
並び替えバッファ部１５は、入力された予測画素のデータを保持し、並び替えにより予測画素を適切に配置した予測画像を生成する機能を有する。並び替えバッファ部１５は、Ｎ個の予測画素生成処理部１４からＮ個の予測画素信号Ｓ１４として予測画素のデータを受け取り、受け取ったＮ個の予測画素のデータを保持する。並び替えバッファ部１５は、Ｎ個の予測画素のデータを１回または複数回保持する。並び替えバッファ部１５は、並び替え制御信号Ｓ１５を基に、保持した予測画素をモード番号ごとに適切な配置に並べ替えて予測画像を生成する。並び替えバッファ部１５が予測画素のデータを保持する回数は、例えば、符号化対象ブロックの画面内予測画像を生成するために必要な全ての画面内予測画素が生成されるまでの回数として設定される。並び替えバッファ部１５が予測画素のデータを保持する回数は、符号化対象ブロックを分割した際の部分ブロックの画面内予測画像を生成するために必要な画面内予測画素が生成されるまでの回数として設定されてもよい。
並び替えバッファ部１５には、例えば、リングレジスタやシフトレジスタのようなシフト機能を備えたレジスタやフリップフロップ等の記憶素子を用いることもできる。また、並び替えバッファ部１５に、並び替え機構を備えたレジスタやフリップフロップなどの記憶素子を用いることもできる。並び替えバッファ部１５には、並び替え機構を備えたＳＲＡＭやＤＲＡＭ、ＰＲＡＭなどの半導体記憶素子を用いることもできる。並び替えバッファ部１５には、並び替え機構を備えたフラッシュメモリや、ＳＳＤ（Solid State Drive）、ハードディスク等のデバイスを用いることもできる。また、並び替えバッファ部１５には、ランダムアクセス可能なＳＲＡＭやＤＲＡＭ、ＰＲＡＭ、フラッシュメモリや、ＳＳＤ、ハードディスク等のデバイスを用いることもできる。また、並び替えバッファ部１５は第１の実施形態の並び替えバッファ手段４に相当する。
並び替えバッファ制御部１６は、外部から入力されるモード番号を基に並び替え制御信号Ｓ１５を生成する機能を有する。並び替えバッファ制御部１６は、外部から入力されるモード番号を受け取り、モード番号ごとにモード番号に応じた適切な配置の予測画像を生成するための制御信号を並び替え制御信号Ｓ１５として生成する。並び替えバッファ制御部１６は、生成した並び替え制御信号Ｓ１５を並び替えバッファ部１５に送る。
［第２の実施形態の動作］
次に本実施形態の画面内予測画像生成装置１０の動作について図４のフローチャートを参照して説明する。図４は、本実施形態の画面内予測画像生成装置１０の動作フローの概要をフローチャートとして示したものである。
始めに外部からモード番号の情報を示す信号が、選択信号生成処理部１２に入力される（ステップＡ１）。また、画素位置の情報を示す信号が、選択信号生成処理部１２に入力される（ステップＡ２）。モード番号および画素位置の情報が入力されると、選択信号生成処理部１２は、入力されたモード番号および画素位置の情報に基づいて選択信号Ｓ１２を生成する（ステップＡ３）。
参照画素の画素データを示す信号は、記憶部１１から選択部１３に参照画素信号Ｓ１１として送られる。参照画素の画素データを示す参照画素信号Ｓ１１は、参照画素１ピクセルにつき１つの信号が選択部１３に送られる。すなわち、選択部１３は、参照画素を示す参照画素信号Ｓ１１を記憶部１１から複数、受け取る。選択部１３は、選択信号Ｓ１２を受け取ると、参照画素を示す参照画素信号Ｓ１１から選択信号Ｓ１２で指定された２つの信号を選択する（ステップＡ４）。選択部１３が選択した２つの参照画素は必要参照画素信号Ｓ１３−１およびＳ１３−２として、Ｎ個の予測画素生成処理部１４、すなわち、予測画素生成処理部１４−１から予測画素生成処理部１４−Ｎにそれぞれ入力される。このとき、予測画素生成処理部１４−１から予測画素生成処理部１４−ＮのＮ個の予測画素生成処理部１４は、選択部１３で選択された２つの必要参照画素信号Ｓ１３−１およびＳ１３−２を共通して受け取る。
Ｎ個の予測画素生成処理部１４には、外部から係数の情報を示す信号がそれぞれ入力される。必要参照画素信号Ｓ１３−１およびＳ１３−２を受け取ると、Ｎ個の予測画素生成処理部１４は、外部から入力された係数と必要参照画素信号Ｓ１３−１およびＳ１３−２に基づいて、予測画素をそれぞれ生成する。すなわち、予測画素生成処理部１４−１から予測画素生成処理部１４−ＮのＮ個の予測画素生成処理部１４において、合計Ｎ個の予測画素が生成される（ステップＡ５）。Ｎ個の予測画素生成処理部１４は、予測画素を生成すると生成した予測画素のデータを並び替えバッファ部１５に予測画素信号Ｓ１４としてそれぞれ送る。すなわち、並び替えバッファ部１５には、予測画素信号Ｓ１４−１からＳ１４−ＮのＮ個の予測画素のデータが送られる。
並び替えバッファ部１５は、各予測画素生成処理部１４から予測画素のデータを予測画素信号Ｓ１４としてそれぞれ受け取ると、受け取った予測画素のデータを保持する。すなわち、並び替えバッファ部１５は、Ｎ個の予測画素のデータを保持する（ステップＡ６）。
予測画素のデータを保持すると、並び替えバッファ部１５は、対象とするブロックの画面内予測画像を生成するために必要な予測画素を全て受け取ったかを判断する。画面内予測画像を生成するために必要な予測画素が生成されていない場合は（ステップＡ７でＮｏ）、並び替えバッファ部１５は必要な予測画素が保持されるまで待機する。ステップＡ７でＮｏ、すなわち、ブロック内の予測画素が必要数生成されていない場合は、ステップＡ２に戻り次の画素位置の情報を取得してステップＡ２からステップＡ６までの動作が行われる。ステップＡ２において、同一の符号化対象ブロック内でモード番号は変化しないのでステップＡ１で取得したモード番号が引き続き用いられる。
画面内予測画像の生成に必要な全ての予測画素が生成されている場合は（ステップＡ７でＹｅｓ）、画面内予測画像生成装置１０はステップＡ８以降の予測画像を生成する動作を行う。
並び替えバッファ制御部１６は、入力されたモード番号に基づいて、並び替えバッファ部１５が予測画素を並び替えて画面内予測画像を生成する際の並び替えの順番を指定する信号を並び替え制御信号Ｓ１５として生成する（ステップＡ８）。並び替えバッファ制御部１６は、並び替え制御信号Ｓ１５を生成すると、生成した並び替え制御信号Ｓ１５を並び替えバッファ部１５に送る。
並び替えバッファ部１５は、並び替え制御信号Ｓ１５を受け取ると、並び替え制御信号Ｓ１５で指定された順番となるように並び替えバッファ部１５内で保持している予測画素を並び替え、ブロックの画面内予測画像を生成して出力する（ステップＡ９）。他に予測画像が未生成のブロックがある場合は、他のブロックについても順次、上記の動作が繰り返される。以上が、本実施形態の画面内予測画像生成装置１０の動作についての説明である。
［第２の実施形態の効果］
本実施形態の画面内予測画像生成装置１０では、選択部１３で必要な参照画素を選択することにより、複数の予測画素生成処理部１４に並列に参照画素のデータが入力されている。そのため、本実施形態の画面内予測画像生成装置１０では、同一の参照画素を用いる予測画素を同時に生成することができる。このような構成とすることにより、予測画素生成処理部１４へ参照画素を入力する際に必要なセレクタの数を削減することができ回路構成を簡略化することができる。また、回路構成を簡略化することで回路面積を削減することができる。
また、本実施形態の画面内予測画像生成装置１０では、同時に生成されたＮ個の予測画素を並び替えバッファ部１５で保持している。並び替えバッファ部１５は、画面内予測画像を生成するのに必要数の予測画素を保持した後に、モード番号に基づいた制御信号に従って並び替えて画面内予測画像を生成する。そのため、生成された予測画素から処理を行っているブロックの画面内予測画像を生成する際に必要なセレクタも不要となり回路構成を簡略化することができ、回路面積を削減することができる。
［第２の実施形態の具体的な例］
次に本実施形態の画面内予測画像生成装置１０について、より具体的な例を用いて説明する。図５は、本実施形態の画面内予測画像生成装置１０を構成する画面内予測画像生成回路３０の構成の概要を示したものである。
図５に示す通り、画面内予測画像生成回路３０は、記憶装置３１と、選択信号生成処理回路３２と、選択回路３３と、予測画素生成処理回路３４と、並び替え記憶装置３５と、並び替え記憶装置制御回路３６とを備えている。また、画面内予測画像生成回路３０は、予測画素生成処理回路３４−１から予測画素生成処理回路３４−４の４つの予測画素生成処理回路３４を備えている。
画面内予測画像生成回路３０は、Ｎ＝４のときの画面内予測画像生成装置１０に相当する。また、記憶装置３１は、画面内予測画像生成装置１０の記憶部１１に相当する。選択信号生成処理回路３２は、画面内予測画像生成装置１０の選択信号生成処理部１２に相当する。選択回路３３は、画面内予測画像生成装置１０の選択部１３に相当する。予測画素生成処理回路３４は、画面内予測画像生成装置１０の予測画素生成処理部１４に相当する。並び替え記憶装置３５は、画面内予測画像生成装置１０の並び替えバッファ部１５に相当する。並び替え記憶装置制御回路３６は、画面内予測画像生成装置１０の並び替えバッファ制御部１６に相当する。
また、参照画素信号Ｓ３１は、参照画素信号Ｓ１１に相当する。選択信号Ｓ３２、必要参照画素信号Ｓ３３、予測画素信号Ｓ３４および並び替え制御信号Ｓ３５は、選択信号Ｓ１２、必要参照画素信号Ｓ１３、予測画素信号Ｓ１４および並び替え制御信号Ｓ１５にそれぞれ相当する。
図６は、記憶装置３１と、選択回路３３の構成の例を示したものである。記憶装置３１は、複数のレジスタで構成され、レジスタごとに１つの参照画素のデータを保持する機能を有する。図６は、１２９個のレジスタを備える例を示しており、記憶装置３１は、最大で１２９ピクセルの参照画素を保持することができる。
選択回路３３は、セレクタ３７およびセレクタ３８を備えている。セレクタ３７およびセレクタ３８には、記憶装置３１の１２９個のレジスタから１２９本の信号線がそれぞれ入力されている。セレクタ３７およびセレクタ３８は、選択信号Ｓ３２に基づいて、１２９本の信号線からそれぞれ１本の信号線を選択し、選択した信号線から入力されてくる参照画素のデータを必要参照画素信号Ｓ３３として出力する。
図７は、並び替え記憶装置３５の構成の例を示している。並び替え記憶装置３５は、リングレジスタを用いて構成されている。図７の並び替え記憶装置３５は、リングレジスタ３５-１からリングレジスタ３５-４の４つのリングレジスタで構成されている。４つのリングレジスタに制御信号がそれぞれ入力され、各リングレジスタは、それぞれが独立して制御される。
次に、画面内予測画像生成回路３０において、画面内予測画像を生成する方法について説明する。図８は、予測画素の生成に用いる参照画素の位置と、生成される予測画素の位置を示したものである。図８に示した予測画素のうち、同じ番号がつけられている画素位置は同一の参照画素から生成される予測画素である。同一の参照画素から生成される予測画素は、予測画素生成処理回路３４-１から予測画素生成処理回路３４-４の４つの予測画素生成処理回路において並列に生成される。
図８の各参照画素につけられている数字は、同じ数字の予測画素を生成するために必要な参照画素の位置を示している。例えば「３」の予測画素を生成するために必要な参照画素は、「３」の数字がつけられている参照画素である。予測画素の生成に用いる参照画素が対応する座標に存在しない場合、例えば、図８の「１」の予測画素を生成する場合には、隣接する参照画素が拡張されて用いられる。例えば、隣接する参照画素の画素データと同じ画素データの参照画素が予測画素の生成の際に参照する座標に存在すると仮定して予測画素が生成される。
図９は、生成した予測画素を並び替え記憶装置３５に格納する方法の例を示している。図９に示した例では、並列に生成された予測画素を同じ列に格納し、その後に全体を１つシフトした後に、さらに次の予測画素を格納している。このように、予測画素を格納することにより図９において、並び替え記憶装置３５は、同じ数値がつけられた参照画素を基に生成された予測画素を同じ列に格納している。
また、図１０は、図９のように格納された予測画素から、予測画像を生成する方法を示している。図９に示すように、リングレジスタ３５−２とリングレジスタ３５−３を１つ右にシフトし、リングレジスタ３５−４を２つ右にシフトすることで、図８に示されている予測画像と同様の画面内予測画像が点線部分で囲まれた部分に生成されている。シフト数および対象とするリングレジスタは、並び替え記憶装置制御回路３６で生成された制御信号によって制御されている。
次に画面内予測画像生成回路３０において、画面内予測画像を生成する際の動作について説明する。図１１は、画面内予測画像生成回路３０において、画面内予測画像を生成する際の動作フローをフローチャートとして示したものである。
図１１のステップＣ１は、図４のステップＡ１に相当する。また、図１１のステップＣ２は、図４のステップＡ２に、ステップＣ３はステップＡ３に、ステップＣ４はステップＡ４に、ステップＣ５はステップＡ５にそれぞれ相当する。また、図１１のステップＣ６は、図４のステップＡ６に、ステップＣ７はステップＡ７に、ステップＣ８はステップＡ８に、ステップＣ９はステップＡ９にそれぞれ相当する。
始めに、モード番号の情報を示す信号が選択信号生成処理回路３２に入力される（ステップＣ１）。また、画素位置の情報を示す信号も選択信号生成処理回路３２に入力される（ステップＣ２）。モード番号と画素位置の情報が入力されると、選択信号生成処理回路３２は、入力されたモード番号と画素位置の情報を基に選択信号Ｓ３２を生成する（ステップＣ３）。選択信号生成処理回路３２は、生成した選択信号Ｓ３２を選択回路３３に送る。
選択信号S３２が入力されると、選択回路３３は、記憶装置３１から入力される参照画素信号Ｓ３１のうち、選択信号Ｓ３２で指定された２つの参照画素を必要参照画素として選択する（ステップＣ４）。必要参照画素として選択された参照画素のデータは、４つの予測画素生成処理回路３４にそれぞれ必要画素信号Ｓ３３−１およびＳ３３−２として入力される。
２つの必要参照画素信号Ｓ３３が入力されると、予測画素生成処理回路３４は入力された必要参照画素のデータと外部から入力された係数を用いて、予測画素をそれぞれ生成する。４個の予測画素生成処理回路３４が予測画素をそれぞれ生成するので、合計４個の予測画素が生成される（ステップＣ５）。４個の予測画素生成処理回路３４は、生成した予測画素を予測画素信号Ｓ３４としてそれぞれ並び替え記憶装置３５に送る。
４つの予測画素信号Ｓ３４−１からＳ３４−４が入力されると、並び替え記憶装置３５は、４個の予測画素生成処理回路３４からそれぞれ入力された合計４個の予測画素を保持する（ステップＣ６）。入力された予測画像を保持すると、並び替え記憶装置３５は、対象とする４×４ブロックの画面内予測画像を生成するために必要な予測画素が全て生成されたかどうかを判定する。
予測画素が必要数生成されていない場合は（ステップＣ７でＮｏ）、ステップＣ２に戻り次の画素位置を取得してステップＣ２からステップＣ６の動作が実施される。ステップＣ２においては、同一の符号化対象ブロック内でモード番号は変化しないのでステップＣ１で取得したモード番号が引き続いて用いられる。
必要な予測画素が全て生成されている場合は（ステップＣ７でＹｅｓ）、並び替え記憶装置３５は、予測画像を生成するステップＣ８以降の動作を始める。
並び替え記憶装置制御回路３６は、入力されるモード番号に従って、並び替え記憶装置３５で保持されている予測画素を並び替えて画面内予測画像を生成するための並び替え制御信号Ｓ３５を生成する（ステップＣ８）。並び替え制御信号Ｓ３５を生成すると、並び替え記憶装置制御回路３６は、生成した並び替え制御信号Ｓ３５を並び替え記憶装置３５に送る。
並び替え制御信号Ｓ３５を受け取ると、並び替え記憶装置３５は、並び替え制御信号Ｓ３５に基づいて、並び替え記憶装置３５内で保持している画面内予測画素を並び替え、４×４ブロックの画面内予測画像を生成する（ステップＣ９）。画面内予測画像を生成すると、並び替え記憶装置３５は生成した画面内予測画像を出力する。
本実施形態の画面内予測画像生成回路３０は、４個の予測画素生成処理回路３４に対し必要参照画素が並列に入力されるように構成されている。本実施形態の画面内予測画像生成回路３０では、同一の参照画素を用いる４ピクセルの画面内予測画素を同時に生成できるため、予測画素生成処理回路の入力に係るセレクタ数を削減することができる。また、セレクタ数を削減することにより、回路面積が削減される。
本実施形態の画面内予測画像生成回路３０は、同時に生成された４個の参照画素を、並び替え記憶装置３５で保持している。本実施形態の画面内予測画像生成回路３０は、画面内予測画像を生成するのに必要数の画素を保持した後に、モード番号に基づいた制御信号に従って並び替え記憶装置３５内部のリングレジスタを操作し、予測画素を並び替えることができるように構成されている。そのため、本実施形態の画面内予測画像生成回路３０では、生成された画面内予測画素から処理の対象となるブロックの画面内予測画像を生成する際にセレクタが不要となり回路規模を削減することができる。
なお、本実施形態の上記の例では並び替え記憶装置３５の例としてリングレジスタを用いたが、並び替え記憶装置３５はランダムアクセス可能な記憶装置で構成されてもよい。そのような構成とした場合、並び替え記憶装置３５は、並び替え制御信号Ｓ３５を受け取ると、並び替え制御信号Ｓ３５から図１０の点線部分で囲まれた部分のデータを読み出すためのアドレスを生成する。並び替え記憶装置３５は、生成したアドレスに従ってデータを読み出すことで、本実施形態の上記の例と同様の効果を得ることができる。
［第３の実施形態］
［第３の実施形態の構成］
本発明の第３の実施形態について図を参照して詳細に説明する。図１２は本実施形態の画面内予測画像生成装置２０の構成の概要を示したものである。本実施形態の画面内予測画像生成装置２０は、記憶部にデータシフト機能を備えていることを特徴とする。本実施形態の画面内予測画像生成装置２０では、記憶部にデータシフト機能を備えることで、記憶部から選択部の間の信号線の本数を削減することができる。
本実施形態の画面内予測画像生成装置２０は、記憶部２１と、選択信号生成処理部２２と、選択部２３と、予測画素生成処理部２４と、並び替えバッファ部２５と、並び替えバッファ制御部２６を備えている。
選択信号生成処理部２２、予測画素生成処理部２４、並び替えバッファ部２５および並び替えバッファ制御部２６の構成と機能は、第２の実施形態の同名称の部位と同様である。また、参照画素信号Ｓ２１、選択信号Ｓ２２、必要参照画素信号Ｓ２３、予測画素信号Ｓ２４および並び替え制御信号Ｓ２５は、第２の実施形態の同名称の信号と同様の機能を有する。
記憶部２１は、参照画素のデータを保持する機能を有する。また、記憶部２１は、外部から入力されるモード番号および画素位置の情報に基づいて、参照画素を選択して出力する機能を有する。
図１３は、記憶部２１の構成の概要を示したものである。図１３に示すように、記憶部２１は、記憶装置制御部５１と、データシフト付記憶部５２を備えている。記憶装置制御部５１は、外部から入力されるモード番号と画素位置の情報を基に、データシフト付記憶部５２を制御する記憶装置制御信号Ｓ５１を生成する。データシフト付記憶部５２は、参照画素を各領域に記憶し、記憶装置制御信号Ｓ５１に基づいて参照画素が記憶されている位置をシフトさせる。
選択部２３は、選択信号Ｓ２２に基づいて複数の参照画素から２つの参照画素を選択して出力する機能を有する。選択部２３は、データシフト付記憶部５２に保存されているデータのうち先頭の数ピクセル分の領域に保存されている参照画素のデータを参照画素信号Ｓ２１としてデータシフト付記憶部５２から受け取る。図１３の例では、選択部２３は、データシフト付記憶部５２に保存されているデータのうち先頭の３ピクセル分の領域に保存されている参照画素のデータを受け取る。選択部２３は、選択信号生成処理部２２から送られてくる選択信号Ｓ２２を基に、参照画素として用いる２つの画素を選択し必要参照画素信号Ｓ２３として予測画素生成処理部２４に送る。
［第３の実施形態の動作］
本実施形態の画面内予測画像生成装置２０の動作について説明する。図１４は、本実施形態の画面内予測画像生成装置２０の動作フローの概要を示すフローチャートである。
始めに外部からモード番号および画素位置の情報が、記憶部２１に入力される。記憶部２１の記憶装置制御部５１は、モード番号および画素位置の情報に基づいてデータシフト付記憶部５２を初期位置に設定する。データシフト付記憶部５２は、保持している参照画素のデータのうち、先頭の数ピクセル分の画素データを選択部２３に参照画素信号Ｓ２１として送る。
モード番号の情報を示す信号は、選択信号生成処理部２２にも入力される（ステップＢ１）。また、画素位置の情報を示す信号は、選択信号生成処理部２２にも入力される（ステップＢ２）。モード番号および画素位置の情報が入力されると、選択信号生成処理部２２は、入力されたモード番号および画素位置の情報に基づいて選択信号Ｓ２２を生成する（ステップＢ３）。選択信号生成処理部２２は、生成した選択信号Ｓ２２を選択部２３に送る。
選択部２３は、参照画素信号Ｓ２１および選択信号Ｓ２２を受け取ると、第２の実施形態と同様に参照画素を示す参照画素信号Ｓ２１から選択信号Ｓ２２で指定された２つの信号を選択する（ステップＢ４）。以下、同様に画面内予測画像生成装置２０は、第２の実施形態のステップＡ５からステップＡ９における動作と同様の動作をステップＢ５からＢ９において行う。
ステップＢ５からＢ９の動作においてステップＢ６の予測画素の生成の動作まで行われた際に、予測画像の生成に必要な数の予測画素が生成されていない場合（ステップＢ７でＮｏ）に、画面内予測画像生成装置２０は以下のように動作する。
ステップＢ６の処理まで終わった際に、予測画像の生成に必要な数の予測画素が生成されていない場合は（ステップＢ７でＮｏ）、記憶装置制御部５１はデータシフト量を示す記憶装置制御信号Ｓ５１を生成する（ステップＢ１０）。記憶装置制御部５１は、モード番号と画素位置の基にデータシフト量を判断して記憶装置制御信号Ｓ５１を生成する。
記憶装置制御部５１は、記憶装置制御信号Ｓ５１を生成すると、生成した記憶装置制御信号Ｓ５１をデータシフト付記憶部５２に送る。
データシフト付記憶部５２は、記憶装置制御信号Ｓ５１を受け取ると、信号に含まれるデータシフト量の情報に基づいて、記憶しているデータをシフトさせる操作を行う(ステップＢ１１）。記憶装置制御信号Ｓ５１が示すデータのシフト量が０のときは、データシフト付記憶部５２は、データのシフトを行わない。データシフト付記憶部５２に保存されているデータのシフトが行われると、シフト後の先頭の数ピクセル分の参照画素の信号が選択部２３に送られる。選択部２３に参照画素信号Ｓ２１が入力されると、ステップＢ２からの動作が繰り返される。
［第３の実施形態の効果］
本実施形態の画面内予測画像生成装置２０は、参照画素をデータシフト付記憶部５２で保持している。また、選択部２３には、データシフト付記憶部５２に保存されている参照画素のうち先頭の数ピクセル分の参照画素が入力される。先頭の数ピクセルに保存されている参照画素は、記憶装置制御部５１が、モード番号と画素位置を基に必要な参照画素を読み出すためのデータのシフト量を設定することにより制御される。選択部２３は、入力された数ピクセル分の参照画素から必要な２つの参照画素を選択している。このような構成とすることで、本実施形態の画面内予測画像生成装置２０は、選択部２３のセレクタに入力される参照画素の信号数を削減することができるのでセレクタに関する回路規模を削減することができる。
［第３の実施形態の具体的な例］
次に本実施形態の画面内予測画像生成装置２０について、より具体的な例を用いて説明する。図１５は、本実施形態の画面内予測画像生成装置２０のより具体的な構成を画面内予測画像生成回路４０として示したものである。
図１５に示すように、画面内予測画像生成回路４０は、記憶装置４１と、選択信号生成処理回路４２と、選択回路４３と、予測画素生成処理回路４４と、並び替え記憶装置４５と、並び替え記憶装置制御回路４６を備えている。画面内予測画像生成回路４０は、予測画素生成処理回路４４−１から予測画素生成処理回路４４−４の４つの予測画素生成処理回路４４を備えている。
画面内予測画像生成回路４０は、Ｎ＝４のときの画面内予測画像生成装置２０に相当する。記憶装置４１は、画面内予測画像生成装置２０の記憶部２１に相当する。選択信号生成処理回路４２は、画面内予測画像生成装置２０の選択信号生成処理部２２に相当する。選択回路４３は、画面内予測画像生成装置２０の選択部２３に相当する。予測画素生成処理回路４４−１から予測画素生成処理回路４４−４は、画面内予測画像生成装置２０の予測画素生成処理部２４−１から予測画素生成処理部２４−ＮのうちＮ＝４までにそれぞれ相当する。並び替え記憶装置４５は、画面内予測画像生成装置２０の並び替えバッファ部２５に相当する。並び替え記憶装置制御回路４６は、画面内予測画像生成装置２０の並び替えバッファ制御部２６に相当する。
また、参照画素信号Ｓ４１は、参照画素信号Ｓ２１に相当する。選択信号Ｓ４２、必要参照画素信号Ｓ４３、予測画素信号Ｓ４４および並び替え制御信号Ｓ４５は、選択信号Ｓ２２、必要参照画素信号Ｓ２３、予測画素信号Ｓ２４および並び替え制御信号Ｓ２５にそれぞれ相当する。
図１６は、記憶装置４１および選択回路４３の構成の例を示したものである。図１６に示すように、記憶装置４１は、シフトレジスタ制御回路６１と、シフトレジスタ６２を備えている。シフトレジスタ６２は、参照画素を保存している。シフトレジスタ制御回路６１は、入力されたモード番号と生成する画素位置の情報を基に、シフトレジスタ６２を制御するためのシフトレジスタ制御信号Ｓ６１を生成する。
参照画素を保持するシフトレジスタ６２はシフトレジスタ制御信号Ｓ６１に従って保持しているデータのシフトを行う。図８のように、「１」から「６」までのラベルが付加された予測画素を生成する例において、「１」から「６」までラベルの番号順に予測画素を生成する場合には、必要な参照画素の保存されている領域はほぼ１ピクセルずつ右方向にずれていく。シフトレジスタ制御回路６１は、シフトレジスタ６２のデータを大きくシフトさせることなく、必要な参照画素が選択回路４３に出力されるようにシフトレジスタ６２を制御することができる。
選択回路４３は、セレクタ６３およびセレクタ６４を備えている。セレクタ６３およびセレクタ６４は、２つの入力信号から選択された１つの信号を出力する。図１３の例では、シフトレジスタ６２の先頭３ピクセルの参照画素が選択回路４３に入力され、選択回路４３は、３ピクセルから２ピクセルの必要参照画素を選択して、予測画素生成処理回路４４に送る。
次に画面内予測画像生成回路４０の動作について説明する。図１７は、画面内予測画像生成回路４０の動作フローの概要をフローチャートとして示したものである。
図１７のステップＤ１は、図１４のステップＢ１に相当する。また、図１７のステップＤ２は図１４のステップＢ２に、ステップＤ３はステップＢ３に、ステップＤ４はステップＢ４に、ステップＤ５はステップＢ５にそれぞれ相当する。また、図１７のステップＤ６は図１４のステップＢ６に、ステップＤ７はステップＢ７に、ステップＤ８はステップＢ８に、ステップＤ９はステップＢ９に、ステップＤ１０はステップＢ１０にそれぞれ相当する。
また、ステップＤ１からステップＤ９における動作は、図１１のステップＣ１からステップＣ９における動作と同様である。よって、以下では、ステップＤ６の予測画素の生成の動作まで行われた後に、予測画像の生成に必要な数の予測画素が生成されていない場合（ステップＤ７でＮｏ）の動作について詳細に説明する。
予測画像の生成に必要な数の予測画素が生成されていない場合は（ステップＤ７でＮｏ）、シフトレジスタ制御回路６１は、モード番号と画素位置の情報を基にシフトレジスタ６２をシフトさせる必要があるかどうかを判断する。シフトさせる必要があるときは、シフトレジスタ制御回路６１は、シフトレジスタ６２でのデータのシフト量を算出して、シフトレジスタ６２を制御するためのシフトレジスタ制御信号Ｓ６１を生成する（ステップＤ１０）。シフトレジスタ６２のシフトが不要な場合は、シフトレジスタ制御回路６１は、シフト量を０とするシフトレジスタ制御信号Ｓ６１を生成する。
シフトレジスタ制御回路６１は、シフトレジスタ制御信号Ｓ６１を生成すると、生成した信号をシフトレジスタ６２に送る。シフトレジスタ制御信号Ｓ６１を受け取ると、シフトレジスタ６２は、シフトレジスタ制御信号Ｓ６１に基づいて参照画素をシフトさせる（ステップＤ１１）。シフトレジスタ制御信号Ｓ６１で示されるシフト量が０のときは、シフトレジスタ６２はデータのシフトを行わない。データのシフトが行われるとシフト後の先頭の３ピクセル分の参照画素の信号が選択回路４３に送られる。選択回路４３に送られる参照画素は、３ピクセル以外のピクセル数であってもよい。シフトが行われなかった場合は、同じ参照画素の信号が継続して選択回路４３に送られる。選択回路４３に参照画素の信号が入力されると、ステップＤ２からの動作が繰り返される。
本実施形態の画面内予測画像生成回路４０は、参照画素をシフトレジスタ６２で保存している。本実施形態の画面内予測画像生成回路４０では、参照画素はシフトレジスタの先頭３ピクセル分だけから読み出され、選択回路４３に送られる。また、選択回路４３に送られる参照画素はシフトレジスタをシフトさせることにより変更することができる。このような構成とすることにより、本実施形態の画面内予測画像生成回路４０では、セレクタに入力される参照画素の信号数を削減することができる。その結果、本実施形態の画面内予測画像生成回路４０では、回路規模を削減することができる。
第１乃至第３の実施形態の予測画像生成装置および回路は、図１８のような動画像符号化装置で用いることができる。図１８は、各予測画像生成装置または回路を、予測部として用いることのできる動画像符号化装置１００の構成の概要を示したものである。図１８の動画像符号化装置１００は、デジタル化された映像の各フレームの各ＣＵ（Coding Unit）を入力画像として、映像データの符号化処理を行い、ビットストリームを出力する装置である。
図１８に示した動画像符号化装置１００は、変換部１０１と、量子化部１０２と、エントロピー符号化部１０３と、逆変換／逆量子化部１０４と、バッファ１０５と、予測部１０６と、最適予測モード決定部１０７を備えている。動画像符号化装置１００は、予測画像の生成のための画面内予測を行う予測部１０６に、各実施形態の予測画像生成装置または回路を用いることにより装置全体の回路規模を抑制することが可能となる。
変換部１０１は、最適予測モード決定部１０７が決定したＴＵ（Transform Unit）クアッドツリー構造に基づいて、予測誤差画像のデータを示す信号、すなわち、入力画像信号から予測信号を減じて生成される予測誤差信号を周波数変換する。変換部１０１は、予測誤差信号の変換符号化において、周波数変換に基づいた所定のブロックサイズの直交変換を使用する。所定のブロックサイズとしては、例えば、４×４、８×８、１６×１６または３２×３２が用いられる。変換部１０１は、例えば、直交変換として、イントラＣＵの輝度成分の４×４ＴＵに対して、整数演算で近似した整数精度のＤＳＴ（Discrete Sine Transform ：離散サイン変換）を使用する。その他のＴＵに対して、変換部１０１は、そのブロックサイズに対応する整数演算で近似した整数精度のＤＣＴ（Discrete Cosine Transform ：離散コサイン変換）を使用する。
量子化部１０２は、変換部１０１から供給される直交変換係数を量子化する。量子化された直交変換係数は変換量子化値と呼ばれることもある。エントロピー符号化部１０３は、入力したデータをエントロピー符号化して出力する。
逆変換／逆量子化部１０４は、変換量子化値を逆量子化する。さらに、逆変換／逆量子化部１０４は、逆量子化した直交変換係数を逆変換する。逆変換された予測誤差画像は、予測信号が加えられて、バッファ１０５に供給される。バッファ１０５は、画像を参照画像として格納する。
予測部１０６は、最適予測モード決定部１０７が決定した予測モードおよび予測ブロックにもとづいて、ＣＵの入力画像信号に対する予測信号を生成する。予測信号は、画面内予測またはインター予測にもとづいて生成される。最適予測モード決定部１０７は、ＣＴＵ（Coding Tree Unit）毎に、符号化コストを最小とする予測モードと予測ブロックの組み合わせを決定する。
各部位が上記のように動作することにより、動画像符号化装置は各フレームの各ＣＵを入力画像として、映像データの符号化処理を行い、圧縮符号化された映像データのビットストリームを出力する。また、動画像符号化装置１００の予測部１０６として各実施形態の予測画像生成装置または回路を用いることで動画像符号化装置の回路規模を抑制することが可能となる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
複数の参照画素を保持する記憶手段と、
モード番号と画素位置を基に、画面内の予測画像の生成に用いる前記参照画素を必要参照画素として選択する選択手段と
前記必要参照画素を基に複数の前記予測画素を並列処理で生成する予測画素生成手段と、
前記予測画素生成手段が生成した前記予測画素を、モード番号を基に並び替えて前記予測画像を生成する並び替えバッファ手段と、
を備えることを特徴とする予測画像生成装置。
（付記２）
複数の前記予測画素生成手段を備え、
前記複数の予測画素生成手段は同一の前記必要参照画素を用いて前記予測画素をそれぞれ生成することを特徴とする付記１に記載の予測画像生成装置。
（付記３）
複数の前記予測画素生成手段は、それぞれ異なる所定の係数を受け付け、前記所定の係数を基に前記予測画素を生成することを特徴とする付記１または２いずれかに記載の予測画像生成装置。
（付記４）
前記記憶手段は、保持している前記参照画素のデータをシフトする手段と、モード番号と画素位置を基に前記データのシフト操作をするかどうかを判断する手段とをさらに備えることを特徴とする付記１から３いずれかに記載の予測画像生成装置。
（付記５）
前記選択手段は、２つのセレクタを備え、前記セレクタによりそれぞれ選択された前記必要参照画素が前記予測画素生成手段に入力されることを特徴とする付記１から３いずれかに記載の予測画像生成装置。
（付記６）
前記並び替えバッファ手段は、保持している前記予測画素をシフトするバッファ記憶手段をさらに備え、シフト操作を行うことにより前記予測画素を並び替えて前記予測画像を生成することを特徴とする付記１から５いずれかに記載の予測画像生成装置。
（付記７）
前記並び替えバッファ手段は、複数、備えられた予測画素生成手段と同数の前記バッファ記憶手段を備え、前記バッファ記憶手段はそれぞれ独立に制御されることを特徴とする付記６に記載の予測画像生成装置。
（付記８）
複数の参照画素を保持し、
モード番号と画素位置を基に、画面内の予測画像の生成に用いる前記参照画素を必要参照画素として選択し、
前記必要参照画素を基に複数の前記予測画素を並列処理で生成し、
生成した前記予測画素を、モード番号を基に並び替えて前記予測画像を生成することを特徴とする予測画像生成方法。
（付記９）
同一の前記必要参照画素を用いて前記予測画素をそれぞれ生成することを特徴とする付記８に記載の予測画像生成方法。
（付記１０）
それぞれ異なる所定の係数を受け付け、前記所定の係数を基に前記予測画素を生成することを特徴とする付記８または９いずれかに記載の予測画像生成方法。
（付記１１）
モード番号と画素位置を基に前記データのシフト操作をするかどうかを判断し、保持している前記参照画素のデータをシフトすることを特徴とする付記８から１０いずれかに記載の予測画像生成方法。
（付記１２）
２つのセレクタによりそれぞれ選択された前記必要参照画素が前記予測画素の生成に用いられることを特徴とする付記８から１０いずれかに記載の予測画像生成方法。
（付記１３）
保持している前記予測画素のシフト操作を行うことにより前記予測画素を並び替えて前記予測画像を生成することを特徴とする付記８から１２いずれかに記載の予測画像生成方法。
（付記１４）
複数、備えられた予測画素を生成する回路にそれぞれ対応した記憶素子に前記予測画素をそれぞれ保持し、前記記憶素子のシフト操作をそれぞれ独立に制御することを特徴とする付記１３に記載の予測画像生成方法。
本発明は、動画像符号化において画面内予測を行うシステムや回路等に適用することができる。また、本発明は、画面内予測を用いた静止画の圧縮符号化等に適用することもできる。
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
この出願は、２０１４年１０月３１日に出願された日本出願特願２０１４−２２２７４７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１ 記憶手段
２ 選択手段
３ 予測画素生成手段
４ 並び替えバッファ手段
１０ 画面内予測画像生成装置
１１ 記憶部
１２ 選択信号生成処理部
１３ 選択部
１４ 予測画素生成処理部
１５ 並び替えバッファ部
１６ 並び替えバッファ制御部
２０ 画面内予測画像生成装置
２１ 記憶部
２２ 選択信号生成処理部
２３ 選択部
２４ 予測画素生成処理部
２５ 並び替えバッファ部
２６ 並び替えバッファ制御部
３０ 画面内予測画像生成回路
３１ 記憶装置
３２ 選択信号生成処理回路
３３ 選択回路
３４ 予測画素生成処理回路
３５ 並び替え記憶装置
３６ 並び替え記憶装置制御回路
３７ セレクタ
３８ セレクタ
４０ 画面内予測画像生成回路
４１ 記憶装置
４２ 選択信号生成処理回路
４３ 選択回路
４４ 予測画素生成処理回路
４５ 並び替え記憶装置
４６ 並び替え記憶装置制御回路
５１ 記憶装置制御部
５２ データシフト付記憶部
６１ シフトレジスタ制御回路
６２ シフトレジスタ
６３ セレクタ
６４ セレクタ
１０１ 変換部
１０２ 量子化部
１０３ エントロピー符号化部
１０４ 逆変換／逆量子化部
１０５ バッファ
１０６ 予測部
１０７ 最適予測モード決定部
Ｓ１１ 参照画素信号
Ｓ１２ 選択信号
Ｓ１３ 必要参照画素信号
Ｓ１４ 予測画素信号
Ｓ１５ 並び替え制御信号
Ｓ２１ 参照画素信号
Ｓ２２ 選択信号
Ｓ２３ 必要参照画素信号
Ｓ２４ 予測画素信号
Ｓ２５ 並び替え制御信号
Ｓ３１ 参照画素信号
Ｓ３２ 選択信号
Ｓ３３ 必要参照画素信号
Ｓ３４ 予測画素信号
Ｓ３５ 並び替え制御信号
Ｓ４１ 参照画素信号
Ｓ４２ 選択信号
Ｓ４３ 必要参照画素信号
Ｓ４４ 予測画素信号
Ｓ４５ 並び替え制御信号
Ｓ５１ 記憶装置制御信号
Ｓ６１ シフトレジスタ制御信号

Claims (14)

  1. 複数の参照画素を保持する記憶手段と、
    モード番号と画素位置を基に、画面内の予測画像の生成に用いる前記参照画素を必要参照画素として選択する選択手段と
    前記必要参照画素を基に複数の前記予測画素を並列処理で生成する予測画素生成手段と、
    前記予測画素生成手段が生成した前記予測画素を、モード番号を基に並び替えて前記予測画像を生成する並び替えバッファ手段と、
    を備えることを特徴とする予測画像生成装置。
  2. 複数の前記予測画素生成手段を備え、
    前記複数の予測画素生成手段は同一の前記必要参照画素を用いて前記予測画素をそれぞれ生成することを特徴とする請求項１に記載の予測画像生成装置。
  3. 複数の前記予測画素生成手段は、それぞれ異なる所定の係数を受け付け、前記所定の係数を基に前記予測画素を生成することを特徴とする請求項１または２いずれかに記載の予測画像生成装置。
  4. 前記記憶手段は、保持している前記参照画素のデータをシフトする手段と、モード番号と画素位置を基に前記データのシフト操作をするかどうかを判断する手段とをさらに備えることを特徴とする請求項１から３いずれかに記載の予測画像生成装置。
  5. 前記選択手段は、２つのセレクタを備え、前記セレクタによりそれぞれ選択された前記必要参照画素が前記予測画素生成手段に入力されることを特徴とする請求項１から３いずれかに記載の予測画像生成装置。
  6. 前記並び替えバッファ手段は、保持している前記予測画素をシフトするバッファ記憶手段をさらに備え、シフト操作を行うことにより前記予測画素を並び替えて前記予測画像を生成することを特徴とする請求項１から５いずれかに記載の予測画像生成装置。
  7. 前記並び替えバッファ手段は、複数、備えられた予測画素生成手段と同数の前記バッファ記憶手段を備え、前記バッファ記憶手段はそれぞれ独立に制御されることを特徴とする請求項６に記載の予測画像生成装置。
  8. 複数の参照画素を保持し、
    モード番号と画素位置を基に、画面内の予測画像の生成に用いる前記参照画素を必要参照画素として選択し、
    前記必要参照画素を基に複数の前記予測画素を並列処理で生成し、
    生成した前記予測画素を、モード番号を基に並び替えて前記予測画像を生成することを特徴とする予測画像生成方法。
  9. 同一の前記必要参照画素を用いて前記予測画素をそれぞれ生成することを特徴とする請求項８に記載の予測画像生成方法。
  10. それぞれ異なる所定の係数を受け付け、前記所定の係数を基に前記予測画素を生成することを特徴とする請求項８または９いずれかに記載の予測画像生成方法。
  11. モード番号と画素位置を基に前記データのシフト操作をするかどうかを判断し、保持している前記参照画素のデータをシフトすることを特徴とする請求項８から１０いずれかに記載の予測画像生成方法。
  12. ２つのセレクタによりそれぞれ選択された前記必要参照画素が前記予測画素の生成に用いられることを特徴とする請求項８から１０いずれかに記載の予測画像生成方法。
  13. 保持している前記予測画素のシフト操作を行うことにより前記予測画素を並び替えて前記予測画像を生成することを特徴とする請求項８から１1いずれかに記載の予測画像生成方法。
  14. 複数、備えられた予測画素を生成する回路にそれぞれ対応した記憶素子に前記予測画素をそれぞれ保持し、前記記憶素子のシフト操作をそれぞれ独立に制御することを特徴とする請求項１３に記載の予測画像生成方法。
JP2016556201A 2014-10-31 2015-10-20 予測画像生成装置および予測画像生成方法 Active JP6589878B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014222747 2014-10-31
JP2014222747 2014-10-31
PCT/JP2015/005273 WO2016067557A1 (ja) 2014-10-31 2015-10-20 予測画像生成装置および予測画像生成方法

Publications (2)

Publication Number Publication Date
JPWO2016067557A1 true JPWO2016067557A1 (ja) 2017-08-17
JP6589878B2 JP6589878B2 (ja) 2019-10-16

Family

ID=55856924

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016556201A Active JP6589878B2 (ja) 2014-10-31 2015-10-20 予測画像生成装置および予測画像生成方法

Country Status (3)

Country Link
US (1) US20170318305A1 (ja)
JP (1) JP6589878B2 (ja)
WO (1) WO2016067557A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11611757B2 (en) * 2018-04-02 2023-03-21 Qualcomm Incorproated Position dependent intra prediction combination extended with angular modes
CA3113787C (en) 2018-12-25 2024-02-13 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Decoding prediction method, apparatus and computer storage medium which use reference samples adjacent to at least one side of decoding block

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4571069B2 (ja) * 2005-11-28 2010-10-27 三菱電機株式会社 動画像符号化装置
JP5195674B2 (ja) * 2009-07-13 2013-05-08 富士通株式会社 画像符号化装置
JP2012028858A (ja) * 2010-07-20 2012-02-09 Sony Corp 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
US20170318305A1 (en) 2017-11-02
WO2016067557A1 (ja) 2016-05-06
JP6589878B2 (ja) 2019-10-16

Similar Documents

Publication Publication Date Title
US11659165B2 (en) Video coding device and method using determined intra prediction mode based on upper boundary
US20240098277A1 (en) Video signal processing method and device
US10582215B2 (en) Inter prediction method and apparatus in video coding system
KR20220104140A (ko) 쿼드 트리를 이용한 블록 정보 부/복호화 방법 및 이러한 방법을 사용하는 장치
US9503715B2 (en) Constrained intra prediction in video coding
KR970003102B1 (ko) 영상 복호기에서의 하프 픽셀 움직임 보상 회로
JP2017069971A (ja) インタ予測方法及びその装置
CN111937394A (zh) 用角度模式扩展的位置相关帧内预测组合
CN113950836A (zh) 基于矩阵的帧内预测的上下文确定
US10284851B2 (en) Method of determining binary codewords for transform coefficients
CN113875233A (zh) 使用上采样的基于矩阵的帧内预测
JP5115498B2 (ja) 画像符号化装置、画像符号化制御方法およびプログラム
CN112703738A (zh) 针对信号增强编码的上采样
JP2013146038A (ja) 画像量子化装置、画像量子化方法及びプログラム、画像逆量子化装置、画像逆量子化方法及びプログラム
JP6589878B2 (ja) 予測画像生成装置および予測画像生成方法
US20240357121A1 (en) Tracking sample completion in video coding
JP5323252B2 (ja) 動画像符号化方法、復号化方法、符号化装置および復号化装置
JP6187826B2 (ja) 動画像符号化装置及び動画像符号化方法
US10230982B2 (en) Image encoding apparatus and method, and image decoding apparatus and method
US20160014415A1 (en) Method and apparatus for performing wave-front parallel encoding procedure with constraint on coding mode and/or quantization parameter selection
CN114026867B (zh) 分辨率自适应视频编解码
WO2020184263A1 (ja) 画像復号装置、画像復号方法及びプログラム
JP2016195370A (ja) 画像処理装置、画像処理方法及びプログラム
JP2022537173A (ja) 位置依存イントラ予測コンビネーションを用いたピクチャ符号化及び復号の方法及びデバイス
JP2010276686A (ja) 画像制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190902

R150 Certificate of patent or registration of utility model

Ref document number: 6589878

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150