JPWO2018070267A1 - 画像処理装置および画像処理方法 - Google Patents

Abstract

本開示は、イントラ予測を拡張して予測精度を向上させる場合に、符号化処理のオーバーヘッドを軽減することができるようにする画像処理装置および画像処理方法に関する。選択部は、カレントブロックとの距離が同一である画素群をラインとし、カレントブロックに最も近いラインである１番のラインを参照するときのイントラ予測モードである基本イントラ予測モードと、１番以降のラインを参照するときのイントラ予測モードである拡張イントラ予測モードとから、カレントブロックのイントラ予測時に参照するラインである参照ラインとイントラ予測モードを選択する。拡張イントラ予測モードは、基本イントラ予測モードの一部である。本開示は、例えば、画像符号化装置等に適用することができる。

Description

本開示は、画像処理装置および画像処理方法に関し、特に、イントラ予測を拡張して予測精度を向上させる場合に、符号化処理のオーバーヘッドを軽減することができるようにした画像処理装置および画像処理方法に関する。

HEVC（High Efficiency Video Coding）では、０番のラインが、イントラ予測において参照される。なお、本明細書において、ラインとは、現在の処理対象のブロックであるカレントブロックとの距離が同一である画素群である。また、ライン番号は、ラインに固有の番号であり、カレントブロックごとに、そのカレントブロックに近いラインから順に０から付与される。

これに対して、ITU-T(International Telecommunication Union Telecommunication Standardization Sector)の次世代ビデオ符号化を探索するJVET（Joint Video Exploration Team）では、イントラ予測において参照されるライン（以下、参照ラインという）の候補を０乃至３番のラインに拡張することが提案されている（例えば、非特許文献１および非特許文献２参照）。

非特許文献１に記載されている発明では、イントラ予測モードが、Planar予測モードおよびDC予測モード以外の参照方向を示すイントラ予測モードである場合にのみ、参照ラインの候補が０乃至３番のラインに拡張される。非特許文献２に記載されている発明では、全てのイントラ予測モードにおいて、参照ラインの候補が０乃至３番のラインに拡張される。

また、JVETでは、イントラ予測モードの候補を、３５個のイントラ予測モードから６７個のイントラ予測モードに拡張することも提案されている。

以上のように、イントラ予測において参照ラインやイントラ予測モードの候補を拡張する場合、予測精度は向上する。

Yao-Jen Chang, Po-Han Lin, Chun-Lung, "Arbitrary reference tier for intra directional modes" , JVET-C0043,26 May - 1 June 2016 Jiahao Li, "Multiple line-based intra prediction", JVET-C0071 26 May - 1 June 2016

しかしながら、参照ラインやイントラ予測モードの候補数が増加するため、符号化処理において行われる、RDO（Rate-Distortion Optimization）等に基づいて参照ラインやイントラ予測モードを選択する処理の負荷が増加する。従って、符号化処理の負荷、符号化処理に要する時間などの符号化処理のオーバーヘッドが増加する。

本開示は、このような状況に鑑みてなされたものであり、イントラ予測を拡張して予測精度を向上させる場合に、符号化処理のオーバーヘッドを軽減することができるようにするものである。

本開示の第１の側面の画像処理装置は、カレントブロックとの距離が同一である画素群をラインとし、前記カレントブロックに最も近いラインである第１のラインを参照するときのイントラ予測モードである第１のイントラ予測モードと、前記第１のライン以外のラインである第２のラインを参照するときのイントラ予測モードである第２のイントラ予測モードとから、前記カレントブロックのイントラ予測時に参照するラインである参照ラインとイントラ予測モードを選択する選択部と、前記選択部により選択された前記参照ラインと前記イントラ予測モードに基づいて、前記カレントブロックに対して前記イントラ予測を行う予測部とを備え、前記第２のイントラ予測モードは、前記第１のイントラ予測モードの一部であるように構成された画像処理装置である。

本開示の第１の側面の画像処理方法は、本開示の第１の側面の画像処理装置に対応する。

本開示の第１の側面においては、カレントブロックとの距離が同一である画素群をラインとし、前記カレントブロックに最も近いラインである第１のラインを参照するときのイントラ予測モードである第１のイントラ予測モードと、前記第１のライン以外のラインである第２のラインを参照するときのイントラ予測モードである第２のイントラ予測モードとから、前記カレントブロックのイントラ予測時に参照するラインである参照ラインとイントラ予測モードが選択され、選択された前記参照ラインと前記イントラ予測モードに基づいて、前記カレントブロックに対して前記イントラ予測が行われる。なお、前記第２のイントラ予測モードは、前記第１のイントラ予測モードの一部である。

本開示の第２の側面の画像処理装置は、イントラ予測の拡張が、イントラ予測モードが示す参照方向の拡張であるか、または、カレントブロックとの距離が同一である画素群をラインとしたときの、前記カレントブロックの前記イントラ予測において参照するラインである参照ラインの拡張であるかを示す拡張情報に基づいて、前記カレントブロックに対して前記イントラ予測を行う予測部を備える画像処理装置である。

本開示の第２の側面の画像処理方法は、本開示の第２の側面の画像処理装置に対応する。

本開示の第２の側面においては、イントラ予測の拡張が、イントラ予測モードが示す参照方向の拡張であるか、または、カレントブロックとの距離が同一である画素群をラインとしたときの、前記カレントブロックの前記イントラ予測において参照するラインである参照ラインの拡張であるかを示す拡張情報に基づいて、前記カレントブロックに対して前記イントラ予測が行われる。

なお、第１の側面および第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。

また、第１の側面および第２の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本開示の第１および第２の側面によれば、イントラ予測を拡張して予測精度を向上させる場合に、符号化処理のオーバーヘッドを軽減することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

CUの形成方法を説明する図である。 本開示を適用した画像処理装置としての画像符号化装置の第１実施の形態の構成例を示すブロック図である。 参照ラインの候補となるラインを説明する図である。 基本イントラ予測モードの例を示す図である。 拡張イントラ予測モードの第１の例を示す図である。 拡張イントラ予測モードの第２の例を説明する図である。 ライン番号のシンタックス値の符号化後のビット列の例を示す図である。 画像符号化処理を説明するフローチャートである。 本技術を適用した画像処理装置としての画像復号装置の第１実施の形態の構成例を示すブロック図である。 画像復号処理を説明するフローチャートである。 拡張フラグと角度イントラ予測モードおよび参照ラインの候補との関係の例を示す図である。 HEVCにおける３５個のイントラ予測モードを示す図である。 コンピュータのハードウエアの構成例を示すブロック図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。 ビデオセットの概略的な構成の一例を示すブロック図である。 ビデオプロセッサの概略的な構成の一例を示すブロック図である。 ビデオプロセッサの概略的な構成の他の例を示すブロック図である。 ネットワークシステムの概略的な構成の一例を示すブロック図である。

以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：画像符号化装置および画像復号装置（図１乃至図１０）
２．第２実施の形態：画像符号化装置および画像復号装置（図１１および図１２）
３．第３実施の形態：コンピュータ（図１３）
４．第４実施の形態：テレビジョン装置（図１４）
５．第５実施の形態：携帯電話機（図１５）
６．第６実施の形態：記録再生装置（図１６）
７．第７実施の形態：撮像装置(図１７)
８．第８実施の形態：ビデオセット（図１８乃至図２０）
９．第９実施の形態：ネットワークシステム（図２１）

＜第１実施の形態＞
（CUの形成方法の説明）
MPEG2（Moving Picture Experts Group 2(ISO/IEC 13818-2)）やMPEG-4 Part10 （Advanced Video Coding、以下AVCと記す）などの旧来の画像符号化方式では、符号化処理は、マクロブロックと呼ばれる処理単位で実行される。マクロブロックは、16x16画素の均一なサイズを有するブロックである。これに対し、HEVCでは、符号化処理は、CU（Coding Unit）と呼ばれる処理単位（符号化単位）で実行される。CUは、最大符号化単位であるLCU（Largest Coding Unit）を再帰的に分割することにより形成される、可変的なサイズを有するブロックである。選択可能なCUの最大サイズは、64x64画素である。選択可能なCUの最小サイズは、8x8画素である。最小サイズのCUは、SCU（Smallest Coding Unit）と呼ばれる。なお、CUの最大サイズは、64x64画素に限定されず、より大きい128x128画素、256x256画素などのブロックサイズとしてもよい。

このように、可変的なサイズを有するCUが採用される結果、HEVCでは、画像の内容に応じて画質及び符号化効率を適応的に調整することが可能である。予測符号化のための予測処理は、PU（Prediction Unit）と呼ばれる処理単位で実行される。PUは、CUをいくつかの分割パターンのうちの１つで分割することにより形成される。また、PUは、輝度(Y)及び色差(Cb,Cr)毎のPB(Prediction Block)と呼ばれる処理単位から構成される。さらに、直交変換処理は、TU（Transform Unit）と呼ばれる処理単位で実行される。TUは、CU又はPUをある深さまで分割することにより形成される。また、TUは、輝度(Y)及び色差(Cb, Cr)毎のTB(Transform Block)と呼ばれる処理単位（変換ブロック）ら構成される。

以下においては、画像（ピクチャ）の部分領域や処理単位として「ブロック」を用いて説明する場合がある（処理部のブロックではない）。この場合の「ブロック」は、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。つまり、この場合の「ブロック」には、例えば、TB、TU、PB、PU、SCU、CU、LCU（CTB）、サブブロック、マクロブロック、タイル、またはスライス等、任意の部分領域（処理単位）が含まれるものとする。

図１は、CUの形成方法を説明する図である。

第１実施の形態におけるCUは、JVET-C0024, “EE2.1: Quadtree plus binary tree structure integration with JEM tools”に記載されているQTBT(Quad tree plus binary tree)と呼ばれる技術で形成される。

具体的には、HEVCでは、１つのブロックを４（=2x2）個に分割することによりCUが形成されるが、第１実施の形態では、１つのブロックを４（=2x2）個または２（=1x2,2x1）個に分割することによりCUが形成される。即ち、第１実施の形態では、CUの形成は、１つのブロックの４個または２個のサブブロックへの分割を再帰的に繰り返すことにより行われ、結果として四分木（Quad-Tree）状、または、二分木（Binary-Tree）状のツリー構造が形成される。なお、第１実施の形態では、PUとTUは、CUと同一である。

（画像符号化装置の構成例）
図２は、本開示を適用した画像処理装置としての画像符号化装置の第１実施の形態の構成例を示すブロック図である。図２の画像符号化装置１００は、AVCやHEVCのように、画像とその予測画像との予測残差を符号化する装置である。例えば、画像符号化装置１００は、HEVCの技術や、JVETにて提案された技術を実装している。

なお、図２においては、処理部やデータの流れ等の主なものを示しており、図２に示されるものが全てとは限らない。つまり、画像符号化装置１００において、図２においてブロックとして示されていない処理部が存在したり、図２において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

図２の画像符号化装置１００は、制御部１０１、演算部１１１、変換部１１２、量子化部１１３、符号化部１１４、逆量子化部１１５、逆変換部１１６、演算部１１７、フレームメモリ１１８、および予測部１１９を有する。画像符号化装置１００は、入力されるフレーム単位の動画像であるピクチャに対してCUごとに符号化を行う。

具体的には、画像符号化装置１００の制御部１０１は、選択部１０１Ａと設定部１０１Ｂにより構成される。制御部１０１の選択部１０１Ａは、RDO等に基づいて、符号化パラメータ（ヘッダ情報Hinfo、予測情報Pinfo、変換情報Tinfo等）の一部を選択する。設定部１０１Ｂは、選択部１０１Ａにより選択された符号化パラメータの一部を設定し、外部からの入力等に基づいて符号化パラメータの他部を設定する。

具体的には、ヘッダ情報Hinfoは、例えば、ビデオパラメータセット（VPS（Video Parameter Set））、シーケンスパラメータセット（SPS（Sequence Parameter Set））、ピクチャパラメータセット（PPS（Picture Parameter Set））、スライスヘッダ（SH）等の情報を含む。例えば、ヘッダ情報Hinfoには、画像サイズ（横幅PicWidth、縦幅PicHeight）、ビット深度（輝度bitDepthY, 色差bitDepthC）、CUサイズの最大値MaxCUSize／最小値MinCUSizeなどを規定する情報が含まれる。もちろん、ヘッダ情報Hinfoの内容は任意であり、上述した例以外のどのような情報がこのヘッダ情報Hinfoに含まれるようにしてもよい。設定部１０１Ｂは、外部からの入力等に基づいてヘッダ情報を設定する。

また、予測情報Pinfoには、例えば、PU（CU）の予測モードがイントラ予測モードであるか、または、インター予測モードであるかを示す予測モード情報、PBのサイズ等が含まれる。また、PUの予測モードがイントラ予測モードである場合、予測情報Pinfoには、PUのイントラ予測モードを示すイントラ予測モード情報としてのイントラ予測モード番号、PUの参照ラインを示す参照ライン情報としてのライン番号等が含まれる。イントラ予測モード番号は、イントラ予測モードに固有の番号である。

一方、PUの予測モードがインター予測モードである場合、予測情報Pinfoには、動きベクトル等が含まれる。もちろん、予測情報Pinfoの内容は任意であり、上述した例以外のどのような情報がこの予測情報Pinfoに含まれるようにしてもよい。

選択部１０１Ａは、RDOに基づいてモード情報とPBのサイズを選択し、設定部１０１Ｂは、選択されたモード情報とPBのサイズを設定する。また、モード情報としてイントラ予測モードを示す情報が選択される場合、選択部１０１Ａは、RDOに基づいて、ライン番号が０であるラインの基本イントラ予測モードとライン番号が１以降である各ラインの拡張イントラ予測モードとから、参照ラインとイントラ予測モードを選択する。

基本イントラ予測モード（第１のイントラ予測モード）とは、第１実施の形態において０番のラインを参照ラインとするときのイントラ予測モードである。拡張イントラ予測モード（第２のイントラ予測モード）とは、第１実施の形態において１番以降の各ラインを参照ラインとするときのイントラ予測モードであり、基本イントラ予測モードの一部である。

設定部１０１Ｂは、選択されたイントラ予測モードのイントラ予測モード番号を設定する。また、選択されたイントラ予測モードが、基本イントラ予測モードと拡張イントラ予測モードに共通するイントラ予測モードである場合、設定部１０１Ｂは、選択された参照ラインのライン番号を設定する。

一方、モード情報としてインター予測モードを示す情報が選択される場合、選択部１０１Ａは、RDOに基づいて動きベクトルを選択する。設定部１０１Ｂは、選択された動きベクトルを設定する。

変換情報Tinfoには、TBのサイズを示す情報であるTBサイズTBSizeなどが含まれる。もちろん、変換情報Tinfoの内容は任意であり、上述した例以外のどのような情報がこの変換情報Tinfoに含まれるようにしてもよい。選択部１０１Ａは、RDOに基づいてTBサイズTBSizeなどを選択し、設定部１０１Ｂは、選択されたTBサイズTBSizeなどを設定する。

選択部１０１Ａは、設定された符号化パラメータに基づいて、画像符号化装置１００に入力されるピクチャをCU（PU,TU）に分割し、分割されたCU（PU,TU）を順に符号化対象のCU（PU,TU）に設定する。選択部１０１Ａは、符号化対象のCU（PU,TU）の画像Ｉを演算部１１１に供給する。

また、設定部１０１Ｂは、設定された符号化パラメータを各ブロックへ供給する。例えば、設定部１０１Ｂは、ヘッダ情報Hinfoを各ブロックへ供給する。また、設定部１０１Ｂは、予測情報Pinfoを予測部１１９と符号化部１１４に供給し、変換情報Tinfoを変換部１１２、量子化部１１３、符号化部１１４、逆量子化部１１５、および逆変換部１１６に供給する。

演算部１１１は、画像Iから、予測部１１９から供給された、その画像Ｉに対応するPUの予測画像Ｐを減算して予測残差Ｄを求め、それを変換部１１２に供給する。

変換部１１２は、設定部１０１Ｂから供給される変換情報Tinfoに基づいて、演算部１１１から供給される予測残差Ｄに対して直交変換等を行い、変換係数Coeffを導出する。変換部１１２は、変換係数Coeffを量子化部１１３に供給する。

量子化部１１３は、設定部１０１Ｂから供給される変換情報Tinfoに基づいて、変換部１１２から供給される変換係数Coeffをスケーリング（量子化）し、量子化変換係数レベルlevelを導出する。量子化部１１３は、量子化変換係数レベルlevelを符号化部１１４および逆量子化部１１５に供給する。

符号化部１１４は、量子化部１１３から供給される量子化変換係数レベルlevelと設定部１０１Ｂから供給される符号化パラメータを所定の方法で符号化する。例えば、符号化部１１４は、シンタックステーブルの定義に沿って、符号化パラメータと量子化変換係数レベルlevelを、各シンタックス要素のシンタックス値へ変換する。そして、符号化部１１４は、各シンタックス値を符号化（例えば、CABAC(Context-based Adaptive Binary Arithmetic Coding)等の算術符号化、unary符号化等）する。

符号化部１１４は、例えば、符号化の結果得られる各シンタックス値のビット列である符号化データを多重化し、符号化ストリームとして出力する。

逆量子化部１１５は、設定部１０１Ｂから供給される変換情報Tinfoに基づいて、量子化部１１３から供給される量子化変換係数レベルlevelの値をスケーリング（逆量子化）し、逆量子化後の変換係数Coeff_IQを導出する。逆量子化部１１５は、その変換係数Coeff_IQを逆変換部１１６に供給する。この逆量子化部１１５により行われる逆量子化は、量子化部１１３により行われる量子化の逆処理である。

逆変換部１１６は、設定部１０１Ｂから供給される変換情報Tinfoに基づいて、逆量子化部１１５から供給される変換係数Coeff_IQに対して逆直交変換等を行い、予測残差Ｄ’を導出する。逆変換部１１６は、その予測残差Ｄ’を演算部１１７に供給する。この逆変換部１１６により行われる逆直交変換は、変換部１１２により行われる直交変換の逆処理である。

演算部１１７は、逆変換部１１６から供給される予測残差Ｄ’と、予測部１１９より供給される、その予測残差Ｄ’に対応するPUの予測画像Ｐとを加算して局所的な復号画像Recを導出する。演算部１１７は、その局所的な復号画像Recをフレームメモリ１１８に供給する。

フレームメモリ１１８は、演算部１１７より供給される局所的な復号画像Recを用いてピクチャ単位の復号画像を再構築し、フレームメモリ１１８内のバッファへ格納する。フレームメモリ１１８は、予測部１１９により指定される復号画像を参照画像としてバッファより読み出し、予測部１１９に供給する。また、フレームメモリ１１８は、復号画像の生成に係るヘッダ情報Hinfo、予測情報Pinfo、変換情報Tinfoなどを、フレームメモリ１１８内のバッファに格納するようにしても良い。

予測部１１９は、設定部１０１Ｂから供給される予測情報Pinfoに基づいて、フレームメモリ１１８に格納された復号画像を参照画像として取得し、その参照画像を用いて符号化対象のPU（カレントブロック）に対して、イントラ予測またはインター予測を行う。予測部１１９は、予測処理の結果生成される予測画像Ｐを演算部１１１や演算部１１７に供給する。

（参照ラインの候補となるラインの説明）
図３は、参照ラインの候補となるラインを説明する図である。

図３において、最も小さい正方形は画素を表している。また、図３の例では、カレントブロック１３０のサイズは４画素（横）×４画素（縦）である。

この場合、カレントブロック１３０との距離が１画素である、カレントブロック１３０の上の８画素、左の８画素、および左上の１画素の合計１７画素が、０番のライン１４０である。

また、カレントブロック１３０との距離が２画素である、カレントブロック１３０の上の８画素、左の８画素、および左上の３画素の合計１９画素が、１番のライン１４１である。

さらに、カレントブロック１３０との距離が３画素である、カレントブロック１３０の上の８画素、左の８画素、および左上の５画素の合計２１画素が、２番のライン１４２である。

また、カレントブロック１３０との距離が４画素である、カレントブロック１３０の上の８画素、左の８画素、および左上の７画素の合計２３画素が、３番のライン１４３とである。

第１実施の形態では、参照ラインの候補数は４である。従って、以上のように構成されるライン１４０乃至１４３が、カレントブロック１３０の参照ラインの候補となる。

（基本イントラ予測モードの例）
図４は、基本イントラ予測モードの例を示す図である。

図４の基本イントラ予測モードは、JVETで提案されている６７個のイントラ予測モードである。具体的には、イントラ予測モード番号が０である基本イントラ予測モードは、Planar予測モードであり、イントラ予測モード番号が１である基本イントラ予測モードは、DC予測モードである。

また、イントラ予測モード番号が２乃至６６である６５個のイントラ予測モードは、それぞれ、異なる角度の参照方向を示すイントラ予測モード（以下、角度イントラ予測モードという）である。

図４では、カレントブロック１６０の各角度イントラ予測モードが示す参照方向が、カレントブロック１６０の中心から予測に用いられる仮想の画素の位置へ向かう矢印で示されている。また、一部の矢印の先には、その矢印に対応する角度イントラ予測モードのイントラ予測モード番号が記載されている。このことは、後述する図５および図１２においても同様である。

（拡張イントラ予測モードの第１の例）
図５は、拡張イントラ予測モードの第１の例を示す図である。

図５に示すように、拡張イントラ予測モードは、水平方向、垂直方向、および斜め方向を参照方向として示すイントラ予測モードを含むように、基本イントラ予測モードの角度イントラ予測モードを所定数おきに選択したものとすることができる。

具体的には、図５のＡに示すように、拡張イントラ予測モードは、例えば、６７個の基本イントラ予測モードのうちの６５個の角度イントラ予測モードを１つおきに選択した３３個のイントラ予測モードからなるようにすることができる。この３３個の拡張イントラ予測モードのイントラ予測モード番号は、2,4,6,...,66である。また、この３３個の拡張イントラ予測モードが示す参照方向は、HEVCの角度イントラ予測モードが示す参照方向と同一である。

また、図５のＢに示すように、拡張イントラ予測モードは、例えば、６７個の基本イントラ予測モードのうちの６５個の角度イントラ予測モードを３個おきに選択した１７個のイントラ予測モードからなるようにすることができる。この１７個の拡張イントラ予測モードのイントラ予測モード番号は、2,6,10,...,66である。

また、図５のＣに示すように、拡張イントラ予測モードは、例えば、６７個の基本イントラ予測モードのうちの６５個の角度イントラ予測モードを７個おきに選択した９個のイントラ予測モードからなるようにすることができる。この９個の拡張イントラ予測モードのイントラ予測モード番号は、2,10,18,...,66である。

また、図５のＤに示すように、拡張イントラ予測モードは、例えば、６７個の基本イントラ予測モードのうちの６５個の角度イントラ予測モードを１５個おきに選択した５個のイントラ予測モードからなるようにすることができる。この５個の拡張イントラ予測モードのイントラ予測モード番号は、2,18,34,50,66である。

図５のＡ乃至図５のＤの拡張イントラ予測モードには、水平方向（HOR）を参照方向として示す、イントラ予測モード番号が１８であるイントラ予測モードが含まれている。また、図５のＡ乃至図５のＤの拡張イントラ予測モードには、垂直方向（VER）を参照方向として示す、イントラ予測モード番号が５０であるイントラ予測モードが含まれている。さらに、図５のＡ乃至図５のＤの拡張イントラ予測モードには、左斜め下方向（Bottom-Left）、左斜め上方向（Top-Left）、右斜め上方向（Top-Right）を参照方向として示す、イントラ予測モード番号が、２，３４，６６であるイントラ予測モードが含まれている。

以上のように、拡張イントラ予測モードの数は、基本イントラ予測モードの数に比べて少ない。従って、全てのラインの基本イントラ予測モードから参照ラインとイントラ予測モードを選択する場合に比べて、参照ラインとイントラ予測モードを選択する処理の負荷を軽減することができる。

また、本出願人の実験により、RDOに基づいてどのラインが参照ラインとして選択されたときであっても、RDOに基づいて選択されるイントラ予測モードが、水平方向、垂直方向、および斜め方向を参照方向として示すイントラ予測モードである確率が高いことがわかっている。従って、図５のＡ乃至図５のＤに示すように、拡張イントラ予測モードに水平方向、垂直方向、および斜め方向を参照方向として示すイントラ予測モードを含めることにより、選択されるイントラ予測モードの適性を向上させることができる。その結果、ライン番号が１番以降であるラインのイントラ予測モードの候補を、基本イントラ予測モードから拡張イントラ予測モードに削減することにより発生する予測精度の劣化を抑制することができる。

（拡張イントラ予測モードの第２の例）
図６は、拡張イントラ予測モードの第２の例を説明する図である。

図６の例では、カレントブロック１８０の拡張イントラ予測モードは、カレントブロック１８０のMPM（Most Probable Mode）である。

カレントブロック１８０のMPMには、カレントブロック１８０の左のPUであるブロックＬ、上のPUであるブロックＡ、左下のPUであるブロックＢＬ、右上のPUであるブロックＡＲ、および左上のPUであるブロックＡＬのイントラ予測モード、planar予測モード、並びにDC予測モードが、重複しないように、優先順位の高い方から順に６個まで登録される。

優先順位は、高い方から順に、ブロックＬのイントラ予測モード、ブロックＡのイントラ予測モード、planar予測モード、DC予測モード、ブロックＢＬのイントラ予測モード、ブロックＡＲのイントラ予測モード、ブロックＡＬのイントラ予測モードである。

以上のようにしてカレントブロック１８０のMPMに登録されたイントラ予測モードの数が６未満である場合、MPMには、既にMPMに登録されている角度イントラ予測モードよりイントラ予測モード番号が１つだけ大きいまたは小さいものが追加登録される。その結果得られるカレントブロック１８０のMPMに登録されたイントラ予測モードの数が６未満である場合、MPMには、まだ登録されていない、垂直方向、水平方向、斜め方向を参照方向として示すイントラ予測モードが順に追加登録される。

以上のように、図６の例では、カレントブロック１８０の拡張イントラ予測モードがカレントブロック１８０のMPMであるので、拡張イントラ予測モードは、PU(CU)ごとに異なる。

また、カレントブロック１８０のMPMがカレントブロック１８０のイントラ予測モードとして選択される確率は高い。従って、カレントブロック１８０の拡張イントラ予測モードをカレントブロック１８０のMPMにすることにより、ライン番号が１番以降であるラインのイントラ予測モードの候補を、基本イントラ予測モードから拡張イントラ予測モードに削減することにより発生する予測精度の劣化を抑制することができる。

なお、第１実施の形態では、拡張イントラ予測モードは、角度イントラ予測モードのみからなるものとするが、Planar予測モードとDC予測モードを含むようにしてもよい。

（ライン番号のシンタックス値の符号化後のビット列）
図７は、ライン番号のシンタックス値の符号化後のビット列の例を示す図である。

図７に示すように、ライン番号が０乃至３である場合、符号化前のライン番号のシンタックス値は０乃至３である。符号化部１１４は、このライン番号のシンタックス値をunary符号化する。これにより、符号化前のライン番号のシンタックス値「０」，「１」，「２」，「３」は、それぞれ、符号化後にビット列「０」，「１０」，「１１０」，「１１１」になる。

以上のように、画像符号化装置１００は、カレントブロックとの距離が小さいほど小さくなるようにライン番号を付与し、そのライン番号のシンタックス値をunary符号化する。従って、符号化後のライン番号のシンタックス値のビット列のビット数は、ライン番号が小さいほど、即ち、カレントブロックとの距離が小さく、参照ラインとして選択されやすいほど、少なくなる。よって、符号化後のライン番号のシンタックス値のデータ量を削減することができる。

（画像符号化装置の処理の説明）
図８は、図２の画像符号化装置１００の画像符号化処理を説明するフローチャートである。

図８のステップＳ１００において、制御部１０１の選択部１０１Ａは、RDO等に基づいて、符号化パラメータ（ヘッダ情報Hinfo、予測情報Pinfo、変換情報Tinfo等）の一部を選択する。例えば、選択部１０１Ａは、RDOに基づいてモード情報を選択する。また、選択部１０１Ａは、モード情報としてイントラ予測モードを示す情報を選択する場合、RDOに基づいて、ライン番号が０であるラインの基本イントラ予測モードと、ライン番号が１以降である各ラインの拡張イントラ予測モードとから、参照ラインとイントラ予測モードを選択する。

ステップＳ１０１において、設定部１０１Ｂは、ステップＳ１００の処理により選択された符号化パラメータの一部を設定し、外部からの入力等に基づいて符号化パラメータの他部を設定する。例えば、設定部１０１Ｂは、ステップＳ１００の処理により選択された参照ラインのライン番号やイントラ予測モードのイントラ予測モード番号を予測情報Pinfoに設定する。

ステップＳ１０２において、予測部１１９は、ステップＳ１０１で設定された予測情報Pinfoに基づいて、フレームメモリ１１８に格納された復号画像を参照画像として取得し、その参照画像を用いて符号化対象のPUに対して、イントラ予測またはインター予測を行う。

ステップＳ１０３において、演算部１１１は、入力画像と、ステップＳ１０２の処理の結果生成された予測画像Ｐとの差分を演算する。つまり、演算部１１１は、入力画像と予測画像Ｐとの予測残差Ｄを生成する。このようにして求められた予測残差Ｄは、元の画像データに比べてデータ量が低減される。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。

ステップＳ１０４において、変換部１１２は、ステップＳ１０１の処理により設定された変換情報Tinfoに基づいて、ステップＳ１０３の処理により生成された予測残差Ｄに対して直交変換等を行い、変換係数Coeffを導出する。

ステップＳ１０５において、量子化部１１３は、ステップＳ１０１の処理により設定された変換情報Tinfoに基づいて、ステップＳ１０４の処理により得られた変換係数Coeffを量子化し、量子化変換係数レベルlevelを導出する。

ステップＳ１０６において、逆量子化部１１５は、ステップＳ１０１の処理により設定された変換情報Tinfoに基づいて、ステップＳ１０５の処理により生成された量子化変換係数レベルlevelを、そのステップＳ１０５の量子化の特性に対応する特性で逆量子化する。これにより、逆量子化部１１５は、変換係数Coeff_IQを導出する。

ステップＳ１０７において、逆変換部１１６は、ステップＳ１０１の処理により設定された変換情報Tinfoに基づいて、ステップＳ１０６の処理により得られた変換係数Coeff_IQに対して、ステップＳ１０４の直交変換等に対応する方法で逆直交変換等を行う。これにより、逆変換部１１６は、予測残差Ｄ'を導出する。

ステップＳ１０８において、演算部１１７は、ステップＳ１０７の処理により導出された予測残差Ｄ'に、ステップＳ１０２の処理により得られた予測画像Ｐを加算することにより、局所的に復号された復号画像Recを生成する。

ステップＳ１０９において、フレームメモリ１１８は、ステップＳ１０８の処理により得られた、局所的に復号された復号画像Recを用いてピクチャ単位の復号画像を再構築し、フレームメモリ１１８内のバッファへ記憶する。

ステップＳ１１０において、符号化部１１４は、ステップＳ１０５の処理により得られた量子化変換係数レベルlevelと、ステップＳ１０１により設定された符号化パラメータを符号化する。例えば、符号化部１１４は、符号化パラメータのうちの参照ラインのライン番号をunary符号化する。符号化部１１４は、符号化の結果得られる符号化データを多重化し、符号化ストリームとして画像符号化装置１００の外部に出力する。この符号化ストリームは、例えば、伝送路や記録媒体を介して復号側に伝送される。

ステップＳ１１０の処理が終了すると、画像符号化処理が終了する。

以上のように、画像符号化装置１００は、０番のラインの基本イントラ予測モードと、１番以降の各ラインの拡張イントラ予測モードから、参照ラインとイントラ予測モードを選択する。

従って、参照ラインの候補が０番のラインのみである場合に比べて、予測精度を向上させることができる。また、参照ラインがどのラインであってもイントラ予測モードの候補が基本イントラ予測モードである場合に比べて、参照ラインとイントラ予測モードを選択する処理の負荷を軽減することができる。従って、符号化処理の負荷、符号化処理に要する時間などのオーバーヘッドを軽減することができる。

さらに、画像符号化装置１００は、基本イントラ予測モードと拡張イントラ予測モードで共通するイントラ予測モードが選択された場合にのみ、参照ラインのライン番号を送信する。即ち、基本イントラ予測モードと拡張イントラ予測モードで共通しないイントラ予測モードが選択された場合、参照ラインは必ず０番のラインであるため、ライン番号は送信されない。従って、非特許文献１や２に記載の技術のように、選択されたイントラ予測モードによらず、参照ラインのライン番号を常に送信する場合に比べて、符号化ストリームのデータ量を削減し、符号化効率を向上させることができる。また、画像符号化装置１００および後述する画像復号装置２００の処理量も削減することができる。

（画像復号装置の構成例）
図９は、図２の画像符号化装置１００により生成された符号化ストリームを復号する、本技術を適用した画像処理装置としての画像復号装置の第１実施の形態の構成例を示すブロック図である。図９の画像復号装置２００は、画像符号化装置１００により生成された符号化ストリームを、画像符号化装置１００における符号化方法に対応する復号方法で復号する。例えば、画像復号装置２００は、HEVCに提案された技術や、JVETにて提案された技術を実装している。

なお、図９においては、処理部やデータの流れ等の主なものを示しており、図９に示されるものが全てとは限らない。つまり、画像復号装置２００において、図９においてブロックとして示されていない処理部が存在したり、図９において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

図９の画像復号装置２００は、復号部２１０、選択部２１１、逆量子化部２１２、逆変換部２１３、演算部２１４、フレームメモリ２１５、および予測部２１６を有する。画像復号装置２００は、画像符号化装置１００により生成された符号化ストリームに対してCUごとに復号を行う。

具体的には、画像復号装置２００の復号部２１０は、画像符号化装置１００により生成された符号化ストリームを、符号化部１１４における符号化方法に対応する所定の復号方法で復号する。これにより、復号部２１０は、符号化パラメータ（ヘッダ情報Hinfo、予測情報Pinfo、変換情報Tinfo等）と量子化変換係数レベルlevelを生成する。

復号部２１０は、生成された符号化パラメータに基づいて、復号対象のCU（PU,TU）を設定する。また、復号部２１０は、符号化パラメータを各ブロックへ供給する。例えば、復号部２１０は、予測情報Pinfoを選択部２１１に供給し、変換情報Tinfoを逆量子化部２１２と逆変換部２１３に供給し、ヘッダ情報Hinfoを各ブロックに供給する。復号部２１０は、量子化変換係数レベルlevelを逆量子化部２１２に供給する。

選択部２１１は、復号部２１０から供給される予測情報Pinfoのモード情報に基づいて、イントラ予測モードとインター予測モードから、復号対象のPU(カレントブロック)の予測モードを選択する。

選択部２１１は、復号対象のPUの予測モードとしてイントラ予測モードを選択した場合、予測情報Pinfoのうちのイントラ予測モード番号に基づいて、０番のラインの基本イントラ予測モードと１番以降の各ラインの拡張イントラ予測モードとから、そのイントラ予測モード番号のイントラ予測モードを、復号対象のPUのイントラ予測モードとして選択する。

また、選択部２１１は、予測情報Pinfoのうちのイントラ予測モード番号が、基本イントラ予測モードと拡張イントラ予測モードに共通するイントラ予測モードのイントラ予測モード番号（以下、共通番号という）である場合、予測情報Pinfoのうちのライン番号に基づいて、０乃至４番のラインから、そのライン番号のラインを参照ラインとして選択する。

一方、予測情報Pinfoのうちのイントラ予測モード番号が、共通番号ではない場合、予測情報Pinfoにはライン番号が含まれていないため、選択部２１１は、０乃至４番のラインから０番のラインを参照ラインとして選択する。

また、選択部２１１は、復号対象のPUの予測モードとしてインター予測モードを選択した場合、予測情報Pinfoのうちの動きベクトル等を、復号対象のPUの動きベクトル等として選択する。

選択部２１１は、選択された予測モードと、イントラ予測モードのイントラ予測モード番号および参照ラインのライン番号、または、動きベクトル等とを予測部２１６に供給する。

逆量子化部２１２は、復号部２１０から供給される変換情報Tinfoに基づいて、復号部２１０から供給される量子化変換係数レベルlevelの値をスケーリング（逆量子化）し、変換係数Coeff_IQを導出する。この逆量子化は、画像符号化装置１００の逆量子化部１１５（図２）により行われる逆量子化と同様である。逆量子化部２１２は、変換係数Coeff_IQを逆変換部２１３に供給する。

逆変換部２１３は、復号部２１０から供給される変換情報Tinfoに基づいて、逆量子化部２１２より供給される変換係数Coeff_IQに対して逆直交変換等を行い、予測残差Ｄ’を導出する。この逆直交変換等は、画像符号化装置１００の逆変換部１１６（図２）により行われる逆直交変換等と同様である。逆変換部２１３は、予測残差Ｄ’を演算部２１４に供給する。

演算部２１４は、逆変換部２１３から供給される予測残差Ｄ’とその予測残差Ｄ’に対応する予測画像Ｐとを加算し、局所的な復号画像Recを導出する。演算部２１４は、得られた局所的な復号画像Recを用いてピクチャ単位毎の復号画像を再構築し、得られた復号画像を画像復号装置２００の外部に出力する。また、演算部２１４は、その局所的な復号画像Recをフレームメモリ２１５にも供給する。

フレームメモリ２１５は、演算部２１４より供給される局所的な復号画像Recを用いてピクチャ単位毎の復号画像を再構築し、フレームメモリ２１５内のバッファに格納する。フレームメモリ２１５は、予測部２１６により指定される復号画像を参照画像としてバッファより読み出し、予測部２１６に供給する。また、フレームメモリ２１５は、その復号画像の生成に係るヘッダ情報Hinfo、予測情報Pinfo、変換情報Tinfoなどをフレームメモリ２１５内のバッファに格納するようにしても良い。

予測部２１６は、選択部２１１から供給される予測モードがインター予測モードである場合、カレントブロックとは異なるピクチャの復号画像をフレームメモリ２１５に指定し、フレームメモリ２１５から参照画像として取得する。予測部２１６は、その参照画像を用いて、動きベクトルに基づいてインター予測を行う。予測部２１６は、その結果生成される予測画像Ｐを演算部２１４に供給する。

また、予測部２１６は、選択部２１１から供給される予測モードがイントラ予測モードである場合、カレントブロックと同一のピクチャの復号画像をフレームメモリ２１５に指定し、フレームメモリ２１５から参照画像として取得する。予測部２１６は、その参照画像を用いて、選択部２１１から供給される参照ライン番号とイントラ予測モード番号に基づいてイントラ予測を行う。予測部２１６は、その結果生成される予測画像Ｐを演算部２１４に供給する。

（画像復号装置の処理の説明）
図１０は、図９の画像復号装置２００の画像復号処理を説明するフローチャートである。

図１０のステップＳ２０１において、復号部２１０は、画像復号装置２００に供給される符号化ストリームを復号し、符号化パラメータ（ヘッダ情報Hinfo、予測情報Pinfo、変換情報Tinfo等）と量子化変換係数レベルlevelを得る。

ステップＳ２０２において、逆量子化部２１２は、ステップＳ２０１の処理により得られた量子化変換係数レベルlevelを逆量子化して変換係数Coeff_IQを導出する。この逆量子化は、画像符号化処理のステップＳ１０５（図８）において行われる量子化の逆処理であり、画像符号化処理のステップＳ１０６（図８）において行われる逆量子化と同様の処理である。

ステップＳ２０３において、逆変換部２１３は、ステップＳ２０２の処理により得られた変換係数Coeff_IQに対して逆直交変換等を行い、予測残差Ｄ'を導出する。この逆変換は、画像符号化処理のステップＳ１０４（図８）において行われる変換処理の逆処理であり、画像符号化処理のステップＳ１０７（図８）において行われる逆変換と同様の処理である。

ステップＳ２０４において、選択部２１１は、イントラ予測モードとインター予測モードから、予測情報Pinfoのうちのモード情報が示す予測モードを、復号対象のPU（カレントブロック）の予測モードとして選択する。

ステップＳ２０５において、選択部２１１は、ステップＳ２０４で選択された予測モードがイントラ予測モードであるかどうかを判定する。ステップＳ２０５でイントラ予測モードであると判定された場合、処理はステップＳ２０６に進む。

ステップＳ２０６において、選択部２１１は、０番のラインの基本イントラ予測モードと１番以降の各ラインの拡張イントラ予測モードとから、予測情報Pinfoのうちのイントラ予測モード番号のイントラ予測モードを、復号対象のPUのイントラ予測モードとして選択する。

ステップＳ２０７において、選択部２１１は、ステップＳ２０６で選択されたイントラ予測モードのイントラ予測モード番号が共通番号であるかどうかを判定する。ステップＳ２０７で共通番号であると判定された場合、処理はステップＳ２０８に進む。

ステップＳ２０８において、選択部２１１は、０乃至４番の参照ラインから、予測情報Pinfoのうちのライン番号のラインを参照ラインとして選択し、処理をステップＳ２１１に進める。

一方、ステップＳ２０７で共通番号ではないと判定された場合、処理はステップＳ２０９に進む。ステップＳ２０９において、選択部２１１は、０乃至４番のラインから０番のラインを参照ラインとして選択し、処理をステップＳ２１１に進める。

また、ステップＳ２０５でイントラ予測モードではないと判定された場合、処理はステップＳ２１０に進む。ステップＳ２１０において、選択部２１１は、予測情報Pinfoのうちの動きベクトル等を、復号対象のPUの動きベクトル等として選択し、処理をステップＳ２１１に進める。

ステップＳ２１１において、予測部２１６は、ステップＳ２０４で選択された予測モード等に基づいて、符号化の際の予測と同一の予測を行い、予測画像Ｐを生成する。

具体的には、ステップＳ２０４で選択された予測モードがイントラ予測モードである場合、予測部２１６は、ステップＳ２０６で選択されたイントラ予測モードのイントラ予測モード番号と、ステップＳ２０８またはステップＳ２０９で選択された参照ラインのライン番号とに基づいて、イントラ予測を行い、予測画像Ｐを生成する。一方、ステップＳ２０４で選択された予測モードがインター予測モードである場合、予測部２１６は、ステップＳ２１０で選択された動きベクトル等に基づいてインター予測を行い、予測画像Ｐを生成する。

ステップＳ２１２において、演算部２１４は、ステップＳ２０３の処理により得られた予測残差Ｄ'を、ステップＳ２１１の処理により得られた予測画像Ｐと加算し、局所的な復号画像Recを導出する。演算部２１４は、得られた局所的な復号画像Recを用いてピクチャ単位毎の復号画像を再構築し、得られた復号画像を画像復号装置２００の外部に出力する。

ステップＳ２１３において、フレームメモリ２１５は、ステップＳ２１２で導出された局所的な復号画像Recを用いてピクチャ単位毎の復号画像を再構築し、フレームメモリ２１５内のバッファへ記憶する。

ステップＳ２１３の処理が終了すると、画像復号処理が終了される。

以上のように、画像復号装置２００は、画像符号化装置１００により設定されたイントラ予測モード番号に基づいて、０番のラインの基本イントラ予測モードと、１番以降の各ラインの拡張イントラ予測モードから、参照ラインとイントラ予測モードを選択する。従って、参照ラインの候補が０番のラインのみである場合に比べて、予測精度を向上させることができる。

＜第２実施の形態＞
（拡張フラグと角度イントラ予測モードおよび参照ラインの候補との関係の例）
本開示を適用した画像符号化装置および画像復号装置の第２実施の形態は、イントラ予測の拡張の種類を表す１ビットの拡張フラグがSPSに設定され、その拡張フラグに基づいて、イントラ予測モードと参照ラインの候補が変更される点が、第１実施の形態と異なる。

具体的には、本開示を適用した画像符号化装置の第２実施の形態の構成は、設定部１０１Ｂが拡張フラグを設定する点、および、選択部１０１Ａが拡張フラグに基づいてイントラ予測モードと参照ラインの候補を変更する点を除いて、図２の画像符号化装置１００の構成と同一である。また、本開示を適用した画像復号装置の第２実施の形態の構成は、復号部２１０が拡張フラグを復号する点、および、選択部２１１が拡張フラグに基づいてイントラ予測モードと参照ラインの候補を変更する点を除いて、図９の画像復号装置２００の構成と同一である。従って、以下では、拡張フラグとイントラ予測モードおよび参照ラインの候補との関係以外の説明については、適宜省略する。

図１１は、拡張フラグと角度イントラ予測モードおよび参照ラインの候補との関係の例を示す図である。

図１１に示すように、設定部１０１Ｂは、外部からの入力等に基づいて、拡張フラグを０または１に設定する。拡張フラグ（拡張情報）が０に設定される場合、拡張フラグは、イントラ予測の拡張が、イントラ予測モードが示す参照方向の拡張であることを示す。また、拡張フラグが１に設定される場合、拡張フラグは、イントラ予測の拡張が、参照ラインの拡張であることを示す。

拡張フラグが０である場合、０番のラインを参照ラインとするときの角度イントラ予測モードの候補が、HEVCにおける３３個の角度イントラ予測モードから、JVETで提案されている６５個の角度イントラ予測モードに拡張される。しかしながら、この場合、参照ラインの候補は、HEVCと同様に０番のラインのみである。従って、この場合の角度イントラ予測モードの候補数は６５（＝１×６５）である。

即ち、選択部１０１Ａは、０番のラインのJVETで提案されている６７個のイントラ予測モードから、イントラ予測モードを選択し、０番のラインを参照ラインとして選択する。従って、選択されたイントラ予測モードが角度イントラ予測モードである場合、設定部１０１Ｂにより設定されるイントラ予測に関するイントラ予測情報は、選択部１０１Ａにより選択されたイントラ予測モードの２乃至６６のいずれかであるイントラ予測モード番号である。

一方、拡張フラグが１である場合、参照ラインの候補が、HEVCにおいて参照ラインの候補となる０番のラインから０乃至３番のラインに拡張される。しかしながら、この場合、０乃至３番のラインの角度イントラ予測モードの候補は、拡張フラグが０である場合の０番のラインの角度イントラ予測モードの候補の一部にされる。

具体的には、例えば、０番のラインを参照ラインとするときの角度イントラ予測モードの候補は、図５のＡの参照方向と同一の参照方向のHEVCにおける３３個の角度イントラ予測モードと同一である。また、１乃至３番のラインを参照ラインとするときの角度イントラ予測モードの候補は、０番のラインを参照ラインとするときの角度イントラ予測モードの候補の全部または一部にされる。

例えば、１乃至３番の各ラインを参照ラインとするときの角度イントラ予測モードの候補の第１のパターンは、図５のＡの参照方向と同一の参照方向のHEVCにおける３３個の角度イントラ予測モードである。また、第２のパターンは、第１のパターンの３３個の角度イントラ予測モードを１つおきに抽出した、図５のＢの参照方向と同一の参照方向の１７個の角度イントラ予測モードである。第３のパターンは、第２のパターンの１７個の角度イントラ予測モードを１つおきに抽出した、図５のＣの参照方向と同一の参照方向の９個の角度イントラ予測モードである。第４のパターンは、第３のパターンの９個の角度イントラ予測モードを１つおきに抽出した、図５のＤの参照方向と同一の参照方向の５個の角度イントラ予測モードである。

また、第５のパターンは、図６で説明した６個のMPMである。第６のパターンでは、１番、２番、３番のラインを参照ラインとするときの角度イントラ予測モードの候補は、それぞれ、第２のパターン、第３のパターン、第４のパターンである。

１乃至３番の各ラインを参照ラインとするときの角度イントラ予測モードの候補のパターンが第１のパターンである場合、角度イントラ予測モードの候補数は１３２（＝４×３３）であり、第２のパターンである場合、８４（＝１×３３＋３×１７）である。また、第３のパターンである場合、角度イントラ予測モードの候補数は６０（＝１×３３＋３×９）であり、第４のパターンである場合、４８（＝１×３３＋３×５）である。

第５のパターンである場合、角度イントラ予測モードの候補数は５１（＝１×３３＋３×６）であり、第６のパターンである場合、６４（＝１×３３＋１×１７＋１×９＋１×５）である。即ち、第６のパターンである場合、角度イントラ予測モードの候補数は、拡張フラグが０である場合の角度イントラ予測モードの候補数以下になる。

拡張フラグが１である場合、選択部１０１Ａは、０番のラインの３３個の角度イントラ予測モード、Planer予測モード、およびDC予測モード、並びに、１乃至３番のラインの角度イントラ予測モードから、参照ラインとイントラ予測モードを選択する。

従って、選択されたイントラ予測モードが角度イントラ予測モードであり、１乃至３番の各ラインを参照ラインとするときの角度イントラ予測モードの候補が第１のパターンである場合、設定部１０１Ｂにより設定されるイントラ予測情報は、選択部１０１Ａにより選択された参照ラインの０乃至３のいずれかであるライン番号と、イントラ予測モードの２乃至３４のいずれかであるイントラ予測モード番号である。

また、第２乃至第５のパターンである場合、選択された角度イントラ予測モードが、０乃至３番のラインに共通する角度イントラ予測モードであるとき、設定部１０１Ｂにより設定されるイントラ予測情報は、０乃至３のいずれかである参照ラインのライン番号とイントラ予測モード番号である。一方、選択された角度イントラ予測モードが、０乃至３番のラインに共通する角度イントラ予測モード以外であるとき、設定部１０１Ｂにより設定されるイントラ予測情報は、イントラ予測モード番号のみである。

さらに、第６のパターンである場合、設定部１０１Ｂにより設定されるイントラ予測情報は、選択部１０１Ａにより選択された参照ラインとイントラ予測モードの拡張イントラ予測モード番号である。拡張イントラ予測モード番号とは、各ラインと各角度イントラ予測モードに固有の番号としてラインおよび角度イントラ予測モードごとに割り当てられた番号である。

上述したように、第６のパターンである場合の角度イントラ予測モードの候補数は６４であるため、ラインおよび角度イントラ予測モードごとに割り当てられた拡張イントラ予測モード番号は、２乃至６５になる。従って、例えば、拡張イントラ予測モード番号が６６であるイントラ予測モードをリザーブモードとすることにより、拡張イントラ予測モード番号のとり得る値を、JVETで提案されている６７個のイントラ予測モード番号のとり得る値と同一にすることができる。その結果、JVETで提案されている６７個のイントラ予測モードを候補とする符号化方式との互換性を高めることができる。

なお、図１１の例では、イントラ予測モードが、HEVCにおけるイントラ予測モードから拡張されるが、AVC（Advanced Video Coding）におけるイントラ予測モードから拡張されるようにしてもよい。

（HEVCにおけるイントラ予測モード）
図１２は、HEVCにおける３５個のイントラ予測モードを示す図である。

図１２に示すように、HEVCにおける３５個のイントラ予測モードは、イントラ予測モード番号が０であるPlanar予測モード、イントラ予測モード番号が１であるDC予測モード、およびイントラ予測モード番号が２乃至３４である３３個の角度イントラ予測モードからなる。

３３個の角度イントラ予測モードは、イントラ予測モード番号が２乃至３４の連続する値である点が、図５のＡの３３個の拡張イントラ予測モードと異なっている。

以上のように、第２実施の形態では、画像符号化装置１００および画像復号装置２００が、拡張フラグに基づいて、カレントブロックに対してイントラ予測を行う。従って、例えば、画像符号化装置１００および画像復号装置２００は、拡張フラグに基づいてイントラ予測モードの候補を拡張し、拡張された候補の中から選択されたイントラ予測モードと参照ラインに基づいてイントラ予測を行うことができる。

この場合、イントラ予測モードと参照ラインの候補を最適化することができる。従って、０乃至３番のラインの６７個のイントラ予測モードを候補とする場合に比べて、RDOに基づいてイントラ予測モードと参照ラインを選択する処理の負荷を軽減することができる。従って、符号化処理の負荷、符号化処理に要する時間などのオーバーヘッドを軽減することができる。また、イントラ予測モードと参照ラインの候補が常に一定である場合に比べて、選択されたイントラ予測モードと参照ラインの適性が向上し、予測精度が向上する。

例えば、１乃至３番のラインの角度イントラ予測モードのパターンが第６のパターンである場合、０番のラインの６７個のイントラ予測モードを候補とする場合に比べて、イントラ予測モードと参照ラインを選択する処理の負荷は増加しない。しかしながら、拡張フラグに基づいて、０番のラインの６７個のイントラ予測モードと、第６のパターンの１乃至３番のラインの角度イントラ予測モードを含む０乃至３番のラインのイントラ予測モードのうちの適した方が候補として選択される。従って、いずれか一方を常に候補とする場合に比べて、選択されたイントラ予測モードと参照ラインの適性が向上し、予測精度が向上する。

また、第２実施の形態の画像符号化装置１００は、拡張フラグをシーケンス単位で設定するので、より適切な拡張の種類を設定することができる。即ち、イントラ予測の最適な拡張の種類は、シーケンスごとに異なると考えられる。従って、画像符号化装置１００は、拡張フラグをシーケンス単位で設定することにより、より適切な拡張の種類を設定することができる。

なお、第２実施の形態では、拡張フラグは、シーケンス単位で設定され、SPSに含まれるようにしたが、ピクチャ単位で設定され、PPSに含まれるようにしてもよい。

また、１乃至３番のラインの角度イントラ予測モードの候補のパターンは、予め決定されていてもよいし、選択可能にされてもよい。１乃至３番のラインの角度イントラ予測モードの候補のパターンが選択可能にされる場合、そのパターンを示す情報が、画像符号化装置１００により設定され、画像復号装置２００に送信される。

＜第３実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータ８００において、CPU（Central Processing Unit）８０１，ROM（Read Only Memory）８０２，RAM（Random Access Memory）８０３は、バス８０４により相互に接続されている。

バス８０４には、さらに、入出力インタフェース８１０が接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、及びドライブ８１５が接続されている。

入力部８１１は、キーボード、マウス、マイクロホンなどよりなる。出力部８１２は、ディスプレイ、スピーカなどよりなる。記憶部８１３は、ハードディスクや不揮発性のメモリなどよりなる。通信部８１４は、ネットワークインタフェースなどよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア８２１を駆動する。

以上のように構成されるコンピュータ８００では、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０及びバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ８００（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ８００では、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部８１４で受信し、記憶部８１３にインストールすることができる。その他、プログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくことができる。

なお、コンピュータ８００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

＜第４実施の形態＞
図１４は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース（I/F）部９０９、制御部９１０、ユーザインタフェース（I/F）部９１１、及びバス９１２を備える。

チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。

デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。

映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。

表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。

音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。

外部インタフェース部９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース部９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース部９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。

制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。

ユーザインタフェース部９１１は、制御部９１０と接続される。ユーザインタフェース部９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース部９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。

バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９及び制御部９１０を相互に接続する。

このように構成されたテレビジョン装置９００において、デコーダ９０４が、上述した画像復号装置２００の機能を有するようにしてもよい。つまり、デコーダ９０４が、符号化データを、以上の各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、テレビジョン装置９００は、図１乃至図１２を参照して上述した各実施の形態と同様の効果を得ることができる。

また、このように構成されたテレビジョン装置９００において、映像信号処理部９０５が、例えば、デコーダ９０４から供給される画像データを符号化し、得られた符号化データを、外部インタフェース部９０９を介してテレビジョン装置９００の外部に出力させることができるようにしてもよい。そして、その映像信号処理部９０５が、上述した画像符号化装置１００の機能を有するようにしてもよい。つまり、映像信号処理部９０５が、デコーダ９０４から供給される画像データを、以上の各実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、テレビジョン装置９００は、図１乃至図１２を参照して上述した各実施の形態と同様の効果を得ることができる。

＜第５実施の形態＞
図１５は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。

アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。

携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。

音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９に供給し、その記憶媒体に書き込ませる。

記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Universal Serial Bus）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。

また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９に供給し、その記憶媒体に書き込ませる。

さらに、画像表示モードにおいて、記録再生部９２９は、記憶媒体に記録されている符号化ストリームを読み出して画像処理部９２７へ出力する。画像処理部９２７は、記録再生部９２９から入力される符号化ストリームを復号し、画像データを表示部９３０に供給し、その画像を表示させる。

また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

このように構成された携帯電話機９２０において、例えば画像処理部９２７が、上述した画像符号化装置１００の機能を有するようにしてもよい。つまり、画像処理部９２７が、画像データを、以上の各実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、携帯電話機９２０は、図１乃至図１２を参照して上述した各実施の形態と同様の効果を得ることができる。

また、このように構成された携帯電話機９２０において、例えば画像処理部９２７が、上述した画像復号装置２００の機能を有するようにしてもよい。つまり、画像処理部９２７が、符号化データを、以上の各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、携帯電話機９２０は、図１乃至図１２を参照して上述した各実施の形態と同様の効果を得ることができる。

＜第６実施の形態＞
図１６は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データおよび映像データを復号する。

記録再生装置９４０は、チューナ９４１、外部インタフェース（I/F）部９４２、エンコーダ９４３、HDD（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）部９４８、制御部９４９、およびユーザインタフェース（I/F）部９５０を備える。

チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送部としての役割を有する。

外部インタフェース部９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース部９４２は、例えば、IEEE（Institute of Electrical and Electronic Engineers）1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース部９４２を介して受信される映像データおよび音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース部９４２は、記録再生装置９４０における伝送部としての役割を有する。

エンコーダ９４３は、外部インタフェース部９４２から入力される映像データおよび音声データが符号化されていない場合に、映像データおよび音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。

HDD部９４４は、映像および音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD部９４４は、映像および音声の再生時に、これらデータをハードディスクから読み出す。

ディスクドライブ９４５は、装着されている記録媒体へのデータの記録および読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVD（Digital Versatile Disc）ディスク（DVD-Video、DVD-RAM（DVD - Random Access Memory）、DVD-R（DVD - Recordable）、DVD-RW（DVD - Rewritable）、DVD+R（DVD + Recordable）、DVD+RW（DVD + Rewritable）等）又はBlu-ray（登録商標）ディスクなどであってよい。

セレクタ９４６は、映像および音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。

デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD部９４８へ出力する。また、デコーダ９４７は、生成した音声データを外部のスピーカへ出力する。

OSD部９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD部９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。

制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。

ユーザインタフェース部９５０は、制御部９４９と接続される。ユーザインタフェース部９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタンおよびスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース部９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。

このように構成された記録再生装置９４０において、例えばエンコーダ９４３が、上述した画像符号化装置１００の機能を有するようにしてもよい。つまり、エンコーダ９４３が、画像データを、以上の各実施の形態において説明方法で符号化するようにしてもよい。このようにすることにより、記録再生装置９４０は、図１乃至図１２を参照して上述した各実施の形態と同様の効果を得ることができる。

また、このように構成された記録再生装置９４０において、例えばデコーダ９４７が、上述した画像復号装置２００の機能を有するようにしてもよい。つまり、デコーダ９４７が、符号化データを、以上の各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、記録再生装置９４０は、図１乃至図１２を参照して上述した各実施の形態と同様の効果を得ることができる。

＜第７実施の形態＞
図１７は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース（I/F）部９６６、メモリ部９６７、メディアドライブ９６８、OSD部９６９、制御部９７０、ユーザインタフェース（I/F）部９７１、およびバス９７２を備える。

光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース部９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、OSD部９６９、および制御部９７０を相互に接続する。

光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。

信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。

画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース部９６６またはメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース部９６６またはメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD部９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。

OSD部９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。

外部インタフェース部９６６は、例えばUSB入出力端子として構成される。外部インタフェース部９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース部９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース部９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース部９６６は、撮像装置９６０における伝送部としての役割を有する。

メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。

制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。

ユーザインタフェース部９７１は、制御部９７０と接続される。ユーザインタフェース部９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース部９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。

このように構成された撮像装置９６０において、例えば画像処理部９６４が、上述した画像符号化装置１００の機能を有するようにしてもよい。つまり、画像処理部９６４が、画像データを、以上の各実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、撮像装置９６０は、図１乃至図１２を参照して上述した各実施の形態と同様の効果を得ることができる。

また、このように構成された撮像装置９６０において、例えば画像処理部９６４が、上述した画像復号装置２００の機能を有するようにしてもよい。つまり、画像処理部９６４が、符号化データを、以上の各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、撮像装置９６０は、図１乃至図１２を参照して上述した各実施の形態と同様の効果を得ることができる。

＜第８実施の形態＞
また、本技術は、任意の装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。図１８は、本技術を適用したビデオセットの概略的な構成の一例を示している。

近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、１機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する１セットとして実施を行う場合も多く見られるようになってきた。

図１８に示されるビデオセット１３００は、このような多機能化された構成であり、画像の符号化や復号（いずれか一方でもよいし、両方でも良い）に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。

図１８に示されるように、ビデオセット１３００は、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４等のモジュール群と、コネクティビティ１３２１、カメラ１３２２、およびセンサ１３２３等の関連する機能を有するデバイスとを有する。

モジュールは、互いに関連するいくつかの部品的機能をまとめ、まとまりのある機能を持った部品としたものである。具体的な物理的構成は任意であるが、例えば、それぞれ機能を有する複数のプロセッサ、抵抗やコンデンサ等の電子回路素子、その他のデバイス等を配線基板等に配置して一体化したものが考えられる。また、モジュールに他のモジュールやプロセッサ等を組み合わせて新たなモジュールとすることも考えられる。

図１８の例の場合、ビデオモジュール１３１１は、画像処理に関する機能を有する構成を組み合わせたものであり、アプリケーションプロセッサ、ビデオプロセッサ、ブロードバンドモデム１３３３、およびRFモジュール１３３４を有する。

プロセッサは、所定の機能を有する構成をSoC（System On a Chip）により半導体チップに集積したものであり、例えばシステムLSI（Large Scale Integration）等と称されるものもある。この所定の機能を有する構成は、論理回路（ハードウエア構成）であってもよいし、CPU、ROM、RAM等と、それらを用いて実行されるプログラム（ソフトウエア構成）であってもよいし、その両方を組み合わせたものであってもよい。例えば、プロセッサが、論理回路とCPU、ROM、RAM等とを有し、機能の一部を論理回路（ハードウエア構成）により実現し、その他の機能をCPUにおいて実行されるプログラム（ソフトウエア構成）により実現するようにしてもよい。

図１８のアプリケーションプロセッサ１３３１は、画像処理に関するアプリケーションを実行するプロセッサである。このアプリケーションプロセッサ１３３１において実行されるアプリケーションは、所定の機能を実現するために、演算処理を行うだけでなく、例えばビデオプロセッサ１３３２等、ビデオモジュール１３１１内外の構成を必要に応じて制御することもできる。

ビデオプロセッサ１３３２は、画像の符号化・復号（その一方または両方）に関する機能を有するプロセッサである。

ブロードバンドモデム１３３３は、インターネットや公衆電話回線網等の広帯域の回線を介して行われる有線若しくは無線（またはその両方）の広帯域通信により送信するデータ（デジタル信号）をデジタル変調する等してアナログ信号に変換したり、その広帯域通信により受信したアナログ信号を復調してデータ（デジタル信号）に変換したりする。ブロードバンドモデム１３３３は、例えば、ビデオプロセッサ１３３２が処理する画像データ、画像データが符号化されたストリーム、アプリケーションプログラム、設定データ等、任意の情報を処理する。

RFモジュール１３３４は、アンテナを介して送受信されるRF（Radio Frequency）信号に対して、周波数変換、変復調、増幅、フィルタ処理等を行うモジュールである。例えば、RFモジュール１３３４は、ブロードバンドモデム１３３３により生成されたベースバンド信号に対して周波数変換等を行ってRF信号を生成する。また、例えば、RFモジュール１３３４は、フロントエンドモジュール１３１４を介して受信されたRF信号に対して周波数変換等を行ってベースバンド信号を生成する。

なお、図１８において点線１３４１に示されるように、アプリケーションプロセッサ１３３１とビデオプロセッサ１３３２を、一体化し、１つのプロセッサとして構成されるようにしてもよい。

外部メモリ１３１２は、ビデオモジュール１３１１の外部に設けられた、ビデオモジュール１３１１により利用される記憶デバイスを有するモジュールである。この外部メモリ１３１２の記憶デバイスは、どのような物理構成により実現するようにしてもよいが、一般的にフレーム単位の画像データのような大容量のデータの格納に利用されることが多いので、例えばDRAM（Dynamic Random Access Memory）のような比較的安価で大容量の半導体メモリにより実現するのが望ましい。

パワーマネージメントモジュール１３１３は、ビデオモジュール１３１１（ビデオモジュール１３１１内の各構成）への電力供給を管理し、制御する。

フロントエンドモジュール１３１４は、RFモジュール１３３４に対してフロントエンド機能（アンテナ側の送受信端の回路）を提供するモジュールである。図１８に示されるように、フロントエンドモジュール１３１４は、例えば、アンテナ部１３５１、フィルタ１３５２、および増幅部１３５３を有する。

アンテナ部１３５１は、無線信号を送受信するアンテナおよびその周辺の構成を有する。アンテナ部１３５１は、増幅部１３５３から供給される信号を無線信号として送信し、受信した無線信号を電気信号（RF信号）としてフィルタ１３５２に供給する。フィルタ１３５２は、アンテナ部１３５１を介して受信されたRF信号に対してフィルタ処理等を行い、処理後のRF信号をRFモジュール１３３４に供給する。増幅部１３５３は、RFモジュール１３３４から供給されるRF信号を増幅し、アンテナ部１３５１に供給する。

コネクティビティ１３２１は、外部との接続に関する機能を有するモジュールである。コネクティビティ１３２１の物理構成は、任意である。例えば、コネクティビティ１３２１は、ブロードバンドモデム１３３３が対応する通信規格以外の通信機能を有する構成や、外部入出力端子等を有する。

例えば、コネクティビティ１３２１が、Bluetooth（登録商標）、IEEE 802.11（例えばWi-Fi（Wireless Fidelity、登録商標））、NFC（Near Field Communication）、IrDA（InfraRed Data Association）等の無線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した信号を送受信するアンテナ等を有するようにしてもよい。また、例えば、コネクティビティ１３２１が、USB（Universal Serial Bus）、HDMI（登録商標）（High-Definition Multimedia Interface）等の有線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した端子を有するようにしてもよい。さらに、例えば、コネクティビティ１３２１が、アナログ入出力端子等のその他のデータ（信号）伝送機能等を有するようにしてもよい。

なお、コネクティビティ１３２１が、データ（信号）の伝送先のデバイスを含むようにしてもよい。例えば、コネクティビティ１３２１が、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の記録媒体に対してデータの読み出しや書き込みを行うドライブ（リムーバブルメディアのドライブだけでなく、ハードディスク、SSD（Solid State Drive）、NAS（Network Attached Storage）等も含む）を有するようにしてもよい。また、コネクティビティ１３２１が、画像や音声の出力デバイス（モニタやスピーカ等）を有するようにしてもよい。

カメラ１３２２は、被写体を撮像し、被写体の画像データを得る機能を有するモジュールである。カメラ１３２２の撮像により得られた画像データは、例えば、ビデオプロセッサ１３３２に供給されて符号化される。

センサ１３２３は、例えば、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、イメージセンサ、回転センサ、角度センサ、角速度センサ、速度センサ、加速度センサ、傾斜センサ、磁気識別センサ、衝撃センサ、温度センサ等、任意のセンサ機能を有するモジュールである。センサ１３２３により検出されたデータは、例えば、アプリケーションプロセッサ１３３１に供給されてアプリケーション等により利用される。

以上においてモジュールとして説明した構成をプロセッサとして実現するようにしてもよいし、逆にプロセッサとして説明した構成をモジュールとして実現するようにしてもよい。

以上のような構成のビデオセット１３００において、後述するようにビデオプロセッサ１３３２に本技術を適用することができる。したがって、ビデオセット１３００は、本技術を適用したセットとして実施することができる。

（ビデオプロセッサの構成例）
図１９は、本技術を適用したビデオプロセッサ１３３２（図１８）の概略的な構成の一例を示している。

図１９の例の場合、ビデオプロセッサ１３３２は、ビデオ信号およびオーディオ信号の入力を受けてこれらを所定の方式で符号化する機能と、符号化されたビデオデータおよびオーディオデータを復号し、ビデオ信号およびオーディオ信号を再生出力する機能とを有する。

図１９に示されるように、ビデオプロセッサ１３３２は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、フレームメモリ１４０５、およびメモリ制御部１４０６を有する。また、ビデオプロセッサ１３３２は、エンコード・デコードエンジン１４０７、ビデオES（Elementary Stream）バッファ１４０８Ａおよび１４０８Ｂ、並びに、オーディオESバッファ１４０９Ａおよび１４０９Ｂを有する。さらに、ビデオプロセッサ１３３２は、オーディオエンコーダ１４１０、オーディオデコーダ１４１１、多重化部（MUX（Multiplexer））１４１２、逆多重化部（DMUX（Demultiplexer））１４１３、およびストリームバッファ１４１４を有する。

ビデオ入力処理部１４０１は、例えばコネクティビティ１３２１（図１８）等から入力されたビデオ信号を取得し、デジタル画像データに変換する。第１画像拡大縮小部１４０２は、画像データに対してフォーマット変換や画像の拡大縮小処理等を行う。第２画像拡大縮小部１４０３は、画像データに対して、ビデオ出力処理部１４０４を介して出力する先でのフォーマットに応じて画像の拡大縮小処理を行ったり、第１画像拡大縮小部１４０２と同様のフォーマット変換や画像の拡大縮小処理等を行ったりする。ビデオ出力処理部１４０４は、画像データに対して、フォーマット変換やアナログ信号への変換等を行って、再生されたビデオ信号として例えばコネクティビティ１３２１等に出力する。

フレームメモリ１４０５は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、およびエンコード・デコードエンジン１４０７によって共用される画像データ用のメモリである。フレームメモリ１４０５は、例えばDRAM等の半導体メモリとして実現される。

メモリ制御部１４０６は、エンコード・デコードエンジン１４０７からの同期信号を受けて、アクセス管理テーブル１４０６Ａに書き込まれたフレームメモリ１４０５へのアクセススケジュールに従ってフレームメモリ１４０５に対する書き込み・読み出しのアクセスを制御する。アクセス管理テーブル１４０６Ａは、エンコード・デコードエンジン１４０７、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３等で実行される処理に応じて、メモリ制御部１４０６により更新される。

エンコード・デコードエンジン１４０７は、画像データのエンコード処理、並びに、画像データが符号化されたデータであるビデオストリームのデコード処理を行う。例えば、エンコード・デコードエンジン１４０７は、フレームメモリ１４０５から読み出した画像データを符号化し、ビデオストリームとしてビデオESバッファ１４０８Ａに順次書き込む。また、例えば、ビデオESバッファ１４０８Ｂからビデオストリームを順次読み出して復号し、画像データとしてフレームメモリ１４０５に順次書き込む。エンコード・デコードエンジン１４０７は、これらの符号化や復号において、フレームメモリ１４０５を作業領域として使用する。また、エンコード・デコードエンジン１４０７は、例えばマクロブロック毎の処理を開始するタイミングで、メモリ制御部１４０６に対して同期信号を出力する。

ビデオESバッファ１４０８Ａは、エンコード・デコードエンジン１４０７によって生成されたビデオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。ビデオESバッファ１４０８Ｂは、逆多重化部（DMUX）１４１３から供給されたビデオストリームをバッファリングして、エンコード・デコードエンジン１４０７に供給する。

オーディオESバッファ１４０９Ａは、オーディオエンコーダ１４１０によって生成されたオーディオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。オーディオESバッファ１４０９Ｂは、逆多重化部（DMUX）１４１３から供給されたオーディオストリームをバッファリングして、オーディオデコーダ１４１１に供給する。

オーディオエンコーダ１４１０は、例えばコネクティビティ１３２１等から入力されたオーディオ信号を例えばデジタル変換し、例えばMPEGオーディオ方式やAC3（AudioCode number 3）方式等の所定の方式で符号化する。オーディオエンコーダ１４１０は、オーディオ信号が符号化されたデータであるオーディオストリームをオーディオESバッファ１４０９Ａに順次書き込む。オーディオデコーダ１４１１は、オーディオESバッファ１４０９Ｂから供給されたオーディオストリームを復号し、例えばアナログ信号への変換等を行って、再生されたオーディオ信号として例えばコネクティビティ１３２１等に供給する。

多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化する。この多重化の方法（すなわち、多重化により生成されるビットストリームのフォーマット）は任意である。また、この多重化の際に、多重化部（MUX）１４１２は、所定のヘッダ情報等をビットストリームに付加することもできる。つまり、多重化部（MUX）１４１２は、多重化によりストリームのフォーマットを変換することができる。例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームに変換する。また、例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、記録用のファイルフォーマットのデータ（ファイルデータ）に変換する。

逆多重化部（DMUX）１４１３は、多重化部（MUX）１４１２による多重化に対応する方法で、ビデオストリームとオーディオストリームとが多重化されたビットストリームを逆多重化する。つまり、逆多重化部（DMUX）１４１３は、ストリームバッファ１４１４から読み出されたビットストリームからビデオストリームとオーディオストリームとを抽出する（ビデオストリームとオーディオストリームとを分離する）。つまり、逆多重化部（DMUX）１４１３は、逆多重化によりストリームのフォーマットを変換（多重化部（MUX）１４１２による変換の逆変換）することができる。例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等から供給されたトランスポートストリームを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。また、例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１により各種記録媒体から読み出されたファイルデータを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。

ストリームバッファ１４１４は、ビットストリームをバッファリングする。例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたトランスポートストリームをバッファリングし、所定のタイミングにおいて、または外部からの要求等に基づいて、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等に供給する。

また、例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたファイルデータをバッファリングし、所定のタイミングにおいて、または外部からの要求等に基づいて、例えばコネクティビティ１３２１等に供給し、各種記録媒体に記録させる。

さらに、ストリームバッファ１４１４は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して取得したトランスポートストリームをバッファリングし、所定のタイミングにおいて、または外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。

また、ストリームバッファ１４１４は、例えばコネクティビティ１３２１等において各種記録媒体から読み出されたファイルデータをバッファリングし、所定のタイミングにおいて、または外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。

次に、このような構成のビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１等からビデオプロセッサ１３３２に入力されたビデオ信号は、ビデオ入力処理部１４０１において４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式のデジタル画像データに変換され、フレームメモリ１４０５に順次書き込まれる。このデジタル画像データは、第１画像拡大縮小部１４０２または第２画像拡大縮小部１４０３に読み出されて、４：２：０Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式へのフォーマット変換および拡大縮小処理が行われ、再びフレームメモリ１４０５に書き込まれる。この画像データは、エンコード・デコードエンジン１４０７によって符号化され、ビデオストリームとしてビデオESバッファ１４０８Ａに書き込まれる。

また、コネクティビティ１３２１等からビデオプロセッサ１３３２に入力されたオーディオ信号は、オーディオエンコーダ１４１０によって符号化され、オーディオストリームとして、オーディオESバッファ１４０９Ａに書き込まれる。

ビデオESバッファ１４０８Ａのビデオストリームと、オーディオESバッファ１４０９Ａのオーディオストリームは、多重化部（MUX）１４１２に読み出されて多重化され、トランスポートストリームまたはファイルデータ等に変換される。多重化部（MUX）１４１２により生成されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークに出力される。また、多重化部（MUX）１４１２により生成されたファイルデータは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１等に出力され、各種記録媒体に記録される。

また、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークからビデオプロセッサ１３３２に入力されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。また、例えばコネクティビティ１３２１等において各種記録媒体から読み出され、ビデオプロセッサ１３３２に入力されたファイルデータは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。つまり、ビデオプロセッサ１３３２に入力されたトランスポートストリームまたはファイルデータは、逆多重化部（DMUX）１４１３によりビデオストリームとオーディオストリームとに分離される。

オーディオストリームは、オーディオESバッファ１４０９Ｂを介してオーディオデコーダ１４１１に供給され、復号されてオーディオ信号が再生される。また、ビデオストリームは、ビデオESバッファ１４０８Ｂに書き込まれた後、エンコード・デコードエンジン１４０７により順次読み出されて復号されてフレームメモリ１４０５に書き込まれる。復号された画像データは、第２画像拡大縮小部１４０３によって拡大縮小処理されて、フレームメモリ１４０５に書き込まれる。そして、復号された画像データは、ビデオ出力処理部１４０４に読み出されて、４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式にフォーマット変換され、さらにアナログ信号に変換されて、ビデオ信号が再生出力される。

このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、エンコード・デコードエンジン１４０７に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、エンコード・デコードエンジン１４０７が、上述した画像符号化装置１００の機能若しくは画像復号装置２００の機能またはその両方を有するようにしてもよい。このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図１２を参照して上述した各実施の形態と同様の効果を得ることができる。

なお、エンコード・デコードエンジン１４０７において、本技術（すなわち、画像符号化装置１００の機能若しくは画像復号装置２００の機能またはその両方）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。

（ビデオプロセッサの他の構成例）
図２０は、本技術を適用したビデオプロセッサ１３３２の概略的な構成の他の例を示している。図２０の例の場合、ビデオプロセッサ１３３２は、ビデオデータを所定の方式で符号化・復号する機能を有する。

より具体的には、図２０に示されるように、ビデオプロセッサ１３３２は、制御部１５１１、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、および内部メモリ１５１５を有する。また、ビデオプロセッサ１３３２は、コーデックエンジン１５１６、メモリインタフェース１５１７、多重化・逆多重化部（MUX DMUX）１５１８、ネットワークインタフェース１５１９、およびビデオインタフェース１５２０を有する。

制御部１５１１は、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６等、ビデオプロセッサ１３３２内の各処理部の動作を制御する。

図２０に示されるように、制御部１５１１は、例えば、メインCPU１５３１、サブCPU１５３２、およびシステムコントローラ１５３３を有する。メインCPU１５３１は、ビデオプロセッサ１３３２内の各処理部の動作を制御するためのプログラム等を実行する。メインCPU１５３１は、そのプログラム等に従って制御信号を生成し、各処理部に供給する（つまり、各処理部の動作を制御する）。サブCPU１５３２は、メインCPU１５３１の補助的な役割を果たす。例えば、サブCPU１５３２は、メインCPU１５３１が実行するプログラム等の子プロセスやサブルーチン等を実行する。システムコントローラ１５３３は、メインCPU１５３１およびサブCPU１５３２が実行するプログラムを指定する等、メインCPU１５３１およびサブCPU１５３２の動作を制御する。

ディスプレイインタフェース１５１２は、制御部１５１１の制御の下、画像データを例えばコネクティビティ１３２１等に出力する。例えば、ディスプレイインタフェース１５１２は、デジタルデータの画像データをアナログ信号に変換し、再生されたビデオ信号として、またはデジタルデータの画像データのまま、コネクティビティ１３２１のモニタ装置等に出力する。

ディスプレイエンジン１５１３は、制御部１５１１の制御の下、画像データに対して、その画像を表示させるモニタ装置等のハードウエアスペックに合わせるように、フォーマット変換、サイズ変換、色域変換等の各種変換処理を行う。

画像処理エンジン１５１４は、制御部１５１１の制御の下、画像データに対して、例えば画質改善のためのフィルタ処理等、所定の画像処理を施す。

内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６により共用される、ビデオプロセッサ１３３２の内部に設けられたメモリである。内部メモリ１５１５は、例えば、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６の間で行われるデータの授受に利用される。例えば、内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６から供給されるデータを格納し、必要に応じて（例えば、要求に応じて）、そのデータを、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６に供給する。この内部メモリ１５１５は、どのような記憶デバイスにより実現するようにしてもよいが、一般的にブロック単位の画像データやパラメータ等といった小容量のデータの格納に利用することが多いので、例えばSRAM（Static Random Access Memory）のような比較的（例えば外部メモリ１３１２と比較して）小容量だが応答速度が高速な半導体メモリにより実現するのが望ましい。

コーデックエンジン１５１６は、画像データの符号化や復号に関する処理を行う。このコーデックエンジン１５１６が対応する符号化・復号の方式は任意であり、その数は１つであってもよいし、複数であってもよい。例えば、コーデックエンジン１５１６は、複数の符号化・復号方式のコーデック機能を備え、その中から選択されたもので画像データの符号化または符号化データの復号を行うようにしてもよい。

図２０に示される例において、コーデックエンジン１５１６は、コーデックに関する処理の機能ブロックとして、例えば、MPEG-2 Video１５４１、AVC/H.264１５４２、HEVC/H.265１５４３、HEVC/H.265(Scalable)１５４４、HEVC/H.265(Multi-view)１５４５、およびMPEG-DASH１５５１を有する。

MPEG-2 Video１５４１は、画像データをMPEG-2方式で符号化したり復号したりする機能ブロックである。AVC/H.264１５４２は、画像データをAVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265１５４３は、画像データをHEVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265(Scalable)１５４４は、画像データをHEVC方式でスケーラブル符号化したりスケーラブル復号したりする機能ブロックである。HEVC/H.265(Multi-view)１５４５は、画像データをHEVC方式で多視点符号化したり多視点復号したりする機能ブロックである。

MPEG-DASH１５５１は、画像データをMPEG-DASH（MPEG-Dynamic Adaptive Streaming over HTTP）方式で送受信する機能ブロックである。MPEG-DASHは、HTTP（HyperText Transfer Protocol）を使ってビデオのストリーミングを行う技術であり、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択し伝送することを特徴の１つとする。MPEG-DASH１５５１は、規格に準拠するストリームの生成やそのストリームの伝送制御等を行い、画像データの符号化・復号については、上述したMPEG-2 Video１５４１乃至HEVC/H.265(Multi-view)１５４５を利用する。

メモリインタフェース１５１７は、外部メモリ１３１２用のインタフェースである。画像処理エンジン１５１４やコーデックエンジン１５１６から供給されるデータは、メモリインタフェース１５１７を介して外部メモリ１３１２に供給される。また、外部メモリ１３１２から読み出されたデータは、メモリインタフェース１５１７を介してビデオプロセッサ１３３２（画像処理エンジン１５１４またはコーデックエンジン１５１６）に供給される。

多重化・逆多重化部（MUX DMUX）１５１８は、符号化データのビットストリーム、画像データ、ビデオ信号等、画像に関する各種データの多重化や逆多重化を行う。この多重化・逆多重化の方法は任意である。例えば、多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、複数のデータを１つにまとめるだけでなく、所定のヘッダ情報等をそのデータに付加することもできる。また、逆多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、１つのデータを複数に分割するだけでなく、分割した各データに所定のヘッダ情報等を付加することもできる。つまり、多重化・逆多重化部（MUX DMUX）１５１８は、多重化・逆多重化によりデータのフォーマットを変換することができる。例えば、多重化・逆多重化部（MUX DMUX）１５１８は、ビットストリームを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームや、記録用のファイルフォーマットのデータ（ファイルデータ）に変換することができる。もちろん、逆多重化によりその逆変換も可能である。

ネットワークインタフェース１５１９は、例えばブロードバンドモデム１３３３やコネクティビティ１３２１等向けのインタフェースである。ビデオインタフェース１５２０は、例えばコネクティビティ１３２１やカメラ１３２２等向けのインタフェースである。

次に、このようなビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークからトランスポートストリームを受信すると、そのトランスポートストリームは、ネットワークインタフェース１５１９を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、例えば、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてファイルデータに変換され、ビデオインタフェース１５２０を介して例えばコネクティビティ１３２１等に出力され、各種記録媒体に記録される。

さらに、例えば、コネクティビティ１３２１等により図示せぬ記録媒体から読み出された、画像データが符号化された符号化データのファイルデータは、ビデオインタフェース１５２０を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてトランスポートストリームに変換され、ネットワークインタフェース１５１９を介して例えばコネクティビティ１３２１やブロードバンドモデム１３３３等に供給され図示せぬ他の装置に伝送される。

なお、ビデオプロセッサ１３３２内の各処理部の間での画像データやその他のデータの授受は、例えば、内部メモリ１５１５や外部メモリ１３１２を利用して行われる。また、パワーマネージメントモジュール１３１３は、例えば制御部１５１１への電力供給を制御する。

このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、コーデックエンジン１５１６に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、コーデックエンジン１５１６が、上述した画像符号化装置１００の機能若しくは画像復号装置２００の機能またはその両方を有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図１２を参照して上述した各実施の形態と同様の効果を得ることができる。

なお、コーデックエンジン１５１６において、本技術（すなわち、画像符号化装置１００の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。

以上にビデオプロセッサ１３３２の構成を２例示したが、ビデオプロセッサ１３３２の構成は任意であり、上述した２例以外のものであってもよい。また、このビデオプロセッサ１３３２は、１つの半導体チップとして構成されるようにしてもよいが、複数の半導体チップとして構成されるようにしてもよい。例えば、複数の半導体を積層する３次元積層LSIとしてもよい。また、複数のLSIにより実現されるようにしてもよい。

（装置への適用例）
ビデオセット１３００は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット１３００は、テレビジョン装置９００（図１４）、携帯電話機９２０（図１５）、記録再生装置９４０（図１６）、撮像装置９６０（図１７）等に組み込むことができる。ビデオセット１３００を組み込むことにより、その装置は、図１乃至図１２を参照して上述した各実施の形態と同様の効果を得ることができる。

なお、上述したビデオセット１３００の各構成の一部であっても、ビデオプロセッサ１３３２を含むものであれば、本技術を適用した構成として実施することができる。例えば、ビデオプロセッサ１３３２のみを本技術を適用したビデオプロセッサとして実施することができる。また、例えば、上述したように点線１３４１により示されるプロセッサやビデオモジュール１３１１等を、本技術を適用したプロセッサやモジュール等として実施することができる。さらに、例えば、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４を組み合わせ、本技術を適用したビデオユニット１３６１として実施することもできる。いずれの構成の場合であっても、図１乃至図１２を参照して上述した各実施の形態と同様の効果を得ることができる。

つまり、ビデオプロセッサ１３３２を含むものであればどのような構成であっても、ビデオセット１３００の場合と同様に、画像データを処理する各種装置に組み込むことができる。例えば、ビデオプロセッサ１３３２、点線１３４１により示されるプロセッサ、ビデオモジュール１３１１、または、ビデオユニット１３６１を、テレビジョン装置９００（図１４）、携帯電話機９２０（図１５）、記録再生装置９４０（図１６）、撮像装置９６０（図１７）等に組み込むことができる。そして、本技術を適用したいずれかの構成を組み込むことにより、その装置は、ビデオセット１３００の場合と同様に、図１乃至図１２を参照して上述した各実施の形態と同様の効果を得ることができる。

＜第９実施の形態＞
また、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。図２１は、本技術を適用したネットワークシステムの概略的な構成の一例を示している。

図２１に示されるネットワークシステム１６００は、機器同士が、ネットワークを介して画像（動画像）に関する情報を授受するシステムである。このネットワークシステム１６００のクラウドサービス１６０１は、自身に通信可能に接続されるコンピュータ１６１１、AV（Audio Visual）機器１６１２、携帯型情報処理端末１６１３、IoT（Internet of Things）デバイス１６１４等の端末に対して、画像（動画像）に関するサービスを提供するシステムである。例えば、クラウドサービス１６０１は、所謂動画配信（オンデマンドやライブ配信）のような、画像（動画像）のコンテンツの供給サービスを端末に提供する。また、例えば、クラウドサービス１６０１は、端末から画像（動画像）のコンテンツを受け取って保管するバックアップサービスを提供する。また、例えば、クラウドサービス１６０１は、端末同士の画像（動画像）のコンテンツの授受を仲介するサービスを提供する。

クラウドサービス１６０１の物理構成は任意である。例えば、クラウドサービス１６０１は、動画像を保存し、管理するサーバ、動画像を端末に配信するサーバ、動画像を端末から取得するサーバ、ユーザ（端末）や課金を管理するサーバ等の各種サーバや、インターネットやLAN等の任意のネットワークを有するようにしてもよい。

コンピュータ１６１１は、例えば、パーソナルコンピュータ、サーバ、ワークステーション等のような情報処理装置により構成される。AV機器１６１２は、例えば、テレビジョン受像機、ハードディスクレコーダ、ゲーム機器、カメラ等のような画像処理装置により構成される。携帯型情報処理端末１６１３は、例えば、ノート型パーソナルコンピュータ、タブレット端末、携帯電話機、スマートフォン等のような携帯型の情報処理装置により構成される。IoTデバイス１６１４は、例えば、機械、家電、家具、その他の物、ICタグ、カード型デバイス等、画像に関する処理を行う任意の物体により構成される。これらの端末は、いずれも通信機能を有し、クラウドサービス１６０１に接続し（セッションを確立し）、クラウドサービス１６０１と情報の授受を行う（すなわち通信を行う）ことができる。また、各端末は、他の端末と通信を行うこともできる。端末間の通信は、クラウドサービス１６０１を介して行うようにしてもよいし、クラウドサービス１６０１を介さずに行うようにしてもよい。

以上のようなネットワークシステム１６００に本技術を適用し、端末間や、端末とクラウドサービス１６０１との間で画像（動画像）のデータが授受される際に、その画像データを各実施の形態において上述したように符号化・復号するようにしてもよい。つまり、端末（コンピュータ１６１１乃至IoTデバイス１６１４）やクラウドサービス１６０１が、それぞれ、上述した画像符号化装置１００や画像復号装置２００の機能を有するようにしてもよい。このようにすることにより、画像データを授受する端末（コンピュータ１６１１乃至IoTデバイス１６１４）やクラウドサービス１６０１は、図１乃至図１２を参照して上述した各実施の形態と同様の効果を得ることができる。

なお、符号化データ（ビットストリーム）に関する各種情報は、符号化データに多重化されて伝送され又は記録されるようにしてもよいし、符号化データに多重化されることなく、符号化データと関連付けられた別個のデータとして伝送され又は記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

さらに、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

本開示は、以下のような構成もとることができる。

（１）
カレントブロックとの距離が同一である画素群をラインとし、前記カレントブロックに最も近いラインである第１のラインを参照するときのイントラ予測モードである第１のイントラ予測モードと、前記第１のライン以外のラインである第２のラインを参照するときのイントラ予測モードである第２のイントラ予測モードとから、前記カレントブロックのイントラ予測時に参照するラインである参照ラインとイントラ予測モードを選択する選択部と、
前記選択部により選択された前記参照ラインと前記イントラ予測モードに基づいて、前記カレントブロックに対して前記イントラ予測を行う予測部と
を備え、
前記第２のイントラ予測モードは、前記第１のイントラ予測モードの一部である
ように構成された
画像処理装置。
（２）
前記第２のイントラ予測モードは、水平方向、垂直方向、および斜め方向を参照方向として示すイントラ予測モードを含む
ように構成された
前記（１）に記載の画像処理装置。
（３）
前記第２のイントラ予測モードは、前記第１のイントラ予測モードを所定数おきに選択したものである
ように構成された
前記（２）に記載の画像処理装置。
（４）
前記第２のイントラ予測モードは、前記カレントブロックの周辺のブロックのイントラ予測モードである
ように構成された
前記（１）に記載の画像処理装置。
（５）
前記選択部により選択された前記イントラ予測モードを示すイントラ予測モード情報を設定する設定部
をさらに備え、
前記設定部は、前記選択部により選択された前記イントラ予測モードが、前記第１のイントラ予測モードと前記第２のイントラ予測モードに共通するイントラ予測モードである場合、前記選択部により選択された前記参照ラインを示す参照ライン情報を設定する
ように構成された
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記選択部は、前記イントラ予測モードを示すイントラ予測モード情報に基づいて、前記イントラ予測モードを選択する
ように構成された
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（７）
前記選択部は、前記イントラ予測モード情報が示す前記イントラ予測モードが、前記第１のイントラ予測モードと前記第２のイントラ予測モードに共通するイントラ予測モードである場合、前記参照ラインを示す参照ライン情報に基づいて前記参照ラインを選択し、前記イントラ予測モード情報が示す前記イントラ予測モードが、前記第１のイントラ予測モードと前記第２のイントラ予測モードに共通するイントラ予測モードではない場合、前記参照ラインとして前記第１のラインを選択する
ように構成された
前記（６）に記載の画像処理装置。
（８）
画像処理装置が、
カレントブロックとの距離が同一である画素群をラインとし、前記カレントブロックに最も近いラインである第１のラインを参照するときのイントラ予測モードである第１のイントラ予測モードと、前記第１のライン以外のラインである第２のラインを参照するときのイントラ予測モードである第２のイントラ予測モードとから、前記カレントブロックのイントラ予測時に参照するラインである参照ラインとイントラ予測モードを選択する選択ステップと、
前記選択ステップの処理により選択された前記参照ラインと前記イントラ予測モードに基づいて、前記カレントブロックに対して前記イントラ予測を行う予測ステップと
を含み、
前記第２のイントラ予測モードは、前記第１のイントラ予測モードの一部である
画像処理方法。
（９）
イントラ予測の拡張が、イントラ予測モードが示す参照方向の拡張であるか、または、カレントブロックとの距離が同一である画素群をラインとしたときの、前記カレントブロックの前記イントラ予測において参照するラインである参照ラインの拡張であるかを示す拡張情報に基づいて、前記カレントブロックに対して前記イントラ予測を行う予測部
を備える画像処理装置。
（１０）
前記拡張情報が、前記参照ラインの拡張であることを示す場合、複数の前記ラインのそれぞれを参照するときの第１の数のイントラ予測モードから、参照ラインとイントラ予測モードを選択する選択部
をさらに備え、
前記予測部は、前記選択部により選択された前記参照ラインと前記イントラ予測モードに基づいて、前記カレントブロックに対して前記イントラ予測を行う
ように構成された
前記（９）に記載の画像処理装置。
（１１）
前記選択部により選択された前記参照ラインと前記イントラ予測モードを示す情報を設定する設定部
をさらに備える
前記（１０）に記載の画像処理装置。
（１２）
前記選択部は、前記拡張情報が、前記参照方向の拡張であることを示す場合、前記カレントブロックに最も近いラインである最近ラインの、前記第１の数より多い第２の数のイントラ予測モードから、前記イントラ予測モードを選択し、前記最近ラインを前記参照ラインとして選択し、
前記第２の数のイントラ予測モードは、前記第１の数のイントラ予測モードを含む
ように構成された
前記（１０）に記載の画像処理装置。
（１３）
前記複数のラインの前記第１の数のイントラ予測モードの合計数は、前記第２の数以下である
ように構成された
前記（１２）に記載の画像処理装置。
（１４）
各ラインと各イントラ予測モードに固有の情報を割り当て、前記選択部により選択された前記参照ラインと前記イントラ予測モードの前記情報を設定する設定部
をさらに備える
前記（１３）に記載の画像処理装置。
（１５）
前記拡張情報を設定する設定部
をさらに備える
前記（９）、（１０）、（１２）、および（１３）のいずれかに記載の画像処理装置。
（１６）
画像処理装置が、
イントラ予測の拡張が、イントラ予測モードが示す参照方向の拡張であるか、または、カレントブロックとの距離が同一である画素群をラインとしたときの、前記カレントブロックの前記イントラ予測において参照するラインである参照ラインの拡張であるかを示す拡張情報に基づいて、前記カレントブロックに対して前記イントラ予測を行うイントラ予測ステップ
を含む画像処理方法。

１００ 画像符号化装置, １０１Ａ 選択部, １０１Ｂ 設定部, １１９ 予測部, １３０ カレントブロック, １４０乃至１４３ ライン， ２００ 画像復号装置, ２１１ 選択部

Claims (16)

1. カレントブロックとの距離が同一である画素群をラインとし、前記カレントブロックに最も近いラインである第１のラインを参照するときのイントラ予測モードである第１のイントラ予測モードと、前記第１のライン以外のラインである第２のラインを参照するときのイントラ予測モードである第２のイントラ予測モードとから、前記カレントブロックのイントラ予測時に参照するラインである参照ラインとイントラ予測モードを選択する選択部と、
   前記選択部により選択された前記参照ラインと前記イントラ予測モードに基づいて、前記カレントブロックに対して前記イントラ予測を行う予測部と
   を備え、
   前記第２のイントラ予測モードは、前記第１のイントラ予測モードの一部である
   ように構成された
   画像処理装置。
2. 前記第２のイントラ予測モードは、水平方向、垂直方向、および斜め方向を参照方向として示すイントラ予測モードを含む
   ように構成された
   請求項１に記載の画像処理装置。
3. 前記第２のイントラ予測モードは、前記第１のイントラ予測モードを所定数おきに選択したものである
   ように構成された
   請求項２に記載の画像処理装置。
4. 前記第２のイントラ予測モードは、前記カレントブロックの周辺のブロックのイントラ予測モードである
   ように構成された
   請求項１に記載の画像処理装置。
5. 前記選択部により選択された前記イントラ予測モードを示すイントラ予測モード情報を設定する設定部
   をさらに備え、
   前記設定部は、前記選択部により選択された前記イントラ予測モードが、前記第１のイントラ予測モードと前記第２のイントラ予測モードに共通するイントラ予測モードである場合、前記選択部により選択された前記参照ラインを示す参照ライン情報を設定する
   ように構成された
   請求項１に記載の画像処理装置。
6. 前記選択部は、前記イントラ予測モードを示すイントラ予測モード情報に基づいて、前記イントラ予測モードを選択する
   ように構成された
   請求項１に記載の画像処理装置。
7. 前記選択部は、前記イントラ予測モード情報が示す前記イントラ予測モードが、前記第１のイントラ予測モードと前記第２のイントラ予測モードに共通するイントラ予測モードである場合、前記参照ラインを示す参照ライン情報に基づいて前記参照ラインを選択し、前記イントラ予測モード情報が示す前記イントラ予測モードが、前記第１のイントラ予測モードと前記第２のイントラ予測モードに共通するイントラ予測モードではない場合、前記参照ラインとして前記第１のラインを選択する
   ように構成された
   請求項６に記載の画像処理装置。
8. 画像処理装置が、
   カレントブロックとの距離が同一である画素群をラインとし、前記カレントブロックに最も近いラインである第１のラインを参照するときのイントラ予測モードである第１のイントラ予測モードと、前記第１のライン以外のラインである第２のラインを参照するときのイントラ予測モードである第２のイントラ予測モードとから、前記カレントブロックのイントラ予測時に参照するラインである参照ラインとイントラ予測モードを選択する選択ステップと、
   前記選択ステップの処理により選択された前記参照ラインと前記イントラ予測モードに基づいて、前記カレントブロックに対して前記イントラ予測を行う予測ステップと
   を含み、
   前記第２のイントラ予測モードは、前記第１のイントラ予測モードの一部である
   画像処理方法。
9. イントラ予測の拡張が、イントラ予測モードが示す参照方向の拡張であるか、または、カレントブロックとの距離が同一である画素群をラインとしたときの、前記カレントブロックの前記イントラ予測において参照するラインである参照ラインの拡張であるかを示す拡張情報に基づいて、前記カレントブロックに対して前記イントラ予測を行う予測部
   を備える画像処理装置。
10. 前記拡張情報が、前記参照ラインの拡張であることを示す場合、複数の前記ラインのそれぞれを参照するときの第１の数のイントラ予測モードから、参照ラインとイントラ予測モードを選択する選択部
    をさらに備え、
    前記予測部は、前記選択部により選択された前記参照ラインと前記イントラ予測モードに基づいて、前記カレントブロックに対して前記イントラ予測を行う
    ように構成された
    請求項９に記載の画像処理装置。
11. 前記選択部により選択された前記参照ラインと前記イントラ予測モードを示す情報を設定する設定部
    をさらに備える
    請求項１０に記載の画像処理装置。
12. 前記選択部は、前記拡張情報が、前記参照方向の拡張であることを示す場合、前記カレントブロックに最も近いラインである最近ラインの、前記第１の数より多い第２の数のイントラ予測モードから、前記イントラ予測モードを選択し、前記最近ラインを前記参照ラインとして選択し、
    前記第２の数のイントラ予測モードは、前記第１の数のイントラ予測モードを含む
    ように構成された
    請求項１０に記載の画像処理装置。
13. 前記複数のラインの前記第１の数のイントラ予測モードの合計数は、前記第２の数以下である
    ように構成された
    請求項１２に記載の画像処理装置。
14. 各ラインと各イントラ予測モードに固有の情報を割り当て、前記選択部により選択された前記参照ラインと前記イントラ予測モードの前記情報を設定する設定部
    をさらに備える
    請求項１３に記載の画像処理装置。
15. 前記拡張情報を設定する設定部
    をさらに備える
    請求項９に記載の画像処理装置。
16. 画像処理装置が、
    イントラ予測の拡張が、イントラ予測モードが示す参照方向の拡張であるか、または、カレントブロックとの距離が同一である画素群をラインとしたときの、前記カレントブロックの前記イントラ予測において参照するラインである参照ラインの拡張であるかを示す拡張情報に基づいて、前記カレントブロックに対して前記イントラ予測を行うイントラ予測ステップ
    を含む画像処理方法。

Images