JP7500981B2 - 画像符号化装置、画像復号装置、及び画像処理システム - Google Patents

Description

本発明は、画像符号化装置、画像復号装置、及び画像処理システムに関する。

情報漏えいの抑制又はセキュリティの向上のため、クラウド上のサーバ又は仮想マシンを使用する仮想デスクトップが普及してきている。仮想デスクトップでは、クライアント端末からサーバを遠隔操作するために、リモートデスクトップシステムが使用されている。

図１は、リモートデスクトップシステムの例を示している。図１のリモートデスクトップシステムは、クライアント端末１０１及びサーバ１０２を含み、クライアント端末１０１とサーバ１０２は、通信ネットワーク１０３を介して通信する。サーバ１０２はクラウド等の遠隔環境に設けられ、サーバ１０２内ではＯＳ（Operating System）及びアプリケーションプログラムが動作する。

サーバ１０２は、デスクトップ画像をクライアント端末１０１へ送信し、クライアント端末１０１は、受信したデスクトップ画像を画面上に表示する。ユーザがキーボード又はマウスを用いて操作を行うと、クライアント端末１０１は、ユーザが行った操作の操作情報をサーバ１０２へ送信する。サーバ１０２は、受信した操作情報に応じてデスクトップ画像を変更し、変更後のデスクトップ画像をクライアント端末１０１へ送信する。

リモートデスクトップシステムに関連して、シンクライアントの汎用性を維持しつつ、操作レスポンスを向上させることができる情報処理装置が知られている（例えば、特許文献１を参照）。色差フォーマットに応じた輝度信号と色差信号のイントラ予測により画像信号を効率良く復号することのできる画像復号装置も知られている（例えば、特許文献２を参照）。映像符号化に関連して、ＨＥＶＣ（High Efficiency Video Coding）も知られている（例えば、非特許文献１を参照）。

特開２０１２－１５８６８号公報 特開２０１６－１５４３５３号公報

ITU-T H.265 (11/2019), "High efficiency video coding", Recommendation ITU-T H.265, ISO/IEC 23008-2

仮想デスクトップでは、ユーザが画面操作を行うことが多い。サーバから転送されるデスクトップ画像には、ＣＡＤ（Computer-Aided Design）等の高精細映像からインターネット動画等に至るまで、様々な映像が含まれる。この場合、映像の違いに応じて、適切な符号化処理を行うことが望ましい。

しかしながら、デスクトップ画像を複数のブロックに分割し、ブロック毎に画像フォーマットを切り替えて符号化処理を行う場合、各ブロックの画像フォーマットを示す識別情報の符号量が増大する。

なお、かかる問題は、リモートデスクトップシステムにおけるデスクトップ画像の符号化処理に限らず、様々な画像の符号化処理において生ずるものである。

１つの側面において、本発明は、画像内のブロック毎に画像フォーマットを選択可能な符号化処理において、発生する符号量を抑制することを目的とする。

１つの案では、画像符号化装置は、選択部及び符号化部を含む。選択部は、画像内の符号化対象ブロックに適用されるイントラ予測モードに基づいて、第１画像フォーマット及び第２画像フォーマットから、符号化対象ブロックの符号化処理に適用される第３画像フォーマットを選択する。第２画像フォーマットは、第１画像フォーマットの情報量よりも少ない情報量を有する。符号化部は、第３画像フォーマットを用いたイントラ予測符号化により、符号化対象ブロックを符号化する。

１つの側面によれば、画像内のブロック毎に画像フォーマットを選択可能な符号化処理において、発生する符号量を抑制することができる。

リモートデスクトップシステムを示す図である。 ＹＵＶ４：４：４及びＹＵＶ４：２：０を示す図である。 デスクトップ画像を示す図である。 画像符号化装置の機能的構成図である。 画像復号装置の機能的構成図である。 画像処理システムの機能的構成図である。 隣接ブロック内の隣接画素を示す図である。 映像符号化処理のフローチャート（その１）である。 映像符号化処理のフローチャート（その２）である。 映像復号処理のフローチャート（その１）である。 映像復号処理のフローチャート（その２）である。 情報処理装置のハードウェア構成図である。

以下、図面を参照しながら、実施形態を詳細に説明する。

特許文献１のサーバ装置は、画面を複数の領域に分割し、領域毎に変更の頻度を監視する。そして、サーバ装置は、変更の頻度が閾値を超える高頻度変更領域のデータを、動画向けの圧縮方式のデータに圧縮して、高頻度変更領域を特定する属性情報とともに、クライアント端末へ送信する。また、サーバ装置は、高頻度変更領域以外の領域については、更新矩形の画像を生成して、更新矩形を特定する属性情報とともに、クライアント端末へ送信する。

クライアント端末は、高頻度変更領域については、受信した動画向けの圧縮方式のデータを復号して、受信した属性情報により特定される領域に表示する。また、クライアント端末は、高頻度変更領域以外の領域については、受信した更新矩形の画像を、受信した属性情報により特定される領域に表示する。

特許文献１のサーバ装置によれば、クライアント端末へ送信される画像のうち、操作レスポンスを悪化させる画像に重点を置いてデータ量を低減しつつ、圧縮処理及び復号処理の負荷を最小限にできる。したがって、シンクライアントの汎用性を維持しつつ、操作レスポンスを向上させることが可能になる。

ところで、特許文献１の技術を応用して、デスクトップ画像を高頻度変更領域と低頻度変更領域とに分割し、高頻度変更領域に動画像符号化を適用し、低頻度変更領域に静止画符号化を適用することも可能である。高頻度変更領域は、例えば、動画領域のように、変更の頻度が閾値を超える領域である。低頻度変更領域は、例えば、静止画領域のように、変更の頻度が閾値以下の領域である。

高頻度変更領域では、低頻度変更領域と比較して、画質劣化が認識されにくいので、サーバ装置は、画像の圧縮信号を符号化する。一方、低頻度変更領域では、高頻度変更領域と比較して、画質劣化が認識されやすいので、画像の非圧縮信号を符号化する。これにより、高頻度変更領域の符号量を削減するとともに、低頻度変更領域の画質を維持することができる。

動画像符号化では、映像に含まれる複数の時刻の画像各々が複数のブロックに分割され、ブロック単位で符号化処理が行われる。符号化対象ブロックとしては、通常、ＹＵＶ色空間のブロックが用いられる。ＹＵＶ色空間の成分Ｙは、輝度信号を表し、成分Ｕ及び成分Ｖは、色差信号を表す。

画像の非圧縮信号としては、例えば、ＹＵＶ４：４：４の画像フォーマットの信号を用いることができ、画像の圧縮信号としては、例えば、ＹＵＶ４：２：０の画像フォーマットの信号用いることができる。低頻度変更領域のブロックをＹＵＶ４：４：４で符号化し、高頻度変更領域のブロックをＹＵＶ４：２：０で符号化することで、デスクトップ画像全体をＹＵＶ４：４：４で符号化する場合と比較して、主観的画質の低下を抑制しつつ、ネットワーク帯域を削減することが可能になる。

図２は、ＹＵＶ４：４：４及びＹＵＶ４：２：０の例を示している。ＹＵＶ４：４：４は、成分Ｙ、成分Ｕ、及び成分Ｖの各成分のブロックが均等のサイズを有する画像フォーマットである。一方、ＹＵＶ４：２：０は、成分Ｕ及び成分Ｖのブロックの水平方向及び垂直方向のサイズが、成分Ｙのブロックの１／２のサイズを有する画像フォーマットである。動画像符号化では、色差信号の劣化が認知されにくい、という人間の視覚特性を生かして、ＹＵＶ４：２：０のブロックが用いられることがある。

以下では、ＹＵＶ４：４：４を用いた符号化をＹＵＶ４：４：４符号化と記載し、ＹＵＶ４：２：０を用いた符号化をＹＵＶ４：２：０符号化と記載することがある。

図３は、図１のリモートデスクトップシステムにおいて、クライアント端末１０１の画面上に表示されるデスクトップ画像の例を示している。図３のデスクトップ画像は、例えば、映像編集アプリケーションプログラムの操作画面を表し、静止画領域３０１、動画領域３０２、及び動画領域３０３を含む。静止画領域３０１には、テキスト等が表示され、動画領域３０２及び動画領域３０３には、編集対象の映像が表示される。この場合、静止画領域３０１に対しては、ＹＵＶ４：４：４符号化が適用され、動画領域３０２及び動画領域３０３に対しては、ＹＵＶ４：２：０符号化が適用される。

ＹＵＶ４：４：４符号化は、ＹＵＶ４：２：０符号化と比較して、符号化後の画質は良くなるものの発生符号量が増大する。したがって、符号化対象の領域に応じてＹＵＶ４：４：４符号化とＹＵＶ４：２：０符号化とを適応的に切り替えることは、主観的画質と発生符号量の双方の観点から見て好ましいと言える。

しかしながら、ＹＵＶ４：４：４符号化又はＹＵＶ４：２：０符号化のうち、いずれの符号化が適用されるかを示すフラグを、ブロックのような小領域毎に付加する場合、符号化されたデスクトップ画像のビットストリームに含まれるフラグの符号量が増大する。

図４は、実施形態の画像符号化装置の機能的構成例を示している。図４の画像符号化装置４０１は、選択部４１１及び符号化部４１２を含む。

選択部４１１は、画像内の符号化対象ブロックに適用されるイントラ予測モードに基づいて、第１画像フォーマット及び第２画像フォーマットから、符号化対象ブロックの符号化処理に適用される第３画像フォーマットを選択する。第２画像フォーマットは、第１画像フォーマットの情報量よりも少ない情報量を有する。符号化部４１２は、第３画像フォーマットを用いたイントラ予測符号化により、符号化対象ブロックを符号化する。

図４の画像符号化装置４０１によれば、画像内のブロック毎に画像フォーマットを選択可能な符号化処理において、発生する符号量を抑制することができる。

図５は、実施形態の画像復号装置の機能的構成例を示している。図５の画像復号装置５０１は、選択部５１１及び復号部５１２を含む。

選択部５１１は、画像内の復号対象ブロックのイントラ予測モードに基づいて、第１画像フォーマット及び第２画像フォーマットから、復号対象ブロックの復号処理に適用される第３画像フォーマットを選択する。第２画像フォーマットは、第１画像フォーマットの情報量よりも少ない情報量を有する。復号部５１２は、第３画像フォーマットを用いたイントラ予測復号により、復号対象ブロックの符号情報を復号する。

図５の画像復号装置５０１によれば、画像内のブロック毎に画像フォーマットを選択可能な符号化処理において、発生する符号量を抑制することができる。

図６は、図４の画像符号化装置４０１及び図５の画像復号装置５０１を含む画像処理システムの機能的構成例を示している。図６の画像処理システムは、例えば、リモートデスクトップシステムであり、クライアント端末６０１及びサーバ６０２を含む。クライアント端末６０１は、図５の画像復号装置５０１に対応し、サーバ６０２は、図４の画像符号化装置４０１に対応する。

クライアント端末６０１とサーバ６０２は、通信ネットワーク６０３を介して通信する。通信ネットワーク６０３は、例えば、ＷＡＮ（Wide Area Network）又はＬＡＮ（Local Area Network）である。クライアント端末６０１は、例えば、パーソナルコンピュータ又は携帯端末装置である。携帯端末装置としては、例えば、スマートフォン、タブレット、又はノート型パーソナルコンピュータが用いられる。

クライアント端末６０１は、入力部６１１、選択部６１２、復号部６１３、フレームメモリ６１４、表示部６１５、及び通信部６１６を含む。選択部６１２及び復号部６１３は、図５の選択部５１１及び復号部５１２にそれぞれ対応する。選択部６１２は、第２選択部の一例である。

サーバ６０２は、映像生成部６２１、選択部６２２、符号化部６２３、フレームメモリ６２４、及び通信部６２５を含む。選択部６２２及び符号化部６２３は、図４の選択部４１１及び符号化部４１２にそれぞれ対応する。選択部６２２は、第１選択部の一例である。

クライアント端末６０１の入力部６１１は、ユーザから操作入力を受け付け、通信部６１６は、受け付けられた操作入力の操作情報をサーバ６０２へ送信する。

サーバ６０２の通信部６２５は、クライアント端末６０１から操作情報を受信する。映像生成部６２１は、受信した操作情報に応じて、クライアント端末６０１の画面上に表示される映像を生成し、生成された映像を符号化部６２３へ出力する。映像は、時系列の複数の画像を含む。各画像は、符号化対象画像に対応し、ピクチャ又はフレームと呼ばれることもある。

符号化部６２３は、映像に含まれる各画像を複数のブロックに分割し、ブロック単位で符号化処理を行う。各ブロックは、符号化対象ブロックに対応し、インター予測符号化又はイントラ予測符号化によって符号化される。インター予測符号化は、符号化対象画像を符号化済み画像の情報を用いて符号化する符号化方式であり、イントラ予測符号化は、符号化対象画像が持つ情報のみを用いて符号化対象画像を符号化する符号化方式である。ブロックとしては、例えば、ＣＵ（Coding Unit）を用いることができる。

イントラ予測符号化の詳細については、例えば、非特許文献１の８．４章等に記載されている。イントラ予測自体は、ＨＥＶＣの１つ前の標準化であるＭＰＥＧ－ＡＶＣ（Moving Picture Experts Group-Advanced Video Coding）／Ｈ．２６４から採用されている。

符号化部６２３は、符号化済み画像から参照画像を生成して、フレームメモリ６２４に格納し、参照画像を用いてインター予測符号化を行う。また、符号化部６２３は、符号化対象画像内の符号化済みブロックから参照画素を生成して、フレームメモリ６２４に格納し、参照画素を用いてイントラ予測符号化を行う。符号化部６２３は、符号化済み画像又は符号化済みブロックの符号情報に対して局所復号処理を行うことで、参照画像又は参照画素を生成する。

符号化部６２３は、各ブロックに適用される予測モードを決定し、決定された予測モードに基づいてブロックを符号化する。このとき、選択部６２２は、決定された予測モードに応じて、画像フォーマットＦ１及び画像フォーマットＦ２から、ブロックの符号化処理に適用される画像フォーマットを選択する。

画像フォーマットＦ１及び画像フォーマットＦ２は、第１画像フォーマット及び第２画像フォーマットにそれぞれ対応する。画像フォーマットＦ２の画素数は、画像フォーマットＦ１の画素数よりも少ない。したがって、画像フォーマットＦ１は、高解像度の画像フォーマットであり、画像フォーマットＦ２は、画像フォーマットＦ１よりも解像度が低い低解像度の画像フォーマットである。ＹＵＶ４：４：４は、画像フォーマットＦ１の一例であり、ＹＵＶ４：２：０は、画像フォーマットＦ２の一例である。

例えば、符号化対象画像の画像フォーマットが画像フォーマットＦ１である場合、符号化部６２３は、符号化対象ブロックの画像をダウンサンプリングにより圧縮することで、画像フォーマットＦ２のブロックを生成することができる。

決定された予測モードがイントラ予測モードである場合、選択部６２２は、決定されたイントラ予測モードに基づいて、画像フォーマットＦ１又は画像フォーマットＦ２を選択する。そして、符号化部６２３は、選択された画像フォーマットを用いたイントラ予測符号化により、ブロックを符号化する。

一方、決定された予測モードがインター予測モードである場合、選択部６２２は、画像フォーマットＦ２を選択し、符号化部６２３は、画像フォーマットＦ２を用いたインター予測符号化により、ブロックを符号化する。インター予測モードが適用されるブロックに対して画像フォーマットＦ２を選択することで、インター予測符号化により符号化されるブロックの符号量を削減することができる。

強いエッジを含む画像は、弱いエッジのみを含む画像と比較して、圧縮による画質劣化が認識されやすい。そこで、ブロック内に強いエッジが存在する場合には、画像フォーマットＦ１を適用することで主観的画質の低下を抑制し、ブロック内に強いエッジが存在しない場合には、画像フォーマットＦ２を適用することで発生符号量の増加を抑制することが望ましい。

イントラ予測モードは、Planar予測、ＤＣ（Direct Current）予測、又は角度予測のいずれかを表している。このうち、Planar予測及びＤＣ予測は、角度予測以外のイントラ予測に対応する。

イントラ予測モードがPlanar予測又はＤＣ予測を表す場合、符号化対象ブロック内に強いエッジが存在しないと考えられるため、選択部６２２は、画像フォーマットＦ２を選択する。一方、イントラ予測モードが角度予測を表す場合、符号化対象ブロック内に強いエッジが存在する可能性があるため、選択部６２２は、画像フォーマットＦ１を選択する。

イントラ予測モードがPlanar予測、ＤＣ予測、又は角度予測のいずれを表すかに応じて画像フォーマットを選択することで、決定されたイントラ予測モードを参照するだけで、容易に画像フォーマットを決定することができる。

ところで、イントラ予測モードが角度予測を表す場合、選択部６２２は、符号化対象ブロックに隣接する隣接ブロック内の画素の画素値に基づいて、画像フォーマットＦ１又は画像フォーマットＦ２のいずれかを選択することも可能である。隣接ブロック内の画素の画素値に基づいて画像フォーマットを選択することで、符号化済みブロックの参照画素の画素値を、画像フォーマットの選択基準として利用することができる。

例えば、選択部６２２は、隣接ブロック内で符号化対象ブロックに隣接している隣接画素の画素値を用いて、エッジ強度を計算する。隣接画素のエッジ強度が閾値よりも大きい場合、符号化対象ブロック内にも同様の強いエッジが存在すると推定できる。

図７は、隣接ブロック内の隣接画素の例を示している。符号化対象ブロック７０１の左側には左隣接ブロック７０２が隣接しており、符号化対象ブロック７０１の上側には上隣接ブロック７０３が隣接している。左隣接ブロック７０２内の左隣接画素７１２は、符号化対象ブロック７０１の左側に隣接しており、上隣接ブロック７０３内の上隣接画素７１３は、符号化対象ブロック７０１の上側に隣接している。

例えば、符号化対象ブロック７０１のサイズがＮ×Ｎである場合、イントラ予測では、左隣接ブロック７０２とその上下のブロック（左上ブロック及び左下ブロック）内の２Ｎ＋１個の画素が、左隣接の参照画素として用いられる。また、上隣接ブロック７０３とその左右のブロック（左上ブロック及び右上ブロック）内の２Ｎ＋１個の画素が、上隣接の参照画素として用いられる。このとき、左下ブロックのように、ラスタースキャン順で未処理のブロック位置に関しては、符号化済みブロックの端の画素がコピーされて利用される。

図７に示すように、水平方向の座標をｘ座標とし、垂直方向の座標をｙ座標とし、符号化対象ブロック７０１の左上画素７１１の座標を（ｘ，ｙ）＝（０，０）とする。この場合、イントラ予測では、左隣接画素７１２及び上隣接画素７１３のみではなく、左上ブロック内の座標（－１，－１）の画素と、右上ブロック内の座標（Ｎ＋１，－１）～座標（２Ｎ，－１）の画素も、参照画素として用いることが可能である。しかし、エッジ強度を計算するためには、左隣接画素７１２及び上隣接画素７１３を用いるだけでも十分である。

イントラ予測モードが角度予測を表す場合、イントラ予測モードのモード番号により、イントラ予測において左隣接画素７１２又は上隣接画素７１３のいずれが参照されるかが判明する。左隣接画素７１２が参照される場合、選択部６２２は、フレームメモリ６２４に参照画素として格納されている左隣接画素７１２の画素値を用いて、エッジ強度を計算する。また、上隣接画素７１３が参照される場合、選択部６２２は、フレームメモリ６２４に参照画素として格納されている上隣接画素７１３の画素値を用いて、エッジ強度を計算する。

エッジ強度が閾値よりも大きい場合、選択部６２２は、符号化対象ブロック７０１内に強いエッジが存在すると推定し、画像フォーマットＦ１を選択する。一方、エッジ強度が閾値よりも小さい場合、選択部６２２は、符号化対象ブロック７０１内に強いエッジが存在しないと推定し、画像フォーマットＦ２を選択する。

このように、隣接画素の画素値を用いて計算されたエッジ強度を閾値と比較することで、符号化済みブロックの参照画素の画素値から、符号化対象ブロック内の強いエッジの有無を推定することができる。したがって、画像フォーマットＦ１又は画像フォーマットＦ２のうち、符号化対象ブロックに適した画像フォーマットを選択することが可能になる。

画像のエッジは、成分Ｙ、成分Ｕ、及び成分Ｖのうち成分Ｙに最も顕著に現れるので、成分Ｙの画素値を用いてエッジ強度を計算することが有効である。この場合、選択部６２２は、ｙ座標が示す左隣接画素７１２のエッジ強度ＥＬ（ｙ）を、座標（ｘ，ｙ）における成分Ｙの画素値Ｙ（ｘ，ｙ）を用いて、次式により計算することができる。

ＥＬ（ｙ）＝｜Ｙ（－１，ｙ－１）－Ｙ（－１，ｙ）｜
＋｜Ｙ（－１，ｙ）－Ｙ（－１，ｙ＋１）｜ （１）

ＥＬ（ｙ）は、垂直方向に隣接する２つの左隣接画素７１２の画素値の差分に基づいて計算される。符号化対象ブロック７０１内に強いエッジが存在するか否かを推定する目的でＥＬ（ｙ）を計算する場合、左隣接画素７１２の画素値を用いるだけで十分であり、左隣接ブロック７０２内の他の画素を必ずしも用いる必要はない。ＥＬ（ｙ）は、符号化対象ブロック７０１の高さに対応するすべてのｙの値に対して計算される。

選択部６２２は、いずれかのＥＬ（ｙ）が閾値ＴＨＬ以上である場合、画像フォーマットＦ１を選択し、すべてのＥＬ（ｙ）が閾値ＴＨＬよりも小さい場合、画像フォーマットＦ２を選択する。選択部６２２は、ＥＬ（ｙ）を閾値ＴＨＬと比較する代わりに、すべてのＥＬ（ｙ）の統計値を閾値ＴＨＬと比較してもよい。統計値としては、平均値、中央値、最頻値、最大値等が用いられる。

同様にして、選択部６２２は、ｘ座標が示す上隣接画素７１３のエッジ強度ＥＵ（ｘ）を、次式により計算することができる。

ＥＵ（ｘ）＝｜Ｙ（ｘ－１，－１）－Ｙ（ｘ，－１）｜
＋｜Ｙ（ｘ，－１）－Ｙ（ｘ＋１，－１）｜ （２）

ＥＵ（ｘ）は、水平方向に隣接する２つの上隣接画素７１３の画素値の差分に基づいて計算される。符号化対象ブロック７０１内に強いエッジが存在するか否かを推定する目的でＥＵ（ｘ）を計算する場合、上隣接画素７１３の画素値を用いるだけで十分であり、上隣接ブロック７０３内の他の画素を必ずしも用いる必要はない。ＥＵ（ｘ）は、符号化対象ブロック７０１の幅に対応するすべてのｘの値に対して計算される。

選択部６２２は、いずれかのＥＵ（ｘ）が閾値ＴＨＵ以上である場合、画像フォーマットＦ１を選択し、すべてのＥＵ（ｘ）が閾値ＴＨＵよりも小さい場合、画像フォーマットＦ２を選択する。選択部６２２は、ＥＵ（ｘ）を閾値ＴＨＵと比較する代わりに、すべてのＥＵ（ｘ）の統計値を閾値ＴＨＵと比較してもよい。

なお、選択部６２２は、イントラ予測モードが角度予測を表す場合、符号化対象ブロック７０１内に強いエッジが存在するか否かを、エッジ強度以外の指標に基づいて推定することも可能である。エッジ強度以外の指標としては、例えば、角度予測により参照される隣接ブロックの符号化処理に適用された画像フォーマットを用いることができる。

隣接ブロックの符号化処理に画像フォーマットＦ１が適用されている場合、選択部６２２は、符号化対象ブロック７０１内に強いエッジが存在すると推定し、画像フォーマットＦ１を選択する。一方、隣接ブロックの符号化処理に画像フォーマットＦ２が適用されている場合、選択部６２２は、符号化対象ブロック７０１内に強いエッジが存在しないと推定し、画像フォーマットＦ２を選択する。

符号化対象ブロックが画像内で最初に符号化されるブロックである場合、選択部６２２は、例えば、特許文献１の技術を用いて、画像フォーマットＦ１又は画像フォーマットＦ２を選択することができる。選択部６２２は、符号化対象ブロックが高頻度変更領域に対応する場合、画像フォーマットＦ２を選択し、符号化対象ブロックが低頻度変更領域に対応する場合、画像フォーマットＦ１を選択する。

符号化部６２３は、映像に含まれる各画像の各ブロックを符号化して、符号化されたブロックの符号情報を生成するとともに、符号化されたブロックの予測モードを示す予測モード情報を生成する。通信部６２５は、各ブロックの符号情報及び予測モード情報を含むビットストリームを、クライアント端末６０１へ送信する。

クライアント端末６０１の通信部６１６は、サーバ６０２からビットストリームを受信し、受信したビットストリームを復号部６１３へ出力する。

復号部６１３は、ビットストリームに含まれる符号情報をブロック単位で復号する。各ブロックは、復号対象ブロックに対応し、各ブロックの符号情報は、インター予測復号又はイントラ予測復号によって復号される。復号部６１３は、復号画像をフレームメモリ６１４に格納し、復号画像を参照画像として用いてインター予測復号を行う。また、復号部６１３は、復号対象画像内の復号済みブロックの画素をフレームメモリ６１４に格納し、復号済みブロックの画素を参照画素として用いてイントラ予測復号を行う。

復号部６１３は、各ブロックの予測モード情報を復号することで予測モードを取得し、取得された予測モードに基づいて、ブロックの符号情報を復号する。このとき、選択部６１２は、取得された予測モードに応じて、サーバ６０２と同じ選択方法により、画像フォーマットＦ１及び画像フォーマットＦ２から、ブロックの復号処理に適用される画像フォーマットを選択する。

サーバ６０２と同じ選択方法により画像フォーマットを選択することで、各ブロックについて、符号化処理と同じ画像フォーマットを選択することが可能になる。したがって、各ブロックの符号情報に、画像フォーマットＦ１又は画像フォーマットＦ２のいずれが適用されたかを示すフラグを含める必要がなく、ビットストリームの符号量の増加を抑制することができる。

取得された予測モードがイントラ予測モードである場合、選択部６１２は、取得されたイントラ予測モードに基づいて、画像フォーマットＦ１又は画像フォーマットＦ２を選択する。そして、復号部６１３は、選択された画像フォーマットを用いたイントラ予測復号により、ブロックの符号情報を復号する。

例えば、選択部６１２は、イントラ予測モードがPlanar予測又はＤＣ予測を表す場合、画像フォーマットＦ２を選択し、イントラ予測モードが角度予測を表す場合、画像フォーマットＦ１を選択する。

イントラ予測モードが角度予測を表す場合、選択部６１２は、復号対象ブロックに隣接する隣接ブロック内の画素の画素値に基づいて、画像フォーマットＦ１又は画像フォーマットＦ２のいずれかを選択することも可能である。この場合、選択部６１２は、サーバ６０２と同様に、隣接ブロック内で復号対象ブロックに隣接している隣接画素の画素値を用いて、エッジ強度を計算する。そして、選択部６１２は、エッジ強度が閾値よりも大きい場合、画像フォーマットＦ１を選択し、エッジ強度が閾値よりも小さい場合、画像フォーマットＦ２を選択する。

一方、取得された予測モードがインター予測モードである場合、選択部６１２は、画像フォーマットＦ２を選択し、復号部６１３は、画像フォーマットＦ２を用いたインター予測復号により、ブロックの符号情報を復号する。

表示部６１５は、フレームメモリ６１４内の復号画像を画面上に表示することで、映像を再生する。

図８Ａ及び図８Ｂは、図６のサーバ６０２が行う映像符号化処理の例を示すフローチャートである。まず、符号化部６２３は、映像に含まれる画像を複数のブロックに分割し（ステップ８０１）、符号化対象ブロックと、符号化対象ブロックの予測モードとを決定する（ステップ８０２）。

次に、選択部６２２は、符号化対象ブロックの予測モードをチェックする（ステップ８０３）。予測モードがインター予測モードである場合（ステップ８０３，ＮＯ）、選択部６２２は、画像フォーマットＦ２を選択する（ステップ８１０）。一方、予測モードがイントラ予測モードである場合（ステップ８０３，ＹＥＳ）、選択部６２２は、イントラ予測モードがPlanar予測、ＤＣ予測、又は角度予測のうちいずれを表すかをチェックする（ステップ８０４）。

イントラ予測モードがPlanar予測又はＤＣ予測を表す場合（ステップ８０４，ＮＯ）、選択部６２２は、画像フォーマットＦ２を選択する（ステップ８１０）。一方、イントラ予測モードが角度予測を表す場合（ステップ８０４，ＹＥＳ）、選択部６２２は、符号化対象ブロックに隣接している隣接画素の画素値を用いて、エッジ強度を計算する（ステップ８０５）。そして、選択部６２２は、エッジ強度を閾値と比較する（ステップ８０６）。

エッジ強度が閾値以上である場合（ステップ８０６，ＹＥＳ）、選択部６２２は、画像フォーマットＦ１を選択する（ステップ８０７）。エッジ強度が閾値よりも小さい場合（ステップ８０６，ＮＯ）、選択部６２２は、画像フォーマットＦ２を選択する（ステップ８１０）。

例えば、式（１）のＥＬ（ｙ）をエッジ強度として用いた場合、選択部６２２は、符号化対象ブロックの高さに対応するすべてのｙの値に対してＥＬ（ｙ）を計算し、各ＥＬ（ｙ）を閾値ＴＨＬと比較する。そして、選択部６２２は、いずれかのＥＬ（ｙ）が閾値ＴＨＬ以上である場合、画像フォーマットＦ１を選択し、すべてのＥＬ（ｙ）が閾値ＴＨＬよりも小さい場合、画像フォーマットＦ２を選択する。

また、式（２）のＥＵ（ｘ）をエッジ強度として用いた場合、選択部６２２は、符号化対象ブロックの幅に対応するすべてのｘの値に対してＥＵ（ｘ）を計算し、各ＥＵ（ｘ）を閾値ＴＨＵと比較する。そして、選択部６２２は、いずれかのＥＵ（ｘ）が閾値ＴＨＵ以上である場合、画像フォーマットＦ１を選択し、すべてのＥＵ（ｘ）が閾値ＴＨＵよりも小さい場合、画像フォーマットＦ２を選択する。

なお、符号化対象ブロックが画像内の最初のブロックである場合、選択部６２２は、特許文献１の技術を用いて、画像フォーマットＦ１又は画像フォーマットＦ２を選択する。

次に、符号化部６２３は、選択された画像フォーマットを用いて、決定された予測モードが示す予測符号化により、符号化対象ブロックを符号化し、符号化対象ブロックの符号情報を生成する（ステップ８０８）。そして、通信部６２５は、符号化対象ブロックの符号情報及び予測モード情報を、クライアント端末６０１へ送信する（ステップ８０９）。

次に、符号化部６２３は、符号化されたブロックが画像内の最後のブロックであるか否かをチェックする（ステップ８１１）。符号化されたブロックが最後のブロックではない場合（ステップ８１１，ＮＯ）、サーバ６０２は、次のブロックについてステップ８０２以降の処理を繰り返す。

符号化されたブロックが最後のブロックである場合（ステップ８１１，ＹＥＳ）、符号化部６２３は、符号化された画像が映像に含まれる最後の画像であるか否かをチェックする（ステップ８１２）。符号化された画像が最後の画像ではない場合（ステップ８１２，ＮＯ）、サーバ６０２は、次の画像についてステップ８０１以降の処理を繰り返す。符号化された画像が最後の画像である場合（ステップ８１２，ＹＥＳ）、サーバ６０２は、処理を終了する。

図９Ａ及び図９Ｂは、図６のクライアント端末６０１が行う映像復号処理の例を示すフローチャートである。まず、通信部６１６は、サーバ６０２から、復号対象ブロックの符号情報及び予測モード情報を受信する（ステップ９０１）。

次に、復号部６１３は、予測モード情報を復号することで、復号対象ブロックの予測モードを取得し、取得された予測モードをチェックする（ステップ９０２）。予測モードがインター予測モードである場合（ステップ９０２，ＮＯ）、選択部６１２は、画像フォーマットＦ２を選択する（ステップ９０８）。一方、予測モードがイントラ予測モードである場合（ステップ９０２，ＹＥＳ）、選択部６１２は、イントラ予測モードがPlanar予測、ＤＣ予測、又は角度予測のうちいずれを表すかをチェックする（ステップ９０３）。

イントラ予測モードがPlanar予測又はＤＣ予測を表す場合（ステップ９０３，ＮＯ）、選択部６１２は、画像フォーマットＦ２を選択する（ステップ９０８）。一方、イントラ予測モードが角度予測を表す場合（ステップ９０３，ＹＥＳ）、選択部６１２は、符号化対象ブロックに隣接している隣接画素の画素値を用いて、エッジ強度を計算する（ステップ９０４）。そして、選択部６１２は、エッジ強度を閾値と比較する（ステップ９０５）。

エッジ強度が閾値以上である場合（ステップ９０５，ＹＥＳ）、選択部６１２は、画像フォーマットＦ１を選択する（ステップ９０６）。エッジ強度が閾値よりも小さい場合（ステップ９０５，ＮＯ）、選択部６１２は、画像フォーマットＦ２を選択する（ステップ９０８）。

なお、復号対象ブロックが画像内の最初のブロックである場合、選択部６１２は、特許文献１の技術を用いて、画像フォーマットＦ１又は画像フォーマットＦ２を選択する。

次に、復号部６１３は、選択された画像フォーマットを用いて、取得された予測モードが示す予測復号により、復号対象ブロックの符号情報を復号する（ステップ９０７）。そして、復号部６１３は、復号対象ブロックの復号画素をフレームメモリ６１４に格納する。

次に、復号部６１３は、復号された符号情報が、画像内の最後のブロックの符号情報であるか否かをチェックする（ステップ９０９）。復号されたブロックが最後のブロックの符号情報ではない場合（ステップ９０９，ＮＯ）、クライアント端末６０１は、次の符号情報についてステップ９０１以降の処理を繰り返す。

復号された符号情報が最後のブロックの符号情報である場合（ステップ９０９，ＹＥＳ）、表示部６１５は、フレームメモリ６１４内の復号画像を画面上に表示する（ステップ９１０）。そして、復号部６１３は、復号された符号情報が、ビットストリームに含まれる最後の符号情報であるか否かをチェックする（ステップ９１１）。

復号された符号情報が最後の符号情報ではない場合（ステップ９１１，ＮＯ）、クライアント端末６０１は、次の符号情報についてステップ９０１以降の処理を繰り返す。復号された符号情報が最後の符号情報である場合（ステップ９１１，ＹＥＳ）、クライアント端末６０１は、処理を終了する。

図４の画像符号化装置４０１の構成は一例に過ぎず、画像符号化装置４０１の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。図５の画像復号装置５０１の構成は一例に過ぎず、画像復号装置５０１の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。

図６の画像処理システムの構成は一例に過ぎず、画像処理システムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、クライアント端末６０１及びサーバ６０２が双方向の映像通信を行う場合は、クライアント端末６０１に映像生成部６２１、選択部６２２、及び符号化部６２３を追加し、サーバ６０２に選択部６１２及び復号部６１３を追加することができる。図４の画像符号化装置４０１及び図５の画像復号装置５０１は、リモートデスクトップシステム以外の映像通信に利用することもできる。

図８Ａ～図９Ｂに示したフローチャートは一例に過ぎず、画像処理システムの構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、イントラ予測モードが角度予測を表す場合に、エッジ強度を計算することなく画像フォーマットＦ１を選択する場合は、図８Ａのステップ８０５及びステップ８０６の処理を省略することができる。この場合、図９Ａのステップ９０４及びステップ９０５の処理も省略することができる。

図１に示したリモートデスクトップシステムは一例に過ぎず、リモートデスクトップシステムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。図２に示したＹＵＶ４：４：４及びＹＵＶ４：２：０は一例に過ぎず、画像処理システムの構成又は条件に応じて別の画像フォーマットを用いてもよい。例えば、ＹＵＶ４：２：０の代わりに、ＹＵＶ４：２：２又はＹＵＶ４：１：１を用いても構わない。

図３に示した静止画領域及び動画領域は一例に過ぎず、静止画領域及び動画領域は、デスクトップ画像に応じて変化する。図７に示した符号化対象ブロック及び隣接ブロックは一例に過ぎず、各ブロックの形状は画像の分割方法に応じて変化する。

式（１）及び式（２）は一例に過ぎず、画像処理システムの構成又は条件に応じて別の計算式を用いてもよい。

図１０は、図４の画像符号化装置４０１、図５の画像復号装置５０１、図６のクライアント端末６０１及びサーバ６０２として用いられる情報処理装置（コンピュータ）のハードウェア構成例を示している。図１０の情報処理装置は、ＣＰＵ（Central Processing Unit）１００１、メモリ１００２、入力装置１００３、出力装置１００４、補助記憶装置１００５、媒体駆動装置１００６、及びネットワーク接続装置１００７を含む。これらの構成要素はハードウェアであり、バス１００８により互いに接続されている。

メモリ１００２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを記憶する。メモリ１００２は、図６のフレームメモリ６１４又はフレームメモリ６２４として用いることができる。

ＣＰＵ１００１（プロセッサ）は、例えば、メモリ１００２を利用してプログラムを実行することにより、図４の選択部４１１及び符号化部４１２として動作する。ＣＰＵ１００１は、メモリ１００２を利用してプログラムを実行することにより、図５の選択部５１１及び復号部５１２としても動作する。

ＣＰＵ１００１は、メモリ１００２を利用してプログラムを実行することにより、図６の選択部６１２及び復号部６１３としても動作する。ＣＰＵ１００１は、メモリ１００２を利用してプログラムを実行することにより、図６の映像生成部６２１、選択部６２２、及び符号化部６２３としても動作する。

入力装置１００３は、例えば、キーボード、ポインティングデバイス等であり、ユーザ又はオペレータからの指示や情報の入力に用いられる。出力装置１００４は、例えば、表示装置、プリンタ、スピーカ等であり、ユーザ又はオペレータへの問い合わせ及び処理結果の出力に用いられる。入力装置１００３及び出力装置１００４は、それぞれ、図６の入力部６１１及び表示部６１５として用いることができる。処理結果は、画面上に表示される復号画像であってもよい。

補助記憶装置１００５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１００５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置１００５にプログラム及びデータを格納しておき、それらをメモリ１００２にロードして使用することができる。

媒体駆動装置１００６は、可搬型記録媒体１００９を駆動し、その記録内容にアクセスする。可搬型記録媒体１００９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１００９は、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、又はＵＳＢ（Universal Serial Bus）メモリであってもよい。ユーザ又はオペレータは、可搬型記録媒体１００９にプログラム及びデータを格納しておき、それらをメモリ１００２にロードして使用することができる。

このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１００２、補助記憶装置１００５、及び可搬型記録媒体１００９のような、物理的な（非一時的な）記録媒体である。

ネットワーク接続装置１００７は、通信ネットワーク６０３に接続され、通信に伴うデータ変換を行う通信インタフェース回路である。ネットワーク接続装置１００７は、図６の通信部６１６又は通信部６２５として用いることができる。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１００７を介して受け取り、それらをメモリ１００２にロードして使用することができる。

なお、情報処理装置が図１０のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、情報処理装置がサーバ６０２であり、かつ、ユーザ又はオペレータとのインタフェースが不要である場合は、入力装置１００３及び出力装置１００４を省略してもよい。また、可搬型記録媒体１００９を利用しない場合は、媒体駆動装置１００６を省略してもよい。

開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

図２乃至図１０を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
画像内の符号化対象ブロックに適用されるイントラ予測モードに基づいて、第１画像フォーマットと、前記第１画像フォーマットの情報量よりも少ない情報量を有する第２画像フォーマットとの中から、前記符号化対象ブロックの符号化処理に適用される第３画像フォーマットを選択する選択部と、
前記第３画像フォーマットを用いたイントラ予測符号化により、前記符号化対象ブロックを符号化する符号化部と、
を備えることを特徴とする画像符号化装置。
（付記２）
前記選択部は、前記イントラ予測モードが角度予測を表す場合、前記第１画像フォーマットを前記第３画像フォーマットとして選択し、前記イントラ予測モードが前記角度予測以外のイントラ予測を表す場合、前記第２画像フォーマットを前記第３画像フォーマットとして選択することを特徴とする付記１記載の画像符号化装置。
（付記３）
前記選択部は、前記イントラ予測モードが角度予測を表す場合、前記画像内において前記符号化対象ブロックに隣接する隣接ブロック内の画素の画素値に基づいて、前記第１画像フォーマット又は前記第２画像フォーマットを前記第３画像フォーマットとして選択し、前記イントラ予測モードが前記角度予測以外のイントラ予測を表す場合、前記第２画像フォーマットを前記第３画像フォーマットとして選択することを特徴とする付記１記載の画像符号化装置。
（付記４）
前記選択部は、前記隣接ブロック内の画素の画素値を用いてエッジ強度を計算し、前記エッジ強度が閾値よりも大きい場合、前記第１画像フォーマットを前記第３画像フォーマットとして選択し、前記エッジ強度が前記閾値よりも小さい場合、前記第２画像フォーマットを前記第３画像フォーマットとして選択することを特徴とする付記３記載の画像符号化装置。
（付記５）
前記符号化対象ブロックに前記イントラ予測モードが適用される場合、前記選択部は、前記第１画像フォーマット又は前記第２画像フォーマットを前記第３画像フォーマットとして選択し、前記符号化部は、前記第３画像フォーマットを用いたイントラ予測符号化により、前記符号化対象ブロックを符号化し、
前記符号化対象ブロックにインター予測モードが適用される場合、前記選択部は、前記第２画像フォーマットを前記第３画像フォーマットとして選択し、前記符号化部は、前記第３画像フォーマットを用いたインター予測符号化により、前記符号化対象ブロックを符号化することを特徴とする付記１乃至４のいずれか１項に記載の画像符号化装置。
（付記６）
画像内の復号対象ブロックのイントラ予測モードに基づいて、第１画像フォーマットと、前記第１画像フォーマットの情報量よりも少ない情報量を有する第２画像フォーマットとの中から、前記復号対象ブロックの復号処理に適用される第３画像フォーマットを選択する選択部と、
前記第３画像フォーマットを用いたイントラ予測復号により、前記復号対象ブロックの符号情報を復号する復号部と、
を備えることを特徴とする画像復号装置。
（付記７）
前記選択部は、前記イントラ予測モードが角度予測を表す場合、前記第１画像フォーマットを前記第３画像フォーマットとして選択し、前記イントラ予測モードが前記角度予測以外のイントラ予測を表す場合、前記第２画像フォーマットを前記第３画像フォーマットとして選択することを特徴とする付記６記載の画像復号装置。
（付記８）
前記選択部は、前記イントラ予測モードが角度予測を表す場合、前記画像内において前記復号対象ブロックに隣接する隣接ブロック内の画素の画素値に基づいて、前記第１画像フォーマット又は前記第２画像フォーマットを前記第３画像フォーマットとして選択し、前記イントラ予測モードが前記角度予測以外のイントラ予測を表す場合、前記第２画像フォーマットを前記第３画像フォーマットとして選択することを特徴とする付記６記載の画像復号装置。
（付記９）
前記選択部は、前記隣接ブロック内の画素の画素値を用いてエッジ強度を計算し、前記エッジ強度が閾値よりも大きい場合、前記第１画像フォーマットを前記第３画像フォーマットとして選択し、前記エッジ強度が前記閾値よりも小さい場合、前記第２画像フォーマットを前記第３画像フォーマットとして選択することを特徴とする付記８記載の画像復号装置。
（付記１０）
前記復号対象ブロックに前記イントラ予測モードが適用される場合、前記選択部は、前記第１画像フォーマット又は前記第２画像フォーマットを前記第３画像フォーマットとして選択し、前記復号部は、前記第３画像フォーマットを用いたイントラ予測復号により、前記復号対象ブロックの符号情報を復号し、
前記復号対象ブロックにインター予測モードが適用される場合、前記選択部は、前記第２画像フォーマットを前記第３画像フォーマットとして選択し、前記復号部は、前記第３画像フォーマットを用いたインター予測復号により、前記復号対象ブロックの符号情報を復号することを特徴とする付記６乃至９のいずれか１項に記載の画像復号装置。
（付記１１）
画像内の符号化対象ブロックに適用されるイントラ予測モードに基づいて、第１画像フォーマットと、前記第１画像フォーマットの情報量よりも少ない情報量を有する第２画像フォーマットとの中から、前記符号化対象ブロックの符号化処理に適用される第３画像フォーマットを選択する第１選択部と、
前記第３画像フォーマットを用いたイントラ予測符号化により、前記符号化対象ブロックを符号化して、符号化されたブロックの符号情報を生成する符号化部と、
前記符号化されたブロックのイントラ予測モードに基づいて、前記第１画像フォーマット及び前記第２画像フォーマットから前記第３画像フォーマットを選択する第２選択部と、
前記第３画像フォーマットを用いたイントラ予測復号により、前記符号化されたブロックの符号情報を復号する復号部と、
を備えることを特徴とする画像処理システム。

１０１、６０１ クライアント端末
１０２、６０２ サーバ
１０３、６０３ 通信ネットワーク
３０１ 静止画領域
３０２、３０３ 動画領域
４０１ 画像符号化装置
４１１、５１１、６１２、６２２ 選択部
４１２、６２３ 符号化部
５０１ 画像復号装置
５１２、６１３ 復号部
６１１ 入力部
６１４、６２４ フレームメモリ
６１５ 表示部
６１６、６２５ 通信部
６２１ 映像生成部
７０１ 符号化対象ブロック
７０２ 左隣接ブロック
７０３ 上隣接ブロック
７１１ 左上画素
７１２ 左隣接画素
７１３ 上隣接画素
１００１ ＣＰＵ
１００２ メモリ
１００３ 入力装置
１００４ 出力装置
１００５ 補助記憶装置
１００６ 媒体駆動装置
１００７ ネットワーク接続装置
１００８ バス
１００９ 可搬型記録媒体

Claims (5)

1. 画像内の符号化対象ブロックに適用されるイントラ予測モードに基づいて、第１画像フォーマットと、前記第１画像フォーマットの情報量よりも少ない情報量を有する第２画像フォーマットとのうちのいずれかを、前記符号化対象ブロックの符号化処理に適用される第３画像フォーマットとして選択する選択部と、
   前記第３画像フォーマットを用いたイントラ予測符号化により、前記符号化対象ブロックを符号化する符号化部と、
   を備え、
   前記選択部は、
   前記イントラ予測モードが角度予測を表す場合には、前記第１画像フォーマットを前記第３画像フォーマットとして選択し、
   前記イントラ予測モードが前記角度予測以外を表す場合には、前記第２画像フォーマットを前記第３画像フォーマットとして選択する、
   ことを特徴とする画像符号化装置。
2. 画像内の符号化対象ブロックに適用されるイントラ予測モードに基づいて、第１画像フォーマットと、前記第１画像フォーマットの情報量よりも少ない情報量を有する第２画像フォーマットとのうちのいずれかを、前記符号化対象ブロックの符号化処理に適用される第３画像フォーマットとして選択する選択部と、
   前記第３画像フォーマットを用いたイントラ予測符号化により、前記符号化対象ブロックを符号化する符号化部と、
   を備え、
   前記選択部は、
   前記イントラ予測モードが角度予測を表す場合には、前記画像内において前記符号化対象ブロックに隣接する隣接ブロック内の画素の画素値からエッジ強度を計算し、
   前記エッジ強度が閾値よりも大きい場合には、前記第１画像フォーマットを前記第３画像フォーマットとして選択し、
   前記イントラ予測モードが前記角度予測ではない場合又は前記エッジ強度が前記閾値よりも小さい場合には、前記第２画像フォーマットを前記第３画像フォーマットとして選択する、
   ことを特徴とする画像符号化装置。
3. 前記符号化対象ブロックにインター予測モードが適用される場合、前記選択部は、前記第２画像フォーマットを前記第３画像フォーマットとして選択し、前記符号化部は、前記第３画像フォーマットを用いたインター予測符号化により、前記符号化対象ブロックを符号化することを特徴とする請求項１または２に記載の画像符号化装置。
4. 画像内の復号対象ブロックのイントラ予測モードに基づいて、第１画像フォーマットと、前記第１画像フォーマットの情報量よりも少ない情報量を有する第２画像フォーマットとのうちのいずれかを、前記復号対象ブロックの復号処理に適用される第３画像フォーマットとして選択する選択部と、
   前記第３画像フォーマットを用いたイントラ予測復号により、前記復号対象ブロックの符号情報を復号する復号部と、
   を備え、
   前記選択部は、
   前記イントラ予測モードが角度予測を表す場合には、前記第１画像フォーマットを前記第３画像フォーマットとして選択し、
   前記イントラ予測モードが前記角度予測以外を表す場合には、前記第２画像フォーマットを前記第３画像フォーマットとして選択する、
   ことを特徴とする画像復号装置。
5. 画像内の符号化対象ブロックに適用される第１のイントラ予測モードに基づいて、第１画像フォーマットと、前記第１画像フォーマットの情報量よりも少ない情報量を有する第２画像フォーマットとのうちのいずれかを、前記符号化対象ブロックの符号化処理に適用される第３画像フォーマットとして選択する第１選択部と、
   前記第３画像フォーマットを用いたイントラ予測符号化により、前記符号化対象ブロックを符号化して、符号化されたブロックの符号情報を生成する符号化部と、
   前記符号化されたブロックの第２のイントラ予測モードに基づいて、前記第１画像フォーマット及び前記第２画像フォーマットのうちのいずれかを前記第３画像フォーマットとして選択する第２選択部と、
   前記第３画像フォーマットを用いたイントラ予測復号により、前記符号化されたブロックの符号情報を復号する復号部と、
   を備え、
   前記第１選択部は、
   前記第１のイントラ予測モードが角度予測を表す場合には、前記第１画像フォーマットを前記第３画像フォーマットとして選択し、
   前記第１のイントラ予測モードが前記角度予測以外を表す場合には、前記第２画像フォーマットを前記第３画像フォーマットとして選択し、
   前記第２選択部は、
   前記第２のイントラ予測モードが角度予測を表す場合には、前記第１画像フォーマットを前記第３画像フォーマットとして選択し、
   前記第２のイントラ予測モードが前記角度予測以外を表す場合には、前記第２画像フォーマットを前記第３画像フォーマットとして選択する、
   ことを特徴とする画像処理システム。

Images