JP5241819B2 - 画像符号化方式変換装置 - Google Patents

Description

この発明は、画像の符号化方式を変換する画像符号化方式変換装置に関するものである。

近年、画像を圧縮して符号化する技術が広く用いられている。
画像符号化方式の代表的なものとしては、主にデジタルカメラなどで用いられるＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式がある。
また、ＪＰＥＧを連続して符号化することで、動画像を符号化するＭｏｔｉｏｎＪＰＥＧと呼ばれる方式がある。ＭｏｔｉｏｎＪＰＥＧ方式はＭＪＰＥＧ方式やＭ−ＪＰＥＧ方式と呼ばれることもある。
さらに、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＶＩＤＥＯに採用されているＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）と呼ばれる方式もある。
また、携帯端末向けの地上デジタル放送、いわゆるワンセグ放送に採用されている方式であるＨ．２６４方式もある。
以上のように、画像符号化方式には様々な方式があり、一般に、異なる画像符号化方式には互換性がない。

ユーザが異なる画像符号化方式に対応するには、それぞれの画像符号化方式に対応する画像復号装置を用意するか、画像符号化方式変換装置を用意する必要がある。
しかし、例えば、市販されているＤＶＤプレーヤでは、ＭＰＥＧ−２方式以外の方式には対応することができず、それぞれの画像符号化方式に対応する画像復号装置を用意するのは現実的に困難な場合がある。
一方、画像符号化方式変換装置を用意すれば、それぞれの画像符号化方式に対応する画像復号装置を用意する必要がなくなるが、画像の変換に要する時間や、変換後の画像の品質が問題になる。

例えば、以下の特許文献１に開示されている画像符号化方式変換装置では、ＪＰＥＧ方式をＭＰＥＧ−４方式に変換する手法が開示されている。
即ち、この画像符号化方式変換装置では、ＪＰＥＧ方式とＭＰＥＧ−４方式の双方がＤＣＴ係数を圧縮に用いていることを利用し、直流（ＤＣ：Ｄｉｒｅｃｔ Ｃｕｒｒｅｎｔ）成分の変換とハフマンコードの変換によって、ＪＰＥＧ方式をＭＰＥＧ−４方式に変換するようにしている。
しかし、Ｈ．２６４方式ではＤＣＴ係数が用いられないので、この画像符号化方式変換装置では、Ｈ．２６４方式の変換に適用することができない。

また、Ｈ．２６４方式では画面内予測と呼ばれる技術が用いられているが、ＪＰＥＧ方式やＭＰＥＧ−２方式では画面内予測と呼ばれる技術は用いられない。
特に、Ｈ．２６４方式で採用されている画面内予測における予測モードの決定処理において、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）やＳＡＴＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｔｒａｎｓｆｏｒｍｅｄ Ｄｉｆｆｅｒｅｎｃｅ）は非常に演算量が大きいとされている。

そこで、非特許文献１，２では、変換前のＭＰＥＧ−２のＤＣＴ係数を利用し、Ｈ．２６４方式の画面内予測における予測モードを絞り込むことで、高速な変換を行う方法を開示している。
ただし、非特許文献１，２では、１６×１６予測において、予測モードを決定するようにしているが、全てのＤＣＴ係数を使用する場合があり、この場合には、非常に多くの演算量を要することになる。
なお、４×４予測においては、予測方向の絞込みを行うだけで、完全には予測方法を決定していない。

非特許文献３では、８×８ＤＣＴ係数を４つの４×４ＤＣＴ係数に変換し、変換した４×４ＤＣＴ係数から予測モードを決定する方法を開示している。
ただし、８×８ＤＣＴ係数を４つの４×４ＤＣＴ係数に変換する演算量は非常に大きなものとなる。

特開２００４−１８６８１１号公報 「A fast Intra Mode Decision Algorithm for MPEG-2 to H.264 Video Transcoding」Consumer Electronics, 2006. ISCE '06. 2006 IEEE Tenth International Symposium on 2006 Page(s):1 - 5 「Fast Intra Prediction Mode Decision for MPEG-2 to H.264 Transcoding」Multimedia and Expo, 2007 IEEE International Conference on2-5 July 2007 Page(s):428 - 431 「Fast Intra Mode Decision Method for MPEG to H.264 Transcoding」Image Processing, 2006 IEEE International Conference on8-11 Oct. 2006 Page(s):833 - 836

従来の画像符号化方式変換装置は以上のように構成されているので、非特許文献１〜３では、Ｈ．２６４方式を画像符号化方式の変換対象に含めることができるが、画像符号化方式を変換する際の演算量が非常に大きくなるなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、少ない演算量で画像符号化方式を変換することができる画像符号化方式変換装置を得ることを目的とする。

この発明に係る画像符号化方式変換装置は、画像が周波数領域に変換されて符号化されている第１の符号化方式の符号化ストリームの一部を復号して、画像の周波数成分の信号を取得する周波数成分信号取得手段と、周波数成分信号取得手段により取得された周波数成分の信号から画面内予測の方向を推定する画面内予測方向推定手段とを設け、符号化手段が画面内予測方向推定手段により推定された画面内予測の方向を用いて、周波数成分信号取得手段により取得された周波数成分の信号を符号化して第２の符号化方式の符号化ストリームを生成するようにしたものである。

この発明によれば、画像が周波数領域に変換されて符号化されている第１の符号化方式の符号化ストリームの一部を復号して、画像の周波数成分の信号を取得する周波数成分信号取得手段と、周波数成分信号取得手段により取得された周波数成分の信号から画面内予測の方向を推定する画面内予測方向推定手段とを設け、符号化手段が画面内予測方向推定手段により推定された画面内予測の方向を用いて、周波数成分信号取得手段により取得された周波数成分の信号を符号化して第２の符号化方式の符号化ストリームを生成するように構成したので、少ない演算量で画像符号化方式を変換することができる効果がある。

この発明の実施の形態１による画像符号化方式変換装置を示す構成図である。 この発明の実施の形態１による画像符号化方式変換装置の予測モード推定部２の処理内容を示すフローチャートである。 １６×１６予測モードにおける４つの予測モードを示す説明図である。 ４×４予測モードにおける９つの予測モードを示す説明図である。 画像の符号化対象のブロックＣ₀０〜Ｃ₀３と、その周辺のブロックＲ０〜Ｒ５を示す説明図である。 画像の符号化対象のブロックＣ₁０〜Ｃ₁１５と、その周辺のブロックＲ０〜Ｒ５を示す説明図である。 ４×４予測モードにおける予測モードの絞込み処理を示すフローチャートである。 ４×４予測モードにおける予測モードの選択処理を示すフローチャートである。 ４×４予測モードにおける予測モードの選択処理を示すフローチャートである。 ４×４予測モードにおける予測モードの選択処理を示すフローチャートである。 この発明の実施の形態２による画像符号化方式変換装置の予測モードの選択処理を示すフローチャートである。 この発明の実施の形態２による画像符号化方式変換装置の予測モードの選択処理を示すフローチャートである。 この発明の実施の形態３による画像符号化方式変換装置を示す構成図である。 静止画像と動画像の関係を示す説明図である。 現在のフレームの符号化対象ブロックＡ₀０〜Ａ₀３と１フレーム前の同一位置の符号化対象ブロックＢ₀０〜Ｂ₀３を示す説明図である。 この発明の実施の形態３による画像符号化方式変換装置の予測モード推定処理判定部１３の処理内容を示すフローチャートである。 この発明の実施の形態４による画像符号化方式変換装置を示す構成図である。 この発明の実施の形態４による画像符号化方式変換装置の予測モード推定処理判定部１５の処理内容を示すフローチャートである。 現在のフレームの符号化対象ブロックＡ₀０〜Ａ₀３と、その周辺ブロックＲＡ０〜ＲＡ５と、１フレーム前の同一位置の符号化対象ブロックＢ₀０〜Ｂ₀３と、その周辺ブロックＲＢ０〜ＲＢ５とを示す説明図である。 この発明の実施の形態６による画像符号化方式変換装置を示す構成図である。 この発明の実施の形態６による画像符号化方式変換装置の予測モード推定処理判定部１６の処理内容を示すフローチャートである。 ４×４予測モードのときの１フレーム前の符号化対象ブロックＢ₁０〜Ｂ₁１５とその周辺のブロックＲＢ０〜ＲＢ５と、現在のフレームの符号化対象ブロックＡ₀０〜Ａ₀３とその周辺のブロックＲＡ０〜ＲＡ５とを示す説明図である。 画像の符号化対象ブロックＣ₀０〜Ｃ₀３と、その周辺のブロックＲ０〜Ｒ３と、ブロックＲ０，Ｒ１の最下部１６画素の周波数特性Ｒ０＿ｂｏｔｔｏｍ，Ｒ１＿ｂｏｔｔｏｍと、Ｒ２，Ｒ３の最右端１６画素の周波数特性Ｒ２＿ｒｉｇｈｔ，Ｒ３＿ｒｉｇｈｔとを示す説明図である。 この発明の実施の形態８による画像符号化方式変換装置を示す構成図である。 ４×４予測モードにおける予測モードの選択及び絞込み処理を示すフローチャートである。 ４×４予測モードにおける予測モードの選択処理を示すフローチャートである。 ４×４予測モードにおける予測モードの選択処理を示すフローチャートである。 ４×４ブロックの画素値と４×４変換処理を施した後の４×４変換係数を示す説明図である。 符号化対象の４×４ブロックＣ₁ｎと、その周辺の画素ａ〜ｉを示す説明図である。

以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態１．
図１はこの発明の実施の形態１による画像符号化方式変換装置を示す構成図であり、図において、ＪＰＥＧ簡易復号部１は画像が周波数領域に変換されて符号化されているＪＰＥＧ方式（第１の符号化方式）の符号化ストリームであるＪＰＥＧデータを入力すると、そのＪＰＥＧデータの一部を復号して、画像の周波数成分の信号であるＤＣＴ係数と、画像の幅や高さなどを示すヘッダ情報を取得する処理を実施する。なお、ＪＰＥＧ簡易復号部１は周波数成分信号取得手段を構成している。

予測モード推定部２はＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数からＨ．２６４方式（第２の符号化方式）における予測モード（画面内予測の方向）を推定する処理を実施する。なお、予測モード推定部２は画面内予測方向推定手段を構成している。
Ｈ．２６４符号化部３はＨ．２６４方式の符号化処理を実施する符号化部であり、予測モード推定部２により推定された予測モードとＪＰＥＧ簡易復号部１により取得されたヘッダ情報を用いて、ＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数を符号化して、Ｈ．２６４ストリーム（第２の符号化方式の符号化ストリーム）を生成する処理を実施する。なお、Ｈ．２６４符号化部３は符号化手段を構成している。
図２はこの発明の実施の形態１による画像符号化方式変換装置の予測モード推定部２の処理内容を示すフローチャートである。

次に動作について説明する。
この実施の形態１では、第１の符号化方式がＪＰＥＧ方式であり、第２の符号化方式がＨ．２６４方式である例を説明する。
ただし、これは単なる一例に過ぎず、類似する他の方式であっても適用することができることは言うまでもない。例えば、第１の符号化方式がＭＰＥＧ−１方式、ＭＰＥＧ−２方式又はＭＰＥＧ−４方式であってもよい。
なお、Ｈ．２６４方式は時間方向の圧縮も可能であるが、この実施の形態１では、画面内圧縮方式のみを対象とする。

最初に、ＪＰＥＧ方式及びＨ．２６４方式について簡単に説明する。
ＪＰＥＧ方式は、画像を８×８のブロックに分割して、各ブロックに対するＤＣＴ変換を実施し、ＤＣＴ変換を実施することにより得られるＤＣＴ係数を量子化し、量子化後のＤＣＴ係数を可変長符号化する方式である。
一般に、ＤＣＴ係数を量子化する際、高周波成分に対する量子化係数を大きくして、高周波成分をカットすることにより、圧縮効率を高めている。

Ｈ．２６４方式では、画像を１６×１６のブロック（マクロブロック）に分割し、マクロブロック毎に、１６×１６予測を行うか、４×４予測を行うかを選択する。
この予測は、既に符号化された隣接する画素から予測画像を作成し、符号化対象の画像と予測画像の差分を取ることを意味する。
即ち、Ｈ．２６４方式では、上記の予測を１６×１６ブロック領域（１６×１６予測モード）で行うか、４×４ブロック領域（４×４予測モード）で行うかを選択する。

１６×１６予測モードには４つの予測モードがあり（図３を参照）、４×４予測モードには９つの予測モードがあり（図４を参照）、隣接するどの画素から予測を行うかを選択することができる。
この予測処理により、取られた差分に対して、整数精度で周波数領域への変換を実施し、その変換により得られる係数を量子化する。この適応的な予測処理を行うことにより、圧縮効率を高めている。
しかし、この予測モードの選択は、非常に演算量が多い処理である。
この実施の形態１では、ＪＰＥＧ方式のＤＣＴ係数を利用することで、予測モードの推定を高速に行う。

以下、図１の画像符号化方式変換装置の処理内容を詳細に説明する。
ＪＰＥＧ簡易復号部１は、画像が周波数領域に変換されて符号化されているＪＰＥＧ方式のＪＰＥＧデータを入力すると、そのＪＰＥＧデータの一部を復号して、画像の周波数成分の信号であるＤＣＴ係数と、画像の幅や高さなどを示すヘッダ情報を取得する。
通常のＪＰＥＧ復号では、得られたＤＣＴ係数に対してＩＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）処理を実施して画素の値に復号するが、ＪＰＥＧ簡易復号部１ではＩＤＣＴ処理を実施せず、得られたＤＣＴ係数を予測モード推定部２に出力し、ヘッダ情報をＨ．２６４符号化部３に出力する。

予測モード推定部２は、ＪＰＥＧ簡易復号部１からＤＣＴ係数を受けると、そのＤＣＴ係数からＨ．２６４方式における予測モード（画面内予測の方向）を推定する。
以下、予測モード推定部２の処理内容を具体的に説明する。

図５は画像の符号化対象のブロックＣ₀０〜Ｃ₀３と、その周辺のブロックＲ０〜Ｒ５を示す説明図である。なお、ブロックＣ₀０〜Ｃ₀３，Ｒ０〜Ｒ５は、いずれも８×８のブロックである。
１６×１６予測モードにおける予測モード０（垂直予測）が効率的である状況（Ｈ．２６４方式において、予測モード０を利用するのが適正である状況）は、ブロックＲ０の最下部の８画素とブロックＣ₀０，Ｃ₀２の画素が近く、ブロックＲ１の最下部の８画素とブロックＣ₀１，Ｃ₀３の画素が近い場合である。
また、１６×１６予測モードにおける予測モード１（水平予測）が効率的である状況（Ｈ．２６４方式において、予測モード１を利用するのが適正である状況）は、ブロックＲ２の最右端の８画素とブロックＣ₀０，Ｃ₀１の画素が近く、ブロックＲ３の最右端の８画素とブロックＣ₀２，Ｃ₀３の画素が近い場合である。

１６×１６予測モードにおける予測モード２（ＤＣ予測）が効率的である状況（Ｈ．２６４方式において、予測モード２を利用するのが適正である状況）は、ブロックＲ０，Ｒ１の最下部の１６画素と、ブロックＲ２，Ｒ３の最右端の１６画素と、ブロックＲ４の右下１画素との平均値が、ブロックＣ₀０〜Ｃ₀３の全ての画素の平均値に近い場合である。
また、１６×１６予測モードにおける予測モード３（平面予測）が効率的である状況（Ｈ．２６４方式において、予測モード３を利用するのが適正である状況）は、ブロックＲ０，Ｒ１の最下部の８画素と、ブロックＲ２，Ｒ３の最右端の８画素と、ブロックＲ４の右下の画素とを利用して、グラデーションのある予測画像が作成されるため、ブロックＲ０，Ｒ１の最下部の画素の変化が、ブロックＣ₀０〜Ｃ₀３の水平方向の変化に一致し、ブロックＲ２，Ｒ３の最右端の画素の変化が、ブロックＣ₀０〜Ｃ₀３の垂直方向の変化に近い場合である。これは、グラデーションのある画像の場合に有効である。

そこで、予測モード推定部２は、Ｈ．２６４方式において、利用に適する予測モードを推定するために、ＪＰＥＧ簡易復号部１から出力されたＤＣＴ係数を下記の式（１）及び式（２）に示す評価関数に代入して、評価値Ｃｏｓｔ_{16×16_0}，Ｃｏｓｔ_{16×16_1}を算出する（図２のステップＳＴ１）。

ただし、ＤＣＴ＿Ｃ₀０_i,j，ＤＣＴ＿Ｃ₀１_i,j，ＤＣＴ＿Ｃ₀２_i,j，ＤＣＴ＿Ｃ₀３_i,j，ＤＣＴ＿Ｒ０_i,j，ＤＣＴ＿Ｒ１_i,j，ＤＣＴ＿Ｒ２_i,j，ＤＣＴ＿Ｒ３_i,jは、それぞれブロックＣ₀１，Ｃ₀２，Ｃ₀３，Ｃ₀４，，Ｒ０，Ｒ１，Ｒ２，Ｒ３におけるｉ行，ｊ列のＤＣＴ係数である。
また、ｋは計算に用いる係数であり、ここでは、０≦ｋ≦７であるとする。因みに、ｋ＝０とすれば、全ＤＣＴ係数のうち、直流成分のＤＣＴ係数のみから予測モードを推定することを意味する。また、ｋ＝１又はｋ＝２とすれば、全ＤＣＴ係数のうち、低周波成分のＤＣＴ係数のみから予測モードを推定することを意味する。ここでは、ｋ＝１又はｋ＝２とすれば、低周波成分のＤＣＴ係数のみから予測モードを推定することを意味するとしたが、例えば、ｋ＝３としても、低周波成分のＤＣＴ係数のみから予測モードを推定することを意味する。
ｗ_{16×16_DC0}，ｗ_{16×16_DC1}，ｗ_{16×16_DC2}，ｗ_{16×16_DC3}，ｗ_i，ｗ_jは重みである。

評価値Ｃｏｓｔ_{16×16_0}は、ブロックＣ₀０，Ｃ₀２とブロックＲ０の水平方向の変化及びブロックＣ₀１，Ｃ₀３とブロックＲ１の水平方向の変化の近さを評価しており、１６×１６予測モードにおける予測モード０（垂直予測）の評価値である。
また、評価値Ｃｏｓｔ_{16×16_1}は、ブロックＣ₀０，Ｃ₀１とブロックＲ２の垂直方向の変化及びブロックＣ₀２，Ｃ₀３とブロックＲ３の垂直方向の変化の近さを評価しており、１６×１６予測モードにおける予測モード１（水平予測）の評価値である。

予測モード推定部２は、評価値Ｃｏｓｔ_{16×16_0}，Ｃｏｓｔ_{16×16_1}を算出すると、評価値Ｃｏｓｔ_{16×16_0}と閾値ｔｈ_{16×16_0}を比較するとともに（ステップＳＴ２）、評価値Ｃｏｓｔ_{16×16_1}と閾値ｔｈ_{16×16_1}を比較する（ステップＳＴ３，ＳＴ４）。
Ｃｏｓｔ_{16×16_0}≦ｔｈ_{16×16_0} （３）
Ｃｏｓｔ_{16×16_1}≦ｔｈ_{16×16_1} （４）

予測モード推定部２は、式（３）又は式（４）の少なくとも一方が成立する場合、１６×１６ブロックの単位で充分に周辺画素に近いと判断し、１６×１６予測モードにおける何れかの予測モードを利用するものと決定する。
一方、式（３）と式（４）の双方が成立しない場合、Ｈ．２６４方式における予測モードとして、４×４予測モードにおける何れかの予測モードを利用するものと決定する（ステップＳＴ５）。

予測モード推定部２は、式（３）のみが成立する場合、１６×１６予測モードにおける予測モード０（垂直予測）を利用するものと決定する（ステップＳＴ６）。
また、式（４）のみが成立する場合、１６×１６予測モードにおける予測モード１（水平予測）を利用するものと決定する（ステップＳＴ７）。
予測モード推定部２は、式（３）と式（４）の双方が成立する場合、評価値Ｃｏｓｔ_{16×16_0}と評価値Ｃｏｓｔ_{16×16_1}の差分絶対値を取り、その差分絶対値と閾値ｔｈ_{16×16_2}を比較する（ステップＳＴ８）。
｜Ｃｏｓｔ_{16×16_0}−Ｃｏｓｔ_{16×16_1}｜≧ｔｈ_{16×16_2}
（５）

予測モード推定部２は、式（５）が成立する場合、垂直方向又は水平方向のいずれかのみが有効である判断し、評価値Ｃｏｓｔ_{16×16_0}と評価値Ｃｏｓｔ_{16×16_1}を比較する（ステップＳＴ９）。
Ｃｏｓｔ_{16×16_0}＜Ｃｏｓｔ_{16×16_1} （６）
予測モード推定部２は、式（６）が成立する場合、１６×１６予測モードにおける予測モード０（垂直予測）を利用するものと決定し（ステップＳＴ１０）、式（６）が成立しない場合、１６×１６予測モードにおける予測モード１（水平予測）を利用するものと決定する（ステップＳＴ１１）。

予測モード推定部２は、式（５）が成立しない場合、１６×１６予測モードにおける予測モード２（ＤＣ予測）又は１６×１６予測モードにおける予測モード３（平面予測）が有効であると判断する。
このうち、予測モード３（平面予測）は、ブロックＲ０，Ｒ１の最下部の画素の変化と、ブロックＲ２，Ｒ３の最右端の画素の変化とが、ブロックＣ₀０〜Ｃ₀４の画素の変化に近い場合に有効であると言える。

そこで、予測モード推定部２は、評価値Ｃｏｓｔ_{16×16_0}と評価値Ｃｏｓｔ_{16×16_1}の和を取り、その和と閾値ｔｈ_{16×16_3}を比較する（ステップＳＴ１２）。
Ｃｏｓｔ_{16×16_3}＝Ｃｏｓｔ_{16×16_0}＋Ｃｏｓｔ_{16×16_1}≦ｔｈ_{16×16_3}
（７）
予測モード推定部２は、式（７）が成立する場合、１６×１６予測モードにおける予測モード３（平面予測）を利用するものと決定し（ステップＳＴ１４）、式（７）が成立しない場合、１６×１６予測モードにおける予測モード２（ＤＣ予測）を利用するものと決定する（ステップＳＴ１３）。

予測モード推定部２は、ステップＳＴ５において、４×４予測モードにおける何らかの予測モードを利用するものと決定すると、以下のようにして、４×４予測モードにおける予測モードを選択する。
図６は画像の符号化対象のブロックＣ₁０〜Ｃ₁１５と、その周辺のブロックＲ０〜Ｒ５を示す説明図である。
ブロックＣ₁０〜Ｃ₁１５は、いずれも４×４のブロックであり、０〜１５の順序で符号化される。
ブロックＣ₁０〜Ｃ₁１５は、図５のブロックＣ₀０〜Ｃ₀３が４分割されたものであって、ブロックＣ₀０はブロックＣ₁０〜Ｃ₁３、ブロックＣ₀１はブロックＣ₁４〜Ｃ₁７、ブロックＣ₀２はブロックＣ₁８〜Ｃ₁１１、ブロックＣ₀３はブロックＣ₁１２〜Ｃ₁１５に分割されたものである。
なお、ブロックＲ０〜Ｒ５は、いずれも８×８のブロックであり、図４のブロックＲ０〜Ｒ５と同じである。

予測モード推定部２は、垂直方向と水平方向の評価値をブロック毎に算出して、その垂直方向と水平方向の評価値の比を算出する。
予測モード推定部２は、評価値の比によって、大まかに、３つに予測モード（垂直方向、水平方向、斜め方向）に絞込み、絞り込んだ予測方向から予測モードを決定する。
この予測モードの絞込みにおいて、予測モード０，３，７を垂直方向、予測モード１，８を水平方向、予測モード２，４，５，６を斜め方向とする。この予測モードの分類は、予測画像を作成する画素の位置に基づくものである。

具体的には、以下の通りである。
図７は４×４予測モードにおける予測モードの絞込み処理を示すフローチャートである。
図８、図９及び図１０は４×４予測モードにおける予測モードの選択処理を示すフローチャートである。

まず、予測モード推定部２は、ブロックＣ₁ｎ（０≦ｎ≦１５）の垂直方向の評価値Ｃｏｓｔ_{4×4_V,n}と、水平方向の評価値Ｃｏｓｔ_{4×4_H,n}とを算出する（図７のステップＳＴ２１）。評価値の算出方法はブロック毎に異なり、その算出方法は後述する。
予測モード推定部２は、垂直方向と水平方向の評価値をブロック毎に算出すると、垂直方向の評価値と水平方向の評価値の比ＲａｔｅＶＨ_4×4,nを算出する（ステップＳＴ２２）。

予測モード推定部２は、評価値の比ＲａｔｅＶＨ_4×4,nを算出すると、その評価値の比ＲａｔｅＶＨ_4×4,nと閾値ｔｈ_{4×4_H,n}，ｔｈ_{4×4_V,n}を比較する（ステップＳＴ２３，ＳＴ２４）。
ＲａｔｅＶＨ_4×4,n＜ｔｈ_{4×4_H,n} （９）
ｔｈ_{4×4_H,n}≦ＲａｔｅＶＨ_4×4,n＜ｔｈ_{4×4_V,n} （１０）
ＲａｔｅＶＨ_4×4,n≧ｔｈ_{4×4_V,n} （１１）

予測モード推定部２は、式（９）が成立する場合、水平方向への予測が有効であるとして、予測モード１，８に絞込みを行う（ステップＳＴ２５）。
予測モード推定部２は、式（１０）が成立する場合、斜め方向への予測が有効であるとして、予測モード２，４，５，６に絞込みを行う（ステップＳＴ２６）。
予測モード推定部２は、式（１１）が成立する場合、垂直方向への予測が有効であるとして、予測モード０，３，７に絞込みを行う（ステップＳＴ２７）。

予測モード推定部２は、予測モード１，８に絞込みを行うと、評価値の比ＲａｔｅＶＨ_4×4,nと閾値ｔｈ_{4×4_1_8,n}を比較する（図８のステップＳＴ３１）。
ＲａｔｅＶＨ_4×4,n＞ｔｈ_{4×4_1_8,n} （１２）
予測モード推定部２は、式（１２）が成立する場合、予測モード１を利用するものと決定し（ステップＳＴ３２）、式（１２）が成立しない場合、予測モード８を利用するものと決定する（ステップＳＴ３３）。

予測モード推定部２は、予測モード２，４，５，６に絞込みを行うと、対象となっている４×４ブロックが含まれる８×８ブロックのＤＣＴ係数のＡＣ成分を評価する評価値Ｃｏｓｔ_{4×4_2,n}を算出し（図９のステップＳＴ４１）、その評価値Ｃｏｓｔ_{4×4_2,n}と閾値ｔｈ_{4×4_2,n}を比較する（ステップＳＴ４２）。

予測モード推定部２は、式（１３）が成立する場合、予測モード２を利用するものと決定し（ステップＳＴ４３）、式（１３）が成立しない場合、評価値の比ＲａｔｅＶＨ_4×4,nと閾値ｔｈ_{4×4_4_5,n}，ｔｈ_{4×4_4_6,n}を比較する（ステップＳＴ４４，ＳＴ４５）。
ＲａｔｅＶＨ_4×4,n≦ｔｈ_{4×4_4_5,n} （１４）
ｔｈ_{4×4_4_5,n}＜ＲａｔｅＶＨ_4×4,n≦ｔｈ_{4×4_4_6,n} （１５）
ＲａｔｅＶＨ_4×4,n＞ｔｈ_{4×4_4_6,n} （１６）

予測モード推定部２は、式（１４）が成立する場合、予測モード５を利用するものと決定する（ステップＳＴ４６）。
予測モード推定部２は、式（１５）が成立する場合、予測モード４を利用するものと決定する（ステップＳＴ４７）。
予測モード推定部２は、式（１６）が成立する場合、予測モード６を利用するものと決定する（ステップＳＴ４８）。

予測モード推定部２は、予測モード０，３，７に絞込みを行うと、評価値の比ＲａｔｅＶＨ_4×4,nと閾値ｔｈ_{4×4_0_7,n}，ｔｈ_{4×4_3_7,n}を比較する（図１０のステップＳＴ５１，ＳＴ５２）。
ＲａｔｅＶＨ_4×4,n≦ｔｈ_{4×4_0_7,n} （１７）
ｔｈ_{4×4_0_7,n}＜ＲａｔｅＶＨ_4×4,n≦ｔｈ_{4×4_3_7,n} （１８）
ＲａｔｅＶＨ_4×4,n＞ｔｈ_{4×4_3_7,n} （１９）

予測モード推定部２は、式（１７）が成立する場合、予測モード０を利用するものと決定する（ステップＳＴ５３）。
予測モード推定部２は、式（１８）が成立する場合、予測モード７を利用するものと決定する（ステップＳＴ５４）。
予測モード推定部２は、式（１９）が成立する場合、予測モード３を利用するものと決定する（ステップＳＴ５５）。

この実施の形態１では、予測モード推定部２が完全に予測モードを決定するものについて示しているが、予測モードの絞込みのみを実施して、絞り込んだ予測モードについてＳＡＤやＳＡＴＤを実施して、予測モードを決定するようにしてもよい。

以下、図６に示す４×４の各ブロックの垂直方向の評価値Ｃｏｓｔ_{4×4_V,n}，水平方向の評価値Ｃｏｓｔ_{4×4_H,n}の算出方法について説明する。
基本的に、４×４の各ブロックが構成される元となる８×８ブロックと、それに隣接する８×８ブロックのＤＣＴ係数から算出される。
ｎ＝０（Ｃ₁０）のときは、下記の式（２０）及び式（２１）に示すように、ブロックＣ₁０が含まれるＣ₀０と、ブロックＣ₀０に隣接するブロックＲ０，Ｒ２のＤＣＴ係数を用いて評価値を算出する。

ｎ＝１（Ｃ₁１）のときは、下記の式（２２）及び式（２３）に示すように、ブロックＣ₁１が含まれるＣ₀０と、ブロックＣ₀０に隣接するブロックＲ０のＤＣＴ係数を用いて評価値を算出する。水平方向については、ブロックＣ₀０のＡＣ成分のみを考える。

ｎ＝２（Ｃ₁２）のときは、下記の式（２４）及び式（２５）に示すように、ブロックＣ₁２が含まれるＣ₀０と、ブロックＣ₀０に隣接するブロックＲ２のＤＣＴ係数を用いて評価値を算出する。垂直方向については、ブロックＣ₀０のＡＣ成分のみを考える。

ｎ＝３（Ｃ₁３）のときは、下記の式（２６）及び式（２７）に示すように、ブロックＣ₁３が含まれるＣ₀０のＡＣ成分のみを用いて評価値を算出する。

ｎ＝４（Ｃ₁４）のときは、下記の式（２８）及び式（２９）に示すように、ブロックＣ₁４が含まれるＣ₀１と、ブロックＣ₀１に隣接するＣ₀０と、ブロックＲ１のＤＣＴ係数を用いて評価値を算出する。

ｎ＝５（Ｃ₁５）のときは、下記の式（３０）及び式（３１）に示すように、ブロックＣ₁５が含まれるＣ₀１と、ブロックＣ₀１に隣接するブロックＲ１のＤＣＴ係数を用いて評価値を算出する。水平方向については、ブロックＣ₀１のＡＣ成分のみを考える。

ｎ＝６（Ｃ₁６）のときは、下記の式（３２）及び式（３３）に示すように、ブロックＣ₁６が含まれるＣ₀１と、ブロックＣ₀１に隣接するブロックＣ₀０のＤＣＴ係数を用いて評価値を算出する。垂直方向については、ブロックＣ₀１のＡＣ成分のみを考える。

ｎ＝７（Ｃ₁７）のときは、下記の式（３４）及び式（３５）に示すように、ブロックＣ₁７が含まれるＣ₀１のＡＣ成分のみを用いて評価値を算出する。

ｎ＝８（Ｃ₁８）のときは、下記の式（３６）及び式（３７）に示すように、ブロックＣ₁８が含まれるＣ₀２と、ブロックＣ₀２に隣接するＣ₀０，Ｒ３のＤＣＴ係数を用いて評価値を算出する。

ｎ＝９（Ｃ₁９）のときは、下記の式（３８）及び式（３９）に示すように、ブロックＣ₁９が含まれるＣ₀２と、ブロックＣ₀２に隣接するＣ₀０のＤＣＴ係数を用いて評価値を算出する。水平方向については、ブロックＣ₀２のＡＣ成分のみを考える。

ｎ＝１０（Ｃ₁１０）のときは、下記の式（４０）及び式（４１）に示すように、ブロックＣ₁１０が含まれるＣ₀２と、ブロックＣ₀２に隣接するＲ３のＤＣＴ係数を用いて評価値を算出する。垂直方向については、ブロックＣ₀２のＡＣ成分のみを考える。

ｎ＝１１（Ｃ₁１１）のときは、下記の式（４２）及び式（４３）に示すように、ブロックＣ₁１１が含まれるＣ₀２のＡＣ成分のみを用いて評価値を算出する。

ｎ＝１２（Ｃ₁１２）のときは、下記の式（４４）及び式（４５）に示すように、ブロックＣ₁１２が含まれるＣ₀３と、ブロックＣ₀３に隣接するＣ₀１，Ｃ₀２のＤＣＴ係数を用いて評価値を算出する。

ｎ＝１３（Ｃ₁１３）のときは、下記の式（４６）及び式（４７）に示すように、ブロックＣ₁１３が含まれるＣ₀３と、ブロックＣ₀３に隣接するＣ₀１のＤＣＴ係数を用いて評価値を算出する。水平方向については、ブロックＣ₀３のＡＣ成分のみを考える。

ｎ＝１４（Ｃ₁１４）のときは、下記の式（４８）及び式（４９）に示すように、ブロックＣ₁１４が含まれるＣ₀３と、ブロックＣ₀３に隣接するＣ₀２のＤＣＴ係数を用いて評価値を算出する。垂直方向については、ブロックＣ₀３のＡＣ成分のみを考える。

ｎ＝１５（Ｃ₁１５）のときは、下記の式（５０）及び式（５１）に示すように、ブロックＣ₁１５が含まれるＣ₀３のＡＣ成分のみを用いて評価値を算出する。

上記の式（２０）〜式（５１）は、式（１）及び式（２）の項の一部と同一部分があるため、式（１）及び式（２）を計算する時点で、その同一部分を保持するようにしてもよい。
上記のようにして、予測モードの決定処理を実施することで、８×８ブロックのＤＣＴ係数から予測モードを推定することができる。

Ｈ．２６４符号化部３は、予測モード推定部２が予測モードを推定すると、その予測モードとＪＰＥＧ簡易復号部１により取得されたヘッダ情報を用いて、ＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数を符号化することにより、Ｈ．２６４ストリームを生成する。
Ｈ．２６４ストリームの生成に際して、ＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数に対するＩＤＣＴ処理を実施して、そのＤＣＴ係数を画素信号に戻してから符号化を行うようにしてもよい。
また、非特許文献４に開示されているように、変換行列を用いて、ＤＣＴ係数を整数精度ＤＣＴに変換して符号化を行うようにしてもよい。
・非特許文献４
「Efficient MPEG-2 to H.264/AVC intra transcoding in transform-domain」
Circuits and Systems, 2005. ISCAS 2005. IEEE International Symposium on
23-26 May 2005 Page(s):1234 - 1237 Vol. 2

以上で明らかなように、この実施の形態１によれば、画像が周波数領域に変換されて符号化されているＪＰＥＧデータの一部を復号して、画像の周波数成分の信号であるＤＣＴ係数を取得するＪＰＥＧ簡易復号部１と、ＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数からＨ．２６４方式における予測モード（画面内予測の方向）を推定する予測モード推定部２とを設け、Ｈ．２６４符号化部３が予測モード推定部２により推定された予測モードを用いて、ＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数を符号化してＨ．２６４ストリームを生成するように構成したので、少ない演算量で、ＪＰＧ方式からＨ．２６４方式に変換することができる効果を奏する。

また、この実施の形態１では、式（１）、式（２）、式（２０）〜式（５１）において、多くの共通の項を有しているので、実際の計算に要する演算量が少なくなる特徴を有している。
なお、式（１）、式（２）、式（２０）〜式（５１）において、変数ｋを小さくすれば、即ち、ｋ＝０として、全ＤＣＴ係数のうち、直流成分のＤＣＴ係数のみから予測モードを推定する場合や、ｋ＝１又はｋ＝２として（あるいは、ｋ＝３として）、全ＤＣＴ係数のうち、低周波成分のＤＣＴ係数のみから予測モードを推定する場合には、演算量を大幅に削減することができる。

実施の形態２．
上記実施の形態１では、予測モード推定部２がＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数からＨ．２６４方式における予測モードを推定するものについて示したが、予測モード推定部２がＨ．２６４方式における予測モードを推定する際、ＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数の中に高周波成分のＤＣＴ係数が含まれているか否かを判定し、高周波成分のＤＣＴ係数が含まれていない場合には、推定する予測モードを絞り込むようにしてもよい。

ＪＰＥＧ簡易復号部１及びＨ．２６４符号化部３の処理内容は、上記実施の形態１と同様であるため、予測モード推定部２の処理内容のみを説明する。
なお、特に断りがない限り、数式中の変数は、上記実施の形態１と同じ意味を表すものとする。

予測モード推定部２は、上記実施の形態１と同様にして、１６×１６予測モードを採用するか、４×４予測モードを採用するかを判定する。
１６×１６予測モードが採用され、１６×１６予測モードにおける予測モードを選択する際の処理内容は、上記実施の形態１と同様であるため説明を省略する。
以下、図５及び図６を参照しながら、４×４予測モードが採用された場合の処理内容を説明する。
図１１及び図１２はこの発明の実施の形態２による画像符号化方式変換装置の予測モードの選択処理を示すフローチャートである。

まず、予測モード推定部２は、ブロックＣ₀０に高周波成分が存在しているか否かを判定する。
予測モード推定部２は、下記の式（５２）が成立する場合、ブロックＣ₀０に高周波成分が存在していると判定する（図１１のステップＳＴ６１）。
ＭＡＸ（ＤＣＴ＿Ｃ₀０_i,j）＞ｔｈ_{2_high} （５２）
ただし、ＭＡＸ（ＤＣＴ＿Ｃ₀０_i,j）はＤＣＴ係数の最大値であり、ｔｈ_{2_high}は閾値であり、４≦ｉ，ｊ≦７である。ここでは、４≦ｉ，ｊ≦７である例を示しているが、例えば、４≦ｉ，４≦ｊであってもよい。ｉ，ｊについては、以降の説明において全て同様である。
なお、高周波成分が存在しているか否かを判定は、他の方法を用いてもよい。

予測モード推定部２は、ブロックＣ₀０に高周波成分が存在している場合、上記実施の形態１と同様にして、予測モードを決定する（ステップＳＴ６２）。
一方、ブロックＣ₀０に高周波成分が存在していない場合、下記の式（５３）〜式（５５）を計算して、評価値Ｃｏｓｔ_{2_4×4,0,0}，Ｃｏｓｔ_{2_4×4,0,1}，Ｃｏｓｔ_{2_4×4,0,2_4}を算出する（ステップＳＴ６３）。

予測モード推定部２は、評価値Ｃｏｓｔ_{2_4×4,0,0}，Ｃｏｓｔ_{2_4×4,0,1}，Ｃｏｓｔ_{2_4×4,0,2_4}を算出すると、これらの評価値の中で、最小の評価値を選択する。
予測モード推定部２は、評価値Ｃｏｓｔ_{2_4×4,0,0}が最小である場合（ステップＳＴ６４）、ブロックＣ₁０については予測モード０を利用するものと決定する（ステップＳＴ６５）。
また、予測モード推定部２は、評価値Ｃｏｓｔ_{2_4×4,0,1}が最小である場合（ステップＳＴ６６）、ブロックＣ₁０については予測モード１を利用するものと決定する（ステップＳＴ６７）。

予測モード推定部２は、評価値Ｃｏｓｔ_{2_4×4,0,2_4}が最小である場合、ＤＣＴ係数の最大値ＭＡＸ（ＤＣＴ＿Ｃ₀０_i,j）と閾値ｔｈ_{2_DC}を比較する（ステップＳＴ６８）。
ＭＡＸ（ＤＣＴ＿Ｃ₀０_i,j）＞ｔｈ_{2_DC} （５６）
ただし、４≦ｉ，ｊ≦７である。
予測モード推定部２は、式（５６）が成立する場合、ブロックＣ₁０については予測モード４を利用するものと決定する（ステップＳＴ６９）。
一方、式（５６）が成立しない場合、ブロックＣ₁０については予測モード２を利用するものと決定する（ステップＳＴ７０）。

予測モード推定部２は、ブロックＣ₁０の予測モードを決定すると、高周波成分がないことを活かし、順次、予測モードを決定する。
即ち、ブロックＣ₁１については予測モード１に決定し、ブロックＣ₁２については予測モード０に決定し、ブロックＣ₁３については、下記の式（５７）が成立するか否かを判定する（図１２のステップＳＴ８１）。

予測モード推定部２は、式（５７）が成立する場合、ブロックＣ₁３については予測モード２を利用するものと決定する（ステップＳＴ８２）。
予測モード推定部２は、式（５７）が成立しない場合、下記の式（５８）が成立するか否かを判定する（ステップＳＴ８３）。

予測モード推定部２は、式（５８）が成立する場合、ブロックＣ₁３については予測モード１を利用するものと決定する（ステップＳＴ８４）。
予測モード推定部２は、式（５８）が成立しない場合、ブロックＣ₁３については予測モード０を利用するものと決定する（ステップＳＴ８５）。
以降、ブロックＣ₀１，Ｃ₀２，Ｃ₀３についても同様の方法で、ブロックＣ₁４〜Ｃ₁１５の各ブロックの予測モードを決定する。

予測モード推定部２は、ブロックＣ₀１では、高周波成分の判定として、下記の式（５９）を用いる。
ＭＡＸ（ＤＣＴ＿Ｃ₀１_i,j）＞ｔｈ_{2_high} （５９）
ただし、４≦ｉ，ｊ≦７である。
ブロックＣ₀１に高周波成分が存在しない場合、ブロックＣ₁４の予測モードを決定するために、下記の式（６０）〜式（６２）を計算して、評価値Ｃｏｓｔ_{2_4×4,1,0}，Ｃｏｓｔ_{2_4×4,1,1}，Ｃｏｓｔ_{2_4×4,1,2_4}を算出する。

予測モード推定部２は、評価値Ｃｏｓｔ_{2_4×4,1,0}，Ｃｏｓｔ_{2_4×4,1,1}，Ｃｏｓｔ_{2_4×4,1,2_4}を算出すると、これらの評価値の中で、最小の評価値を選択する。
予測モード推定部２は、評価値Ｃｏｓｔ_{2_4×4,1,0}が最小である場合、ブロックＣ₁４については予測モード０を利用するものと決定する。
また、予測モード推定部２は、評価値Ｃｏｓｔ_{2_4×4,1,1}が最小である場合、ブロックＣ₁４については予測モード１を利用するものと決定する。
予測モード推定部２は、評価値Ｃｏｓｔ_{2_4×4,1,2_4}が最小である場合、ＤＣＴ係数の最大値ＭＡＸ（ＤＣＴ＿Ｃ₀１_i,j）と閾値ｔｈ_{2_DC}を比較する。
ＭＡＸ（ＤＣＴ＿Ｃ₀１_i,j）＞ｔｈ_{2_DC} （６３）
ただし、４≦ｉ，ｊ≦７である。
予測モード推定部２は、式（６３）が成立する場合、ブロックＣ₁４については予測モード４を利用するものと決定する。
一方、式（６３）が成立しない場合、ブロックＣ₁４については予測モード２を利用するものと決定する。

予測モード推定部２は、ブロックＣ₁５については予測モード１を利用するものと決定し、ブロックＣ₁６については予測モード０を利用するものと決定する。
ブロックＣ₁７については、下記の式（６４）が成立するか否かを判定する。

予測モード推定部２は、式（６４）が成立する場合、ブロックＣ₁７については予測モード２を利用するものと決定する。
一方、式（６４）が成立しない場合、下記の式（６５）が成立するか否かを判定する。

予測モード推定部２は、式（６５）が成立する場合、ブロックＣ₁７については予測モード１を利用するものと決定する。
一方、式（６５）が成立しない場合、ブロックＣ₁７については予測モード０を利用するものと決定する。

予測モード推定部２は、ブロックＣ₀２では、高周波成分の判定として、下記の式（６６）を用いる。
ＭＡＸ（ＤＣＴ＿Ｃ₀２_i,j）＞ｔｈ_{2_high} （６６）
ただし、４≦ｉ，ｊ≦７である。
ブロックＣ₀２に高周波成分が存在しない場合、ブロックＣ₁８の予測モードを決定するために、下記の式（６７）〜式（６９）を計算して、評価値Ｃｏｓｔ_{2_4×4,2,0}，Ｃｏｓｔ_{2_4×4,2,1}，Ｃｏｓｔ_{2_4×4,2,2_4}を算出する。

予測モード推定部２は、評価値Ｃｏｓｔ_{2_4×4,2,0}，Ｃｏｓｔ_{2_4×4,2,1}，Ｃｏｓｔ_{2_4×4,2,2_4}を算出すると、これらの評価値の中で、最小の評価値を選択する。
予測モード推定部２は、評価値Ｃｏｓｔ_{2_4×4,2,0}が最小である場合、ブロックＣ₁８については予測モード０を利用するものと決定する。
また、予測モード推定部２は、評価値Ｃｏｓｔ_{2_4×4,2,1}が最小である場合、ブロックＣ₁８については予測モード１を利用するものと決定する。
予測モード推定部２は、評価値Ｃｏｓｔ_{2_4×4,2,2_4}が最小である場合、ＤＣＴ係数の最大値ＭＡＸ（ＤＣＴ＿Ｃ₀２_i,j）と閾値ｔｈ_{2_DC}を比較する。
ＭＡＸ（ＤＣＴ＿Ｃ₀２_i,j）＞ｔｈ_{2_DC} （７０）
ただし、４≦ｉ，ｊ≦７である。
予測モード推定部２は、式（７０）が成立する場合、ブロックＣ₁８については予測モード４を利用するものと決定する。
一方、式（６９）が成立しない場合、ブロックＣ₁８については予測モード２を利用するものと決定する。

予測モード推定部２は、ブロックＣ₁９については予測モード１を利用するものと決定し、ブロックＣ₁１０については予測モード０を利用するものと決定する。
ブロックＣ₁１１については、下記の式（７１）が成立するか否かを判定する。

予測モード推定部２は、式（７１）が成立する場合、ブロックＣ₁１１については予測モード２を利用するものと決定する。
一方、式（７１）が成立しない場合、下記の式（７２）が成立するか否かを判定する。

予測モード推定部２は、式（７２）が成立する場合、ブロックＣ₁１１については予測モード１を利用するものと決定する。
一方、式（７２）が成立しない場合、ブロックＣ₁１１については予測モード０を利用するものと決定する。

予測モード推定部２は、ブロックＣ₀３では、高周波成分の判定として、下記の式（７３）を用いる。
ＭＡＸ（ＤＣＴ＿Ｃ₀３_i,j）＞ｔｈ_{2_high} （７３）
ただし、４≦ｉ，ｊ≦７である。
ブロックＣ₀３に高周波成分が存在しない場合、ブロックＣ₁１２の予測モードを決定するために、下記の式（７４）〜式（７６）を計算して、評価値Ｃｏｓｔ_{2_4×4,3,0}，Ｃｏｓｔ_{2_4×4,3,1}，Ｃｏｓｔ_{2_4×4,3,2_4}を算出する。

予測モード推定部２は、評価値Ｃｏｓｔ_{2_4×4,3,0}，Ｃｏｓｔ_{2_4×4,3,1}，Ｃｏｓｔ_{2_4×4,3,2_4}を算出すると、これらの評価値の中で、最小の評価値を選択する。
予測モード推定部２は、評価値Ｃｏｓｔ_{2_4×4,3,0}が最小である場合、ブロックＣ₁１２については予測モード０を利用するものと決定する。
また、予測モード推定部２は、評価値Ｃｏｓｔ_{2_4×4,3,1}が最小である場合、ブロックＣ₁１２については予測モード１を利用するものと決定する。
予測モード推定部２は、評価値Ｃｏｓｔ_{2_4×4,3,2_4}が最小である場合、ＤＣＴ係数の最大値ＭＡＸ（ＤＣＴ＿Ｃ₀３_i,j）と閾値ｔｈ_{2_DC}を比較する。
ＭＡＸ（ＤＣＴ＿Ｃ₀３_i,j）＞ｔｈ_{2_DC} （７７）
ただし、４≦ｉ，ｊ≦７である。
予測モード推定部２は、式（７７）が成立する場合、ブロックＣ₁１２については予測モード４を利用するものと決定する。
一方、式（７７）が成立しない場合、ブロックＣ₁１２については予測モード２を利用するものと決定する。

予測モード推定部２は、ブロックＣ₁１３については予測モード１を利用するものと決定し、ブロックＣ₁１４については予測モード０を利用するものと決定する。
ブロックＣ₁１５については、下記の式（７８）が成立するか否かを判定する。

予測モード推定部２は、式（７８）が成立する場合、ブロックＣ₁１５については予測モード２を利用するものと決定する。
一方、式（７８）が成立しない場合、下記の式（７９）が成立するか否かを判定する。

予測モード推定部２は、式（７９）が成立する場合、ブロックＣ₁１５については予測モード１を利用するものと決定する。
一方、式（７９）が成立しない場合、ブロックＣ₁１５については予測モード０を利用するものと決定する。

この実施の形態２によれば、高周波成分の存在を判定して、８×８ブロック内に高周波成分がない場合、ＤＣ成分の比較によって、３つの４×４ブロックの予測モードが決まり、残る１つのブロックについても、ＡＣ成分の和から簡単に決めることができる。
したがって、高周波成分がない場合に、非常に高速に４×４予測モードを決定して、Ｈ．２６４方式への変換を高速に行うことが可能になる。

実施の形態３．
上記実施の形態１，２では、予測モード推定部２がＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数からＨ．２６４方式の予測モードを推定するものについて示したが、動画像の場合、図１４に示すように、静止画像を時間軸方向に並べた形式で表されることが多く、時間的に近いフレームは一般に相関が高い（類似している）ことが多い。
そこで、この実施の形態３では、類似している画像が連続して符号化されている場合、Ｈ．２６４方式の予測モードの推定を行わず、１フレーム前の予測モードと同一の予測モードを使用し続けるようにしている。
具体的には、以下の通りである。

図１３はこの発明の実施の形態３による画像符号化方式変換装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
ＤＣＴ係数記憶部１１はＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数を記憶し、その後、ＪＰＥＧ簡易復号部１により最新のＤＣＴ係数（現在のフレームのＤＣＴ係数）が取得されると、記憶している１フレーム前のＤＣＴ係数を予測モード推定処理判定部１３に出力する。なお、ＤＣＴ係数記憶部１１は周波数成分記憶手段を構成している。
予測モード記憶部１２は予測モード推定部２により推定されたＨ．２６４方式の予測モードを記憶し、予測モード推定処理判定部１３から予測モードの出力指令を受けると、記憶している１フレーム前の予測モードをＨ．２６４符号化部３に出力する。なお、予測モード記憶部１２は画面内予測方向記憶手段を構成している。

予測モード推定処理判定部１３はＪＰＥＧ簡易復号部１により取得された現在のフレームのＤＣＴ係数とＤＣＴ係数記憶部１１に記憶されている１フレーム前のＤＣＴ係数とを比較して、予測モード推定部２におけるＨ．２６４方式の予測モード推定処理（画面内予測方向の推定処理）の実施の必要性を判定し、その予測モード推定処理を実施する必要があると判定すれば、予測モードの推定命令を予測モード推定部２に出力することにより、その予測モード推定処理を予測モード推定部２に実施させる一方、その予測モード推定処理を実施する必要がないと判定すれば、予測モードの出力命令を予測モード記憶部１２に出力することにより、予測モード記憶部１２に記憶されている１フレーム前の予測モードをＨ．２６４符号化部３に出力させる処理を実施する。なお、予測モード推定処理判定部１３は推定処理判定手段を構成している。
図１６はこの発明の実施の形態３による画像符号化方式変換装置の予測モード推定処理判定部１３の処理内容を示すフローチャートである。

次に動作について説明する。
ただし、ＤＣＴ係数記憶部１１、予測モード記憶部１２及び予測モード推定処理判定部１３を実装している点以外は、上記実施の形態１，２と同様であるため、ここでは、ＤＣＴ係数記憶部１１、予測モード記憶部１２及び予測モード推定処理判定部１３の動作のみを説明する。

ＤＣＴ係数記憶部１１は、上記実施の形態１と同様にして、ＪＰＥＧ簡易復号部１がＤＣＴ係数を取得すると、そのＤＣＴ係数を記憶し、その後、ＪＰＥＧ簡易復号部１が現在のフレームのＤＣＴ係数を取得すると、記憶している１フレーム前のＤＣＴ係数を予測モード推定処理判定部１３に出力する。
予測モード記憶部１２は、上記実施の形態１と同様にして、予測モード推定部２がＨ．２６４方式の予測モードを推定すると、その予測モードを記憶する。

予測モード推定処理判定部１３は、ＪＰＥＧ簡易復号部１から現在のフレームのＤＣＴ係数を受け、ＤＣＴ係数記憶部１１から１フレーム前のＤＣＴ係数を受けると、現在のフレームのＤＣＴ係数と１フレーム前のＤＣＴ係数とを比較して、予測モード推定部２におけるＨ．２６４方式の予測モード推定処理の実施の必要性を判定する。
予測モード推定処理判定部１３は、予測モード推定処理を実施する必要があると判定すると、予測モードの推定命令を予測モード推定部２に出力することにより、その予測モード推定処理を予測モード推定部２に実施させる。
一方、予測モード推定処理を実施する必要がないと判定すると、予測モードの出力命令を予測モード記憶部１２に出力することにより、予測モード記憶部１２に記憶されている１フレーム前の予測モードをＨ．２６４符号化部３に出力させる。
以下、予測モード推定処理判定部１３の処理内容を具体的に説明する。

図１５は現在のフレームの符号化対象ブロックＡ₀０〜Ａ₀３と１フレーム前の同一位置の符号化対象ブロックＢ₀０〜Ｂ₀３を示す説明図である。ただし、ブロックＡ₀０〜Ａ₀３、Ｂ₀０〜Ｂ₀３は、いずれも８×８ブロックである。
符号化対象ブロックが、連続するフレームにおいて類似している場合は、１フレーム前と同一の予測モードを用いても、高効率の符号化が可能である。
一方、符号化対象ブロックが、連続するフレームにおいて相違している場合は、１フレーム前と同一の予測モードを用いると、符号化効率が悪化する可能性が高い。

そこで、予測モード推定処理判定部１３は、予測モード推定処理の実施の必要性を判定するため、ＪＰＥＧ簡易復号部１から出力された現在のフレームのＤＣＴ係数と、ＤＣＴ係数記憶部１１から出力された１フレーム前のＤＣＴ係数とを下記の式（８０）に示す評価関数に代入して、差分値Ｄｉｆｆを算出する（ステップＳＴ９１）。

ただし、ＤＣＴ＿Ａ₀０_i,j，ＤＣＴ＿Ａ₀１_i,j，ＤＣＴ＿Ａ₀２_i,j，ＤＣＴ＿Ａ₀３_i,j，ＤＣＴ＿Ｂ₀０_i,j，ＤＣＴ＿Ｂ₀１_i,j，ＤＣＴ＿Ｂ₀２_i,j，ＤＣＴ＿Ｂ₀３_i,jは、それぞれブロックＡ₀０，Ａ₀１，Ａ₀２，Ａ₀３，Ｂ₀０，Ｂ₀１，Ｂ₀２，Ｂ₀３におけるｉ行、ｊ列のＤＣＴ係数である。
また、ｋ及びｌは計算に用いる係数であり、ここでは、０≦ｋ≦７，０≦ｌ≦７であるとする。
ｋ＝０，ｌ＝０とすれば全ＤＣＴ係数のうち、直流成分のＤＣＴ係数のみを用いて、予測モード推定処理の実施の必要性を判定することを意味する。
ｋ＝２，ｌ＝２とすれば、全ＤＣＴ係数のうち、低周波成分のＤＣＴ係数のみを用いて、予測モード推定処理の実施の必要性を判定することを意味する。
また、ｋ＝２，ｌ＝７とすれば、水平方向は低周波成分のみを用い、垂直方向は高周波成分までのＤＣＴ係数を用いて、予測モード推定処理の実施の必要性を判定することを意味する。
なお、ｗ_i,jは重みである。

予測モード推定処理判定部１３は、差分値Ｄｉｆｆを算出すると、その差分値Ｄｉｆｆと閾値ｔｈ_Diffを比較する（ステップＳＴ９２）。
Ｄｉｆｆ≦ｔｈ_Diff （８１）
予測モード推定処理判定部１３は、式（８１）が成立する場合、符号化対象ブロックが、連続するフレーム間において類似しているとみなして、予測モードの出力命令を予測モード記憶部１２に出力する（ステップＳＴ９３）。
予測モード記憶部１２は、予測モード推定処理判定部１３から予測モードの出力命令を受けると、記憶している１フレーム前の予測モードをＨ．２６４符号化部３に出力する。
ただし、予測モード推定処理判定部１３から数フレーム連続して予測モードの出力命令を受けている場合には、予測モード記憶部１２が記憶している予測モードは数フレーム前の予測モードであり、数フレーム前の予測モードをＨ．２６４符号化部３に出力する。

予測モード推定処理判定部１３は、式（８１）が成立しない場合、符号化対象ブロックが、連続するフレーム間において相違しているとみなして、予測モードの推定命令を予測モード推定部２に出力する（ステップＳＴ９４）。
予測モード推定部２は、予測モード推定処理判定部１３から予測モードの推定命令を受けると、上記実施の形態１，２と同様にして、Ｈ．２６４方式の予測モードを推定し、その予測モードをＨ．２６４符号化部３及び予測モード記憶部１２に出力する。
なお、予測モード推定部２は、Ｈ．２６４方式の予測モードを推定する際、上記実施の形態１，２と同様に、ＤＣＴ係数を用いて予測モードを推定してもよいが、全ての予測モードに対して、ＳＡＤやＳＡＴＤを実施して、予測モードを決定するようにしてもよい。

以上で明らかなように、この実施の形態３によれば、予測モード推定処理判定部１３がＪＰＥＧ簡易復号部１により取得された現在のフレームのＤＣＴ係数とＤＣＴ係数記憶部１１に記憶されている１フレーム前のＤＣＴ係数とを比較して、予測モード推定部２におけるＨ．２６４方式の予測モード推定処理の実施の必要性を判定し、その予測モード推定処理を実施する必要があると判定すれば、その予測モード推定処理を予測モード推定部２に実施させる一方、その予測モード推定処理を実施する必要がないと判定すれば、予測モード記憶部１２に記憶されている１フレーム前の予測モードをＨ．２６４符号化部３に出力させるように構成したので、現在のフレームと１フレーム前の同一位置の符号化対象ブロックが相違している場合に限り、予測モード推定部２における予測モードの推定処理が実施されるようになり、その結果、Ｈ．２６４方式への変換の高速化を図ることができる効果を奏する。

実施の形態４．
上記実施の形態３では、現在のフレームと１フレーム前の同一位置の符号化対象ブロックが相違している場合に限り、予測モード推定部２が予測モードの推定処理を実施するものについて示したが、現在のフレームと１フレーム前の同一位置の符号化対象ブロックが類似している場合でも、規定回数連続して、予測モード推定部２が予測モードの推定処理を実施していない場合には、予測モードの推定処理を予測モード推定部２に実施させるようにしてもよい。
具体的には、以下の通りである。

図１７はこの発明の実施の形態４による画像符号化方式変換装置を示す構成図であり、図において、図１３と同一符号は同一または相当部分を示すので説明を省略する。
同一予測モードカウント部１４は予測モード推定処理判定部１５から予測モードの出力命令が予測モード記憶部１２に出力されるとカウント値Ｃｏｕｎｔをインクリメントし、予測モード推定処理判定部１５から予測モードの推定命令が予測モード推定部２に出力されるとカウント値Ｃｏｕｎｔを０リセットする。

予測モード推定処理判定部１５は図１３の予測モード推定処理判定部１３と同様に、ＪＰＥＧ簡易復号部１により取得された現在のフレームのＤＣＴ係数とＤＣＴ係数記憶部１１に記憶されている１フレーム前のＤＣＴ係数とを比較して、予測モード推定部２におけるＨ．２６４方式の予測モード推定処理の実施の必要性を判定し、その予測モード推定処理を実施する必要があると判定すれば、その予測モード推定処理を予測モード推定部２に実施させる一方、その予測モード推定処理を実施する必要がないと判定すれば、予測モード記憶部１２に記憶されている１フレーム前の予測モードをＨ．２６４符号化部３に出力させるが、予測モード推定処理判定部１５は同一予測モードカウント部１４のカウント値Ｃｏｕｎｔが閾値ｔｈ_Countに到達すると、現在のフレームと１フレーム前の同一位置の符号化対象ブロックが類似している場合でも、その予測モード推定処理を予測モード推定部２に実施させるようにする。
なお、同一予測モードカウント部１４及び予測モード推定処理判定部１５から推定処理判定手段が構成されている。
図１８はこの発明の実施の形態４による画像符号化方式変換装置の予測モード推定処理判定部１５の処理内容を示すフローチャートである。

次に動作について説明する。
上記実施の形態３では、符号化対象ブロックにおいて、現在のフレームと１フレーム前の同一位置の符号化対象ブロックが類似している限り、何回でも、前のフレームと同一の予測モードを使用し続けるようにしている。
しかしながら、例えば、日照変動などのように、フレーム間では類似していても、微小な変化が連続する場合には、同一の予測モードを使用し続けると、符号化効率が悪くなる可能性がある。
そこで、この実施の形態４では、微小な変化が連続するような場合には、同一の予測モードが使用され続けないようにするため、同一予測モードの連続使用数に制限を設けるようにしている。
以下、同一予測モードカウント部１４及び予測モード推定処理判定部１５の処理内容を具体的に説明する。

予測モード推定処理判定部１５は、図１３の予測モード推定処理判定部１３と同様に、予測モード推定処理の実施の必要性を判定するため、ＪＰＥＧ簡易復号部１から出力された現在のフレームのＤＣＴ係数と、ＤＣＴ係数記憶部１１から出力された１フレーム前のＤＣＴ係数とを上記の式（８０）に示す評価関数に代入して、差分値Ｄｉｆｆを算出する（ステップＳＴ１０１）。
予測モード推定処理判定部１５は、差分値Ｄｉｆｆを算出すると、その差分値Ｄｉｆｆと閾値ｔｈ_Diffを比較する（ステップＳＴ１０２）。

予測モード推定処理判定部１５は、上記の式（８１）が成立しない場合（Ｄｉｆｆ＞ｔｈ_Diffの場合）、符号化対象ブロックが、連続するフレーム間において相違しているとみなし、同一予測モードカウント部１４のカウント値Ｃｏｕｎｔを０リセットして（ステップＳＴ１０３）、予測モードの推定命令を予測モード推定部２に出力する（ステップＳＴ１０４）。
予測モード推定部２は、予測モード推定処理判定部１５から予測モードの推定命令を受けると、上記実施の形態１〜３と同様にして、Ｈ．２６４方式の予測モードを推定し、その予測モードをＨ．２６４符号化部３及び予測モード記憶部１２に出力する。
なお、予測モード推定部２は、Ｈ．２６４方式の予測モードを推定する際、上記実施の形態１〜３と同様に、ＤＣＴ係数を用いて予測モードを推定してもよいが、全ての予測モードに対して、ＳＡＤやＳＡＴＤを実施して、予測モードを決定するようにしてもよい。

予測モード推定処理判定部１５は、上記の式（８１）が成立する場合（Ｄｉｆｆ≦ｔｈ_Diffの場合）、符号化対象ブロックが、連続するフレーム間において類似しているとみなし、同一予測モードカウント部１４のカウント値Ｃｏｕｎｔと閾値ｔｈ_Countを比較する（ステップＳＴ１０５）。
Ｃｏｕｎｔ≦ｔｈ_Count （８２）

予測モード推定処理判定部１５は、式（８２）が成立する場合、同一予測モードカウント部１４のカウント値Ｃｏｕｎｔを“１”だけインクリメントして（ステップＳＴ１０６）、予測モードの出力命令を予測モード記憶部１２に出力する（ステップＳＴ１０７）。
予測モード記憶部１２は、予測モード推定処理判定部１５から予測モードの出力命令を受けると、記憶している１フレーム前の予測モードをＨ．２６４符号化部３に出力する。
ただし、予測モード推定処理判定部１５から数フレーム連続して予測モードの出力命令を受けている場合には、予測モード記憶部１２が記憶している予測モードは数フレーム前の予測モードであり、数フレーム前の予測モードをＨ．２６４符号化部３に出力する。

予測モード推定処理判定部１５は、式（８２）が成立しない場合、同一の予測モードの連続使用回数が規定回数（上限回数）に到達しているので、同一予測モードカウント部１４のカウント値Ｃｏｕｎｔを０リセットして（ステップＳＴ１０３）、予測モードの推定命令を予測モード推定部２に出力する（ステップＳＴ１０４）。
予測モード推定部２は、予測モード推定処理判定部１５から予測モードの推定命令を受けると、上記実施の形態１〜３と同様にして、Ｈ．２６４方式の予測モードを推定し、その予測モードをＨ．２６４符号化部３及び予測モード記憶部１２に出力する。

以上で明らかなように、この実施の形態４によれば、同一予測モードカウント部１４のカウント値Ｃｏｕｎｔが閾値ｔｈ_Countを上回ると、現在のフレームと１フレーム前の同一位置の符号化対象ブロックが類似している場合でも、予測モード推定処理判定部１５が予測モード推定処理を予測モード推定部２に実施させるように構成したので、微小な変化が連続するような場合でも、高効率な符号化を行うことができる効果を奏する。

実施の形態５．
上記実施の形態３，４では、現在のフレームと１フレーム前の同一位置の符号化対象ブロックを比較して、予測モード推定部２におけるＨ．２６４方式の予測モード推定処理の実施の必要性を判定するものについて示したが、現在のフレームと１フレーム前の同一位置の符号化対象ブロックだけでなく、符号化対象ブロックの周辺ブロックも比較対象に含めて、予測モード推定処理の実施の必要性を判定することにより、より高効率な符号化を行うことができるようにしてもよい。

この実施の形態５における画像符号化方式変換装置は、上記実施の形態３，４の画像符号化方式変換装置と基本的な構成は同一であるが、予測モード推定処理判定部１３，１５が、現在のフレームと１フレーム前の同一位置の符号化対象ブロック及び対象ブロックの周辺ブロックを比較して、予測モード推定処理の実施の必要性を判定するようにしている点で相違している。
この実施の形態５では、説明の便宜上、図１３の画像符号化方式変換装置の構成を参照して説明する。

図１９は現在のフレームの符号化対象ブロックＡ₀０〜Ａ₀３と、その周辺ブロックＲＡ０〜ＲＡ５と、１フレーム前の同一位置の符号化対象ブロックＢ₀０〜Ｂ₀３と、その周辺ブロックＲＢ０〜ＲＢ５とを示す説明図である。
ただし、ブロックＡ₀０〜Ａ₀３，ＲＡ０〜ＲＡ５，Ｂ₀０〜Ｂ₀３及びＲＢ０〜ＲＢ５は、いずれも８×８ブロックである。

予測モード推定処理判定部１３は、予測モード推定処理の実施の必要性を判定するため、ＪＰＥＧ簡易復号部１から出力された現在のフレームのＤＣＴ係数と、ＤＣＴ係数記憶部１１から出力された１フレーム前のＤＣＴ係数とを下記の式（８３）に示す評価関数に代入して、差分値Ｄｉｆｆ_neighborを算出する。

ただし、ＤＣＴ＿Ａ₀０_i,j，ＤＣＴ＿Ａ₀１_i,j，ＤＣＴ＿Ａ₀２_i,j，ＤＣＴ＿Ａ₀３_i,j，ＤＣＴ＿Ｂ₀０_i,j，ＤＣＴ＿Ｂ₀１_i,j，ＤＣＴ＿Ｂ₀２_i,j，ＤＣＴ＿Ｂ₀３_i,jは、それぞれブロックＡ₀０，Ａ₀１，Ａ₀２，Ａ₀３，Ｂ₀０，Ｂ₀１，Ｂ₀２，Ｂ₀３におけるｉ行、ｊ列のＤＣＴ係数である。
また、ＤＣＴ＿ＲＡ０_i,j，ＤＣＴ＿ＲＡ１_i,j，ＤＣＴ＿ＲＡ２_i,j，ＤＣＴ＿ＲＡ３_i,j，ＤＣＴ＿ＲＡ４_i,j，ＤＣＴ＿ＲＡ５_i,j，ＤＣＴ＿ＲＢ０_i,j，ＤＣＴ＿ＲＢ１_i,j，ＤＣＴ＿ＲＢ２_i,j，ＤＣＴ＿ＲＢ３_i,j，ＤＣＴ＿ＲＢ４_i,j，ＤＣＴ＿ＲＢ５_i,jは、それぞれブロックＲＡ０，ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４，ＲＡ５，ＲＢ０，ＲＢ１，ＲＢ２，ＲＢ３，ＲＢ４，ＲＢ５におけるｉ行、ｊ列のＤＣＴ係数である。

また、ｋ及びｌは計算に用いる係数であり、ここでは、０≦ｋ≦７，０≦ｌ≦７であるとする。
ｋ＝０，ｌ＝０とすれば全ＤＣＴ係数のうち、直流成分のＤＣＴ係数のみを用いて、予測モード推定処理の実施の必要性を判定することを意味する。
ｋ＝２，ｌ＝２とすれば、全ＤＣＴ係数のうち、低周波成分のＤＣＴ係数のみを用いて、予測モード推定処理の実施の必要性を判定することを意味する。
また、ｋ＝２，ｌ＝７とすれば、水平方向は低周波成分のみを用い、垂直方向は高周波成分までのＤＣＴ係数を用いて、予測モード推定処理の実施の必要性を判定することを意味する。
なお、ｕ_i,j，ｖ_i,jは重みである。

予測モード推定処理判定部１３は、差分値Ｄｉｆｆ_neighborを算出すると、その差分値Ｄｉｆｆ_neighborと閾値ｔｈ_neighborを比較する。
Ｄｉｆｆ_neighbor≦ｔｈ_neighbor （８４）
予測モード推定処理判定部１３は、式（８４）が成立する場合、符号化対象ブロックが、連続するフレーム間において類似しているとみなして、予測モードの出力命令を予測モード記憶部１２に出力する。
予測モード記憶部１２は、予測モード推定処理判定部１３から予測モードの出力命令を受けると、記憶している１フレーム前の予測モードをＨ．２６４符号化部３に出力する。
ただし、予測モード推定処理判定部１３から数フレーム連続して予測モードの出力命令を受けている場合には、予測モード記憶部１２が記憶している予測モードは数フレーム前の予測モードであり、数フレーム前の予測モードをＨ．２６４符号化部３に出力する。

予測モード推定処理判定部１３は、式（８４）が成立しない場合、符号化対象ブロックが、連続するフレーム間において相違しているとみなして、予測モードの推定命令を予測モード推定部２に出力する。
予測モード推定部２は、予測モード推定処理判定部１３から予測モードの推定命令を受けると、上記実施の形態１〜４と同様にして、Ｈ．２６４方式の予測モードを推定し、その予測モードをＨ．２６４符号化部３及び予測モード記憶部１２に出力する。

この実施の形態５によれば、現在のフレームと１フレーム前の同一位置の符号化対象ブロックだけでなく、符号化対象ブロックの周辺ブロックも比較対象に含めて、予測モード推定処理の実施の必要性を判定するようにしている。このため、現在のフレームと１フレーム前において、周辺ブロックの相違による予測モードの変化に対応することができるので、高効率な予測符号化が可能になる。

実施の形態６．
上記実施の形態５では、現在のフレームと１フレーム前の同一位置の符号化対象ブロックだけでなく、符号化対象ブロックの周辺ブロックも比較対象に含めて、予測モード推定処理の実施の必要性を判定するものについて示したが、予測モード記憶部１２に記憶されている１フレーム前の予測モードを考慮して、予測モード推定処理の実施の必要性を判定するようにしてもよい。
具体的には、以下の通りである。

図２０はこの発明の実施の形態６による画像符号化方式変換装置を示す構成図であり、図において、図１３及び図１７と同一符号は同一または相当部分を示すので説明を省略する。
予測モード推定処理判定部１６は図１３の予測モード推定処理判定部１３又は図１７の予測モード推定処理判定部１５と同様に、予測モード推定処理の実施の必要性を判定し、その予測モード推定処理を実施する必要があると判定すれば、その予測モード推定処理を予測モード推定部２に実施させる一方、その予測モード推定処理を実施する必要がないと判定すれば、予測モード記憶部１２に記憶されている１フレーム前の予測モードをＨ．２６４符号化部３に出力させるが、予測モード推定処理判定部１６は予測モード推定処理の実施の必要性を判定する際、予測モード記憶部１２に記憶されている１フレーム前の予測モードを考慮して判定を行う。なお、予測モード推定処理判定部１６は推定処理判定手段を構成している。
図２１はこの発明の実施の形態６による画像符号化方式変換装置の予測モード推定処理判定部１６の処理内容を示すフローチャートである。

まず、予測モード推定処理判定部１６は、予測モード記憶部１２に記憶されている１フレーム前の予測モードが、１６×１６予測モードであるのか、４×４予測モードであるのかを判定する（ステップＳＴ１１１）。
予測モード推定処理判定部１６は、１フレーム前の予測モードが１６×１６予測モードである場合、差分値Ｄｉｆｆ_{16×16_n}を算出し（ステップＳＴ１１２）、その差分値Ｄｉｆｆ_{16×16_n}と閾値ｔｈ_{16×16_n}を比較する（ステップＳＴ１１３）。差分値Ｄｉｆｆ_{16×16_n}の算出方法は後述する。
Ｄｉｆｆ_{16×16_n}≦ｔｈ_{16×16_n} （８５）
ここで、ｎは１フレーム前の１６×１６予測モードであり、予測モード０〜３のいずれかである。

予測モード推定処理判定部１６は、式（８５）が成立する場合、符号化対象ブロックが、連続するフレーム間において類似しているとみなして、予測モードの出力命令を予測モード記憶部１２に出力する（ステップＳＴ１１８）。
予測モード記憶部１２は、予測モード推定処理判定部１６から予測モードの出力命令を受けると、記憶している１フレーム前の予測モードをＨ．２６４符号化部３に出力する。
ただし、予測モード推定処理判定部１６から数フレーム連続して予測モードの出力命令を受けている場合には、予測モード記憶部１２が記憶している予測モードは数フレーム前の予測モードであり、数フレーム前の予測モードをＨ．２６４符号化部３に出力する。
予測モード推定処理判定部１６は、式（８５）が成立しない場合、符号化対象ブロックが、連続するフレーム間において相違しているとみなして、予測モードの推定命令を予測モード推定部２に出力する（ステップＳＴ１１９）。
予測モード推定部２は、予測モード推定処理判定部１６から予測モードの推定命令を受けると、上記実施の形態１〜５と同様に、Ｈ．２６４方式の予測モードを推定し、その予測モードをＨ．２６４符号化部３及び予測モード記憶部１２に出力する。

予測モード推定処理判定部１６は、１フレーム前の予測モードが４×４予測モードである場合、４×４予測モードに基づいて、μ０〜μ５，ｍ，差分値Ｄｉｆｆ_4×4を算出し（ステップＳＴ１１４〜ＳＴ１１６）、その差分値Ｄｉｆｆ_4×4と閾値ｔｈ_4×4を比較する（ステップＳＴ１１７）。μ０〜μ５，ｍ，Ｄｉｆｆ_4×4の算出方法は後述する。
Ｄｉｆｆ_4×4≦ｔｈ_4×4 （８６）

予測モード推定処理判定部１６は、式（８６）が成立する場合、符号化対象ブロックが、連続するフレーム間において類似しているとみなして、予測モードの出力命令を予測モード記憶部１２に出力する（ステップＳＴ１１８）。
予測モード記憶部１２は、予測モード推定処理判定部１６から予測モードの出力命令を受けると、記憶している１フレーム前の予測モードをＨ．２６４符号化部３に出力する。
ただし、予測モード推定処理判定部１６から数フレーム連続して予測モードの出力命令を受けている場合には、予測モード記憶部１２が記憶している予測モードは数フレーム前の予測モードであり、数フレーム前の予測モードをＨ．２６４符号化部３に出力する。
予測モード推定処理判定部１６は、式（８６）が成立しない場合、符号化対象ブロックが、連続するフレーム間において相違しているとみなして、予測モードの推定命令を予測モード推定部２に出力する（ステップＳＴ１１９）。
予測モード推定部２は、予測モード推定処理判定部１６から予測モードの推定命令を受けると、上記実施の形態１〜５と同様に、Ｈ．２６４方式の予測モードを推定し、その予測モードをＨ．２６４符号化部３及び予測モード記憶部１２に出力する。

以下、差分値Ｄｉｆｆ_{16×16_n}の算出方法について説明する。
予測モード推定処理判定部１６は、ｎ＝０のときは、下記の式（８７）に示すように、符号化対象ブロックＡ₀０〜Ａ₀３，Ｂ₀０〜Ｂ₀３と、ブロックＡ₀０，Ａ₀１及びブロックＢ₀０，Ｂ₀１に隣接するブロックＲＡ０，ＲＡ１及びＲＢ０，ＲＢ１のＤＣＴ係数を用いて差分値Ｄｉｆｆ_{16×16_0}を算出する。

ｎ＝１のときは、下記の式（８８）に示すように、符号化対象ブロックＡ₀０〜Ａ₀３，Ｂ₀０〜Ｂ₀３と、ブロックＡ₀０，Ａ₀２及びブロックＢ₀０，Ｂ₀２に隣接するブロックＲＡ２，ＲＡ３及びＲＢ２，ＲＢ３のＤＣＴ係数を用いて差分値Ｄｉｆｆ_{16×16_1}を算出する。

ｎ＝２のときは、下記の式（８９）に示すように、符号化対象ブロックＡ₀０〜Ａ₀３，Ｂ₀０〜Ｂ₀３と、ブロックＡ₀０〜Ａ₀２及びブロックＢ₀０〜Ｂ₀２に隣接するＲＡ０〜ＲＡ３及びブロックＲＢ０〜ＲＢ３のＤＣＴ係数を用いて差分値Ｄｉｆｆ_{16×16_2}を算出する。

ｎ＝３のときは、下記の式（９０）に示すように、符号化対象ブロックＡ₀０〜Ａ₀３，Ｂ₀０〜Ｂ₀３と、ブロックＡ₀０〜Ａ₀２及びブロックＢ₀０〜Ｂ₀２に隣接するブロックＲＡ０〜ＲＡ３及びＲＢ０〜ＲＢ３と、左上のブロックＲＢ４及びＲＡ４のＤＣＴ係数を用いて差分値Ｄｉｆｆ_{16×16_3}を算出する。

予測モード推定処理判定部１６は、式（８７）〜式（９０）によって差分値Ｄｉｆｆ_{16×16_n}を算出すると、上述したように、その差分値Ｄｉｆｆ_{16×16_n}と閾値ｔｈ_{16×16_n}を比較して、予測モード推定処理の実施の必要性を判定する。

次に、差分値Ｄｉｆｆ_4×4の算出方法について説明する。
予測モード推定処理判定部１６は、下記の式（９１）及び式（９２）に示すように、符号化対象ブロックＡ₀０〜Ａ₀３，Ｂ₀０〜Ｂ₀３と、ブロックＡ₀０〜Ａ₀２及びブロックＢ₀０〜Ｂ₀２の周辺のブロックＲＡ０〜ＲＡ５及びＲＢ０〜ＲＢ５のＤＣＴ係数を用いて差分値Ｄｉｆｆ_4×4を算出する。

ただし、μ０〜μ５は、０≦μｉ≦１（０≦ｉ≦５）の実数値をとり、符号化対象ブロックの周辺ブロックＲＡ０〜ＲＡ５及びＲＢ０〜ＲＢ５のＤＣＴ係数の差分に対する重みである。
以下、μ０〜μ５の算出方法について説明する。
図２２は４×４予測モードのときの１フレーム前の符号化対象ブロックＢ₁０〜Ｂ₁１５とその周辺のブロックＲＢ０〜ＲＢ５と、現在のフレームの符号化対象ブロックＡ₀０〜Ａ₀３とその周辺のブロックＲＡ０〜ＲＡ５とを示す説明図である。
ブロックＢ₁０〜Ｂ₁１５は、図１９のブロックＢ₀０〜Ｂ₀３が４分割されたものであって、ブロックＢ₀０はブロックＢ₁０〜Ｂ₁３、ブロックＢ₀１はブロックＢ₁４〜Ｂ₁７、ブロックＢ₀２はブロックＢ₁８〜Ｂ₁１１、ブロックＢ₀３はブロックＢ₁１２〜Ｂ₁１５に分割されたものである。

μ０は、前フレームでブロックＲＢ０内に含まれる画素を用いて予測が行われているか否かで、その値が決定される。前フレームでブロックＲＢ０内に含まれる画素を用いて予測が行われるのは、Ｂ₁０の予測モードが０，２〜７、Ｂ₁１の予測モードが０，２〜７、Ｂ₁４の予測モードが４〜６の場合である。
μ０＝０を初期値として、Ｂ₁０，Ｂ₁１が上記予測モードをとっている場合、μ０にそれぞれ４／９が加算され、Ｂ₁４が上記予測モードをとっている場合、μ０に１／９が加算される。

μ１は、前フレームでブロックＲＢ１内に含まれる画素を用いて予測が行われているか否かで、その値が決定される。前フレームでブロックＲＢ１内に含まれる画素を用いて予測が行われるのは、Ｂ₁１の予測モードが３または７、Ｂ₁４の予測モードが０，２〜７、Ｂ₁５の予測モードが０，２〜７の場合である。
μ１＝０を初期値として、Ｂ₁１，Ｂ₁４，Ｂ₁５が上記予測モードをとっている場合、μ１にそれぞれ１／３が加算される。

μ２は、前フレームでブロックＲＢ２内に含まれる画素を用いて予測が行われているか否かで、その値が決定される。前フレームでブロックＲＢ２内に含まれる画素を用いて予測が行われるのは、Ｂ₁０の予測モードが１，２，４〜６，８、Ｂ₁２の予測モードが１，２，４〜６，８、Ｂ₁８の予測モードが４〜６の場合である。
μ２＝０を初期値として、Ｂ₁０，Ｂ₁２が上記予測モードをとっている場合、μ２にそれぞれ４／９が加算され、Ｂ₁８が上記予測モードをとっている場合、μ２に１／９が加算される。

μ３は、前フレームでブロックＲＢ３内に含まれる画素を用いて予測が行われているか否かで、その値が決定される。前フレームでブロックＲＢ３内に含まれる画素を用いて予測が行われるのは、Ｂ₁８の予測モードが１，２，４〜６，８、Ｂ₁１０の予測モードが１，２，４〜６，８の場合である。
μ３＝０を初期値として、Ｂ₁８，Ｂ₁１０が上記予測モードをとっている場合、μ３にそれぞれ１／２が加算される。

μ４は、前フレームでブロックＲＢ４内に含まれる画素を用いて予測が行われているか否かで、その値が決定される。前フレームでブロックＲＢ４内に含まれる画素を用いて予測が行われるのは、Ｂ₁０の予測モードが４〜６の場合であり、これを満たすとき、μ４＝１／９とされる。
μ５は、前フレームでブロックＲＢ５内に含まれる画素を用いて予測が行われているか否かで、その値が決定される。前フレームでブロックＲＢ５内に含まれる画素を用いて予測が行われるのは、Ｂ₁５の予測モードが３または７の場合であり、これを満たすとき、μ５＝４／９とされる。

以上で明らかなように、この実施の形態６によれば、現在のフレームと１フレーム前の同一位置の符号化対象ブロック及び周辺ブロックの比較を行うときに用いる周辺ブロックを、１フレーム前の予測モードから判断しているので、１フレーム前と同じ予測モードを用いた場合、符号化効率が大きく変化するか否かを推測することができるようになり、さらに、高効率な予測符号化が可能になる効果を奏する。

実施の形態７．
上記実施の形態１〜６では、予測モード推定部２がＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数からＨ．２６４方式の予測モードを推定するものについて示したが、予測モード推定部２がＨ．２６４方式の予測モードを推定する際、ＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数から新たに周波数特性（周波数成分）を算出し、その周波数特性から予測モードを推定するようにしてもよい。

この実施の形態７における画像符号化方式変換装置は、上記実施の形態１〜６のいずれかの画像符号化方式変換装置と基本的な構成は同一であり、ＪＰＥＧ簡易復号部１及びＨ．２６４符号化部３の処理内容は、上記実施の形態１と同様であるため、予測モード推定部２の処理内容についてのみ説明する。
なお、特に断りがない限り、数式中の変数は、上記実施の形態１と同じ意味を表すものとする。

予測モード推定部２は、上記実施の形態１と同様にして、１６×１６予測モードを採用するか、４×４予測モードを採用するかを判定する。
以下、予測モード推定部２の処理内容を具体的に説明する。
図５は画像の符号化対象ブロックＣ₀０〜Ｃ₀３と、その周辺のブロックＲ０〜Ｒ５を示す説明図である。なお、ブロックＣ₀０〜Ｃ₀３，Ｒ０〜Ｒ５は、いずれも８×８のブロックである。

１６×１６予測モードにおける予測モード０（垂直方向）が効率的である状況は、ブロックＲ０の最下部の８画素とブロックＣ₀０，Ｃ₀２の画素の値が近く、ブロックＲ１の最下部の８画素とブロックＣ₀１，Ｃ₀３の画素の値が近い場合である。
また、１６×１６予測モードにおける予測モード１（水平方向）が効率的である状況は、ブロックＲ２の最右端の８画素とブロックＣ₀０，Ｃ₀１の画素の値が近く、ブロックＲ３の最右端の８画素とブロックＣ₀２，Ｃ₀３の画素の値が近い場合である。

１６×１６予測モードにおける予測モード２（ＤＣ予測）が効率的である状況は、ブロックＲ０，Ｒ１の最下部の１６画素と、ブロックＲ２，Ｒ３の最右端の１６画素との平均値が、ブロックＣ₀０〜Ｃ₀３の全ての画素に近い場合である。
また、１６×１６予測モードにおける予測モード３（プレーン予測）が効率的である状況は、ブロックＲ０，Ｒ１の最下部の１５画素と、ブロックＲ２，Ｒ３の最右端の１５画素と、Ｒ４の右下の１画素とを利用して、グラデーションのある予測画像が作成されるため、ブロックＲ０，Ｒ１の最下部の画素の変化が、ブロックＣ₀０〜Ｃ₀３の水平方向の変化に一致し、ブロックＲ２，Ｒ３の最右端の画素の変化が、ブロックＣ₀０〜Ｃ₀３の垂直方向の変化に近い場合である。これは、グラデーションのある画像の場合に有効である。

そこで、予測モード推定部２は、ＪＰＥＧ簡易復号部１から出力されたＤＣＴ係数を、下記の式（９３）から式（９６）に示す関数に代入して、予測に用いられる画素であるＲ０，Ｒ１の最下部１６画素の周波数特性Ｒ０＿ｂｏｔｔｏｍ，Ｒ１＿ｂｏｔｔｏｍと、Ｒ２，Ｒ３の最右端１６画素の周波数特性Ｒ２＿ｒｉｇｈｔ，Ｒ３＿ｒｉｇｈｔとを算出する。

ただし、ＤＣＴ＿Ｒ０_i,j，ＤＣＴ＿Ｒ１_i,j，ＤＣＴ＿Ｒ２_i,j，ＤＣＴ＿Ｒ３_i,jは、それぞれブロックＲ０，Ｒ１，Ｒ２，Ｒ３におけるｉ行，ｊ列のＤＣＴ係数である。
また、ｄ_j,iは離散コサイン変換行列Ｄの要素、ｄ^T _j,iは離散コサイン行列Ｄの転置行列Ｄ^Tの要素である。
ｗ_i，ｗ_jは重みである。

図２３は画像の符号化対象ブロックＣ₀０〜Ｃ₀３と、その周辺のブロックＲ０〜Ｒ３と、ブロックＲ０，Ｒ１の最下部１６画素の周波数特性Ｒ０＿ｂｏｔｔｏｍ，Ｒ１＿ｂｏｔｔｏｍと、Ｒ２，Ｒ３の最右端１６画素の周波数特性Ｒ２＿ｒｉｇｈｔ，Ｒ３＿ｒｉｇｈｔとを示す説明図である。なお、ブロックＣ₀０〜Ｃ₀３，Ｒ０〜Ｒ３は、いずれも８×８のブロックである。
Ｒ０＿ｂｏｔｔｏｍ，Ｒ１＿ｂｏｔｔｏｍは、ブロックＲ０，Ｒ１の最下部の画素の垂直方向の周波数特性を示すものであり、Ｒ２＿ｒｉｇｈｔ，Ｒ３＿ｒｉｇｈｔは、ブロックＲ２，Ｒ３の最右端の画素の水平方向の周波数特性を示すものである。

次に、予測モード推定部２は、Ｈ．２６４方式において、利用に適する予測モードを推定するために、ＪＰＥＧ簡易復号部１から出力されたＤＣＴ係数と、上記のＲ０＿ｂｏｔｔｏｍ，Ｒ１＿ｂｏｔｔｏｍ，Ｒ２＿ｒｉｇｈｔ，Ｒ３＿ｒｉｇｈｔとを下記の式（９７）及び式（９８）に示す評価関数に代入して、評価値Ｃｏｓｔ_{16×16_0}，Ｃｏｓｔ_{16×16_1}を算出する。

ただし、ｋは計算に用いる係数であり、０≦ｋ≦７であるとする。
因みに、ｋ＝０とすれば、全ＤＣＴ係数のうち、直流成分のＤＣＴ係数及び直流成分の周波数特性のみから予測モードを推定することを意味する。
また、ｋ＝１、または、ｋ＝２とすれば、全ＤＣＴ係数のうち、低周波成分のＤＣＴ係数及び低周波成分の周波数特性のみから予測モードを推定することを意味する。
また、ｋ＝７とすれば、高周波成分までのＤＣＴ係数及び高周波成分までの周波数特性から予測モードを推定することを意味する。
ｗ_{16×16_0j}，ｗ_{16×16_1j}，ｗ_{16×16_2j}，ｗ_{16×16_3j}，ｗ_{16×16_0i}，ｗ_{16×16_1i}，ｗ_{16×16_2i}，ｗ_{16×16_3i}は重みである。

評価値Ｃｏｓｔ_{16×16_0}は、ブロックＣ₀０，Ｃ₀２とブロックＲ０の水平方向の変化及びブロックＣ₀１，Ｃ₀３とブロックＲ１の水平方向の変化の近さを評価しており、１６×１６予測モードにおける予測モード０（垂直予測）の評価値である。
また、評価値Ｃｏｓｔ_{16×16_1}は、ブロックＣ₀０，Ｃ₀１とブロックＲ２の垂直方向の変化及びブロックＣ₀２，Ｃ₀３とブロックＲ３の垂直方向の変化の近さを評価しており、１６×１６予測モードにおける予測モード１（水平予測）の評価値である。
以降の推定処理については、上記実施の形態１〜６と同様であるため、説明を省略する。

以上で明らかなように、この実施の形態７によれば、予測モード推定部２において周辺の８×８ブロックの周波数成分を用いるのではなく、予測に必要な箇所のみの周波数成分を用いて評価値を算出し、その評価値からＨ．２６４の予測モードを決定するように構成しているので、より精度が高い予測モードの推定を行うことができる効果を奏する。

実施の形態８．
上記実施の形態１〜７では、予測モード推定部２がＪＰＥＧ簡易復号部１により取得されたＤＣＴ係数からＨ．２６４方式における予測モードを推定するものについて示したが、４×４予測モードを推定する際に、８×８ブロック単位の周波数成分ではなく、４×４ブロック単位の周波数成分を用いて推定を行うようにしてもよい。
この実施の形態８では、４×４予測モードを推定する際に、ＪＰＥＧから復号される画素値に、４×４変換を施すことで算出可能な４×４ブロック単位の変換係数を用いるようにする。

図２４はこの発明の実施の形態８による画像符号化方式変換装置を示す構成図であり、図において、ＪＰＥＧ復号部２１は画像が周波数領域に変換されて符号化されているＪＰＥＧ方式（第１の符号化方式）の符号化ストリームであるＪＰＥＧデータを入力すると、そのＪＰＥＧデータを復号し、その復号結果として、その画像の画素値（画素信号）、その画像の周波数成分の信号であるＤＣＴ係数及び画像の幅や高さなどを示すヘッダ情報を取得する処理を実施する。なお、ＪＰＥＧ復号部２１は信号取得手段を構成している。

予測モード推定部２２はＪＰＥＧ復号部２１により取得された画素値及びＤＣＴ係数からＨ．２６４方式（第２の符号化方式）における予測モード（画面内予測の方向）を推定する処理を実施する。なお、予測モード推定部２２は画面内予測方向推定手段を構成している。
Ｈ．２６４符号化部２３はＨ．２６４方式の符号化処理を実施する符号化部であり、予測モード推定部２２により推定された予測モードとＪＰＥＧ復号部２１により取得されたヘッダ情報を用いて、ＪＰＥＧ簡易復号部２１により取得された画素値を符号化してＨ．２６４ストリーム（第２の符号化方式の符号化ストリーム）を生成する処理を実施する。なお、Ｈ．２６４符号化部２３は符号化手段を構成している。

次に動作について説明する。
ＪＰＥＧ復号部２１は、画像が周波数領域に変換されて符号化されているＪＰＥＧ方式の符号化ストリームであるＪＰＥＧデータを入力すると、そのＪＰＥＧデータを復号する。
ＪＰＥＧ復号部２１は、ＪＰＥＧデータの復号結果として、画像の画素値、画像の周波数成分であるＤＣＴ係数及び画像の幅や高さなどを示すヘッダ情報を取得する。
なお、画像の画素値は、ＪＰＥＧ復号部２１から予測モード推定部２２及びＨ．２６４符号化部２３に出力され、ＤＣＴ係数はＪＰＥＧ復号部２１から予測モード推定部２２に出力される。
また、ヘッダ情報は、ＪＰＥＧ復号部２１からＨ．２６４符号化部２３に出力される。

予測モード推定部２２は、ＪＰＥＧ復号部２１から画像の画素値及びＤＣＴ係数を受けると、その画素値及びＤＣＴ係数からＨ．２６４方式における予測モードを推定する。
即ち、予測モード推定部２２は、上記実施の形態１〜７におけるいずれかの予測モード推定部２と同様にして、１６×１６モードを採用するか、４×４予測モードを採用するかを判定する。
１６×１６予測モードが採用され、１６×１６予測モードにおける予測モードを選択する際の処理内容は、上記実施の形態１〜７のいずれかと同様であるため説明を省略する。

予測モード推定部２２は、４×４予測モードを採用する旨の判定を行うと、該当１６×１６マクロブロック内の１６個の４×４ブロックの画素値Ｘを下記の式（９９）に代入して４×４変換係数Ｙを算出する。

４×４変換係数Ｙは、ＤＣＴ係数と同様に、ブロック内の周波数特性を示しており、予測モード推定部２２は、この４×４変換係数Ｙから評価値を算出し、Ｈ．２６４方式における４×４予測モードを推定する。
具体的には以下の通りである。
図２５から図２７は４×４予測モードにおける予測モードの推定処理を示すフローチャートである。

まず、予測モード推定部２２は、４×４変換係数を下記の式（１０１）及び式（１０２）に代入して、垂直方向の評価値Ｖａｌｕｅ_{4×4_V}及び水平方向の評価値Ｖａｌｕｅ_{4×4_H}を算出する（図２５のステップＳＴ１２０）。

ただし、ｙ_i,jは４×４ブロックにおける４×４変換係数のｉ，ｊ成分である。ｗ_i，ｗ_jは重みである。
ｋは計算に用いる係数であり、ここでは、１≦ｋ≦３であるとする。因みに、ｋ＝１とすれば、全ての４×４変換係数のうち、低周波成分の４×４変換係数のみから予測モードを推定することを意味する。
また、ｋ＝３とすれば、全ての４×４変換係数のうち、高周波成分の４×４変換係数の周波数特性から予測モードを推定することを意味する。

予測モード推定部２２は、垂直方向の評価値Ｖａｌｕｅ_{4×4_V}及び水平方向の評価値Ｖａｌｕｅ_{4×4_H}を算出すると、垂直方向の評価値Ｖａｌｕｅ_{4×4_V}と閾値ｔｈ_{4×4_V}を比較するとともに、水平方向の評価値Ｖａｌｕｅ_{4×4_H}と閾値ｔｈ_{4×4_H}を比較する（ステップＳＴ１２１）。
Ｖａｌｕｅ_{4×4_V}＜ｔｈ_{4×4_V} （１０３）
Ｖａｌｕｅ_{4×4_H}＜ｔｈ_{4×4_H} （１０４）

予測モード推定部２２は、式（１０３）及び式（１０４）が成立する場合、垂直方向と水平方向の周波数成分がともに小さいので、ＤＣ予測が有効であるとして、４×４予測モードの予測モード２を利用するものと決定する（ステップＳＴ１２２）。
予測モード推定部２２は、式（１０３）又は式（１０４）のいずれか一方でも成立しない場合、垂直方向の評価値Ｖａｌｕｅ_{4×4_V}と水平方向の評価値Ｖａｌｕｅ_{4×4_H}との比ＲａｔｅＶＨ_4×4を算出する（ステップＳＴ１２３）。

予測モード推定部２２は、評価値の比ＲａｔｅＶＨ_4×4を算出すると、その評価値の比ＲａｔｅＶＨ_4×4と閾値ｔｈ_{4×4_0}，ｔｈ_{4×4_1}を比較する（ステップＳＴ１２４、ＳＴ１２６）。
ＲａｔｅＶＨ_4×4＜ｔｈ_{4×4_1} （１０６）
ｔｈ_{4×4_1}≦ＲａｔｅＶＨ_4×4＜ｔｈ_{4×4_0} （１０７）
ｔｈ_{4×4_0}≦ＲａｔｅＶＨ_4×4 （１０８）

予測モード推定部２２は、式（１０６）が成立する場合、水平方向の予測が有効であるとして、４×４予測モードの予測モード１を利用するものと決定する（ステップＳＴ１２５）。
予測モード推定部２２は、式（１０８）が成立する場合、垂直方向の予測が有効であるとして、４×４予測モードの予測モード０を利用するものと決定する（ステップＳＴ１２７）。
予測モード推定部２２は、式（１０７）が成立する場合、垂直方向成分と水平方向成分を乗算してＳｉｇｎＶＨ_4×4を算出する（ステップＳＴ１２８）。
ＳｉｇｎＶＨ_4×4＝ｙ_0,1・ｙ_1,0 （１０９）

ここで、図２８は４×４ブロックの画素値と４×４変換処理を施した後の４×４変換係数を示す説明図である。
画像内のエッジが左下から右上に向かっているとき、符号ＳｉｇｎＶＨ_4×4は正になっており、画像内のエッジが左上から右下に向かっているとき、符号ＳｉｇｎＶＨ_4×4は負になっている。

予測モード推定部２２は、ＳｉｇｎＶＨ_4×4を算出すると、ＳｉｇｎＶＨ_4×4の正負を判定する（ステップＳＴ１２９）。
ＳｉｇｎＶＨ_4×4≧０ （１１０）
予測モード推定部２２は、式（１１０）が成立する場合、右上又は左下へ向かうエッジがあるとして、４×４予測モードを予測モード３，７，８に絞り込むようにする（ステップＳＴ１３１）。
一方、式（１１０）が成立しない場合、右下又は左上に向かうエッジがあるとして、４×４予測モードを予測モード４，５，６に絞り込むようにする（ステップＳＴ１３０）。

予測モード推定部２２は、４×４予測モードを予測モード３，７，８に絞り込むと、評価値ＲａｔｅＶＨ_4×4と閾値ｔｈ_{4×4_8}，ｔｈ_{4×4_7}を比較する（図２６のステップＳＴ１３２、ＳＴ１３４）。
ＲａｔｅＶＨ_4×4＜ｔｈ_{4×4_8} （１１１）
ｔｈ_{4×4_8}≦ＲａｔｅＶＨ_4×4＜ｔｈ_{4×4_7} （１１２）
ｔｈ_{4×4_7}≦ＲａｔｅＶＨ_4×4 （１１３）

予測モード推定部２２は、式（１１１）が成立する場合、４×４予測モードの予測モード８を利用するものと決定する（ステップＳＴ１３３）。
予測モード推定部２２は、式（１１３）が成立する場合、４×４予測モードの予測モード７を利用するものと決定する（ステップＳＴ１３５）。
予測モード推定部２２は、式（１１２）が成立する場合、４×４予測モードの予測モード３を利用するものと決定する（ステップＳＴ１３６）。

予測モード推定部２２は、４×４予測モードを予測モード４，５，６に絞り込むと、評価値ＲａｔｅＶＨ_4×4と閾値ｔｈ_{4×4_5}，ｔｈ_{4×4_6}を比較する（図２７のステップＳＴ１３７、ＳＴ１３９）。
ＲａｔｅＶＨ_4×4＜ｔｈ_{4×4_6} （１１４）
ｔｈ_{4×4_6}≦ＲａｔｅＶＨ_4×4＜ｔｈ_{4×4_5} （１１５）
ｔｈ_{4×4_5}≦ＲａｔｅＶＨ_4×4 （１１６）

予測モード推定部２２は、式（１１４）が成立する場合、４×４予測モードの予測モード６を利用するものと決定する（ステップＳＴ１３８）。
予測モード推定部２２は、式（１１６）が成立する場合、４×４予測モードの予測モード５を利用するものと決定する（ステップＳＴ１４０）。
予測モード推定部２２は、式（１１５）が成立する場合、４×４予測モードの予測モード４を利用するものと決定する（ステップＳＴ１４１）。

上記のようにして、予測モードの決定処理を実施することで、４×４ブロックの４×４変換係数から予測モードを推定することができる。
また、予測モード推定部２２で決定された予測モード以外に、隣り合う予測モードを含めて、３つの予測モードに絞り込み、ＳＡＤなどによってコストを計算するようにしてもよい。
ここで、隣り合うモードとは、図５の下側の図において、矢印の方向が近いもののことであり、例えば、予測モード７に決定されたときは、予測モード０，３が隣り合うモードとなる。

Ｈ．２６４符号化部２３は、予測モード推定部２２が予測モードを推定すると、その予測モードとＪＰＥＧ復号部２１により取得されたヘッダ情報を用いて、ＪＰＥＧ復号部２１より取得された画素値を符号化してＨ．２６４ストリームを生成する。

以上で明らかなように、この実施の形態８によれば、画像が周波数領域に変換されて符号化されているＪＰＥＧデータを復号して、画像の画素値及び画像の周波数成分の信号であるＤＣＴ係数を取得するＪＰＥＧ復号部２１と、ＪＰＥＧ復号部２１により取得された画素値及び画像の周波数成分の信号であるＤＣＴ係数からＨ．２６４方式における予測モードを推定する予測モード推定部２２とを設け、Ｈ．２６４符号化部２３が予測モード推定部２２により推定された予測モードを用いて、ＪＰＥＧ復号部２１により取得された画素値を符号化してＨ．２６４ストリームを生成するように構成したので、４×４予測モードの推定精度を高めることができる効果を奏する。
また、予測モード推定部２２において４×４変換係数を算出しているため、Ｈ．２６４符号化部２３における４×４変換の計算を省略することが可能であり、Ｈ．２６４への変換を高速に行うことができる効果を奏する。

実施の形態９．
上記実施の形態８では、４×４予測モードを推定する際に、４×４ブロック単位で予測モードの推定を実施するものについて示したが、予測に用いる画素値を含めた５×５ブロック単位で予測モードの推定を実施するようにしてもよい。
この実施の形態９では、４×４予測モードを推定する際に、４×４ブロックの画素値と予測に用いる画素値を含めた５×５ブロックの周波数成分から４×４予測モードを推定するようにする。
この実施の形態９における画像符号化方式変換装置は、上記実施の形態８と基本的な構成は同一であり、ＪＰＥＧ復号部２１及びＨ．２６４符号化部２３の処理内容は、上記実施の形態８と同様であるため、予測モード推定部２２の処理内容のみを説明する。

予測モード推定部２２は、上記実施の形態８と同様にして、１６×１６モードを採用するか、４×４予測モードを採用するかを判定する。
１６×１６予測モードが採用され、１６×１６予測モードにおける予測モードを選択する際の処理内容は、上記実施の形態１〜７のいずれかと同様であるため説明を省略する。

図２９は符号化対象の４×４ブロックＣ₁ｎと、その周辺の画素ａ〜ｉを示す説明図である。
予測モード推定部２２は、４×４予測モードを採用する旨の判定を行うと、該当１６×１６マクロブロック内の１６個の４×４ブロックと４×４ブロックの周辺の画素値ａ〜ｉを含めた５×５ブロックＸを下記の式（１１７）に代入して５×５ブロックの周波数成分Ｙを算出する。

予測モード推定部２２は、５×５ブロックの周波数成分Ｙを算出すると、その５×５ブロックの周波数成分Ｙから評価値を算出し、Ｈ．２６４方式における４×４予測モードを推定する。
即ち、予測モード推定部２２は、４×４変換係数を下記の式（１２０）及び式（１２１）に代入して、垂直方向の評価値Ｖａｌｕｅ_{4×4_V}及び水平方向の評価値Ｖａｌｕｅ_{4×4_H}を算出する（図２５のステップＳＴ１２０）。

ただし、ｙ_i,jは４×４ブロックにおける５×５ブロックの周波数成分のｉ，ｊ成分である。ｗ_i，ｗ_jは重みである。
ｋは計算に用いる係数であり、ここでは、１≦ｋ≦４であるとする。因みに、ｋ＝１とすれば、全ての５×５ブロックの周波数成分のうち、低周波成分のみから予測モードを推定することを意味する。
また、ｋ＝４とすれば、全ての５×５ブロックの周波数成分のうち、高周波成分の周波数特性から予測モードを推定することを意味する。

以降の推定処理については、上記実施の形態８と同様であるため説明を省略する。
以上で明らかなように、この実施の形態９によれば、予測モード推定部２２において、４×４ブロックと予測に用いられる周辺画素とで構成される５×５ブロックの周波数特性を用いて、Ｈ．２６４の予測モードを決定するように構成したので、より精度が高い予測モードの推定を行うことができる効果を奏する。

以上のように、この発明に係る画像符号化方式変換装置は、画像が周波数領域に変換されて符号化されている第１の符号化方式の符号化ストリームの一部を復号して、画像の周波数成分の信号を取得する周波数成分信号取得手段と、周波数成分信号取得手段により取得された周波数成分の信号から画面内予測の方向を推定する画面内予測方向推定手段とを設け、符号化手段が画面内予測方向推定手段により推定された画面内予測の方向を用いて、周波数成分信号取得手段により取得された周波数成分の信号を符号化して第２の符号化方式の符号化ストリームを生成するように構成したので、少ない演算量で画像符号化方式を変換することができ、画像を圧縮して符号化する画像符号化方式変換装置などに用いるのに適している。

Claims (6)

1. 画像が周波数領域に変換されて符号化されている第１の符号化方式の符号化ストリームの一部を復号して、上記画像の周波数成分の信号を取得する周波数成分信号取得手段と、
   上記周波数成分信号取得手段により取得された周波数成分の信号のうち、低周波成分の信号から画面内予測の方向を推定する画面内予測方向推定手段と、
   上記画面内予測方向推定手段により推定された画面内予測の方向を用いて、上記周波数成分信号取得手段により取得された周波数成分の信号を符号化して第２の符号化方式の符号化ストリームを生成する符号化手段と、
   上記周波数成分信号取得手段により取得された周波数成分の信号を記憶する周波数成分記憶手段と、
   上記画面内予測方向推定手段により推定された画面内予測の方向を記憶する画面内予測方向記憶手段と、
   上記周波数成分信号取得手段により取得された最新の周波数成分の信号と上記周波数成分記憶手段に記憶されている前回の周波数成分の信号とを比較して、上記画面内予測方向推定手段における画面内予測方向の推定処理の実施の必要性を判定し、上記画面内予測方向の推定処理を実施する必要があると判定すれば、上記画面内予測方向の推定処理を上記画面内予測方向推定手段に実施させる一方、上記画面内予測方向の推定処理を実施する必要がないと判定すれば、上記画面内予測方向記憶手段に記憶されている画面内予測の方向を符号化手段に出力させる推定処理判定手段とを備えた画像符号化方式変換装置。
2. 推定処理判定手段は、周波数成分信号取得手段により取得された最新の周波数成分の信号及び周波数成分記憶手段に記憶されている前回の周波数成分の信号のうち、低周波成分の信号を用いて、画面内予測方向の推定処理の実施の必要性を判定することを特徴とする請求項１記載の画像符号化方式変換装置。
3. 推定処理判定手段は、画面内予測方向の推定処理を実施する必要がないとする判定が規定回数連続している場合、上記画面内予測方向の推定処理を実施する必要がないと判定しても、上記画面内予測方向の推定処理を画面内予測方向推定手段に実施させることを特徴とする請求項１記載の画像符号化方式変換装置。
4. 推定処理判定手段は、画面内予測方向記憶手段に記憶されている画面内予測の方向を考慮して、画面内予測方向の推定処理の実施の必要性を判定することを特徴とする請求項１記載の画像符号化方式変換装置。
5. 第１の符号化方式がＪＰＥＧ方式又はＭｏｔｉｏｎＪＰＥＧ方式であり、第２の符号化方式がＨ．２６４方式であることを特徴とする請求項１記載の画像符号化方式変換装置。
6. 第１の符号化方式がＭＰＥＧ−１方式、ＭＰＥＧ−２方式又はＭＰＥＧ−４方式であり、第２の符号化方式がＨ．２６４方式であることを特徴とする請求項１記載の画像符号化方式変換装置。

Images