JP3898031B2 - 画像符号化方法及び装置、画像復号方法及び装置、プログラム及び記録媒体 - Google Patents
画像符号化方法及び装置、画像復号方法及び装置、プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP3898031B2 JP3898031B2 JP2001345117A JP2001345117A JP3898031B2 JP 3898031 B2 JP3898031 B2 JP 3898031B2 JP 2001345117 A JP2001345117 A JP 2001345117A JP 2001345117 A JP2001345117 A JP 2001345117A JP 3898031 B2 JP3898031 B2 JP 3898031B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- current
- information
- encoding
- rotation angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像を符号化し、または復号する画像符号化方法及び装置、画像復号方法及び装置、プログラム及びプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
動画像を符号化する動き補償符号化方法では，マクロブロック（以下、MBと記す）やブロック等の領域毎に、参照フレーム内画像情報から予測画像を作成し、現フレームの画像との間で差分（予測誤差）を符号化する。一般的に通常の動き補償では、現フレームの領域の位置と予測画像の位置との差分は領域全体の平行移動量(x,y)であり、これを動きベクトルと呼ぶ。
【０００３】
予測画像の探索手法としては一般的にブロックマッチング方法が用いられる。ブロックマッチングでは、符号化対象の領域を中心とした正方形の探索範囲（サーチウィンドウ）を参照フレーム内に設定し、現フレームの領域内画素とサーチウィンドウ内の画素との間の画像情報の差分が最も小さくなる位置を、サーチウィンドウ内で探索する。この差分の計算方法は絶対値差分和や平均２乗誤差などが用いられる。
【０００４】
ブロックマッチングの概念図を図１１に示す。絶対値差分和の計算方法を次式（１）に示す。
【数１】
式（１）で求められる差分が小さいほど，予測誤差も少なくなり符号化効率が高くなる。
動きベクトルは整数精度または分数精度または実数精度のいずれでも表現することが可能である。分数精度や実数精度では、実際には画素の無い位置の画像情報を作る必要がある。分数精度と実数精度の場合には、対応する位置の画像情報を周囲の整数位置の画素の画像情報から求める。例えば、実数精度で周囲４画素からの線形補間によって求める場合で、図１２に示すような左上の画素から(a,b)の位置の画像情報を求める場合には、次式（２）により求める。
【０００５】
実数精度は、任意の位置の画像情報を作ることができるが、符号化側と復号側で演算精度が異なる場合があるため、復号側で正確に復号できない場合がある。
【数２】
整数位置の画素の画像情報から、実数精度または分数精度の画像情報を求める方法として、線形補間以外の方法によって分数位置の画像情報を作り、その後で整数位置と分数位置の画像情報を使って平行移動位置の画像情報を求めることも可能である。例えば、周囲の複数画素から1/2精度の位置の画像情報をタップ数の長いフィルタによって求め、続いて1/8精度の位置の画像情報を整数精度と1/2精度の画像情報から線形補間によって求めることも可能である。1/2精度の画像情報を求めるフィルタ方法の例を図１３に示す。
【０００６】
このようにして求めた動きベクトル(x,y)は可変長符号化される。整数画素精度の動きベクトルを、ルックアップテーブルを使って可変長符号化する際のテーブルの例を図１４に示す。なお、算術符号化を用いて符号化する方法もある。
領域全体の平行移動ではなく、領域内画素の個々の平行移動により予測画像を作成する方法もある。領域内画素それぞれの平行移動量を符号化すると符号量の増加を招くため、一般的に画素それぞれの平行移動量を代表ベクトルから補間する。
【０００７】
従来の代表的な代表ベクトルとしては、領域の四隅の画素の平行移動量を用いる方法がある。この場合には、領域一つに対して４個の平行移動量を符号化する必要がある。領域の四隅の画素の平行移動量から，領域内画素の平行移動量を算出する方法の例を図１５に示す．四隅の平行移動量を、（x1,y1）、(x2,y2)、(x3,y3)、(x4,y4)とすると、画素(p,q)の平行移動量(X,Y)は次式（３）により計算される。
【数３】
ここでMは画面横方向の画素数を示し，Nは画面縦方向の画素数を示す。この平行移動量は通常の動き補償と同様に、整数精度ではなく実数精度または分数精度で求めることも可能である。
【０００８】
さらにマクロブロック毎に符号化する場合、マクロブロックの四隅の画素の動きベクトルだけを符号化し、マクロブロック内部の任意の画素の動きベクトルはそれらから計算により求める方法もある。この場合にはマクロブロック毎に４個の動きベクトルが必要となる。
この方法では、画像の回転運動のみ、あるいは拡大運動のみがある場合であっても、四隅の動きベクトルを符号化する必要があり、符号量の増加を招く場合がある。
【０００９】
そのため、例えば文献「石川ら，“マルチパラメータ動き補償を用いた動画像の３Ｄ／２Ｄハイブリッド符号化”，信学技報IE2001-76，pp.15-22，2001」では、回転運動に対して回転角度を示す情報によって予測画像を作成して回転角度情報を符号化する方法や、拡大運動に対して拡大率を示す情報によって予測画像を作成して拡大率情報を符号化する方法を用いている。
また、通常のフレーム間予測符号化のように、既に符号化したフレームの画像から予測画像を作成する方法の他に、現フレーム内の既に符号化された領域の画像から予測画像を作成する方法もある。
【００１０】
【発明が解決しようとする課題】
画像の回転角度あるいは拡大率をマクロブロックの領域毎に求める時に，従来の方法では過去に符号化したフレーム（参照フレーム）内の画像を回転あるいは拡大して探索用の画像を作成して探索していた。したがって、参照フレーム内の画像情報全体を回転あるいは拡大する必要があるため、膨大なデータ処理量が必要であるという問題が有った。
【００１１】
また、一般的にフレームの画像情報は画面内左上の画素から右下の画素まで順に記憶装置等に記録されているため、フレーム内におけるある特定の領域のフレーム間予測符号化用予測画像を作成する場合にも，予測画像を作るために不必要な画像情報を読み込む必要があるという問題が有った。
本発明はこのような事情に鑑みてなされたものであり、画像の動き探索とフレーム間予測において、参照フレーム内の画像全体を回転する必要が無く、データ処理量を低減することができる画像符号化方法及び装置、画像復号方法及び装置、画像符号化方法または画像復号方法をコンピュータに実行させるためのプログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載の発明は、
現フレームの画像を分割した領域（以後、現領域と呼ぶ）毎に、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて符号化する画像符号化方法であって、
現領域毎に、現領域内の或る位置を原点とした、予め設定した回転角度情報を使って、現フレームの画像情報から、回転された現画像（以後、回転現画像と呼ぶ）を作成する回転現画像作成ステップと、
現領域毎に、回転現画像と参照画像内画像情報との間の予測誤差を求める回転現画像フレーム間予測ステップと、
現領域毎に、該回転角度情報を符号化する回転角度符号化ステップと、
予測誤差を符号化する符号化ステップと、
符号化データを復号して画像を作成する復号ステップと、
前記復号ステップで得られた画像から該回転角度情報を使って復号画像を作成する復号画像回転ステップと、
を有することを特徴とする。
【００１３】
請求項２に記載の発明は、
請求項１に記載の画像符号化方法により符号化された前記現領域毎の符号化データを、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて復号する画像復号方法であって、
現領域毎に、回転角度情報を復号する回転角度復号ステップと、
符号化データを復号して画像を作成する復号ステップと、
前記復号ステップで得られた画像から該回転角度情報を使って復号画像を作成する復号画像回転ステップと、
を有することを特徴とする。
【００１４】
請求項３に記載の発明は、
現領域毎に、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて符号化する画像符号化方法であって、
現領域毎に、現領域内の或る位置を原点とした、予め設定した拡大率情報を使って、現フレームの画像情報から、拡大縮小された現画像（以後、拡大現画像と呼ぶ）を作成する拡大現画像作成ステップと、
現領域毎に、拡大現画像と参照画像内画像情報との間の予測誤差を求める拡大現画像フレーム間予測ステップと、
現領域毎に、該拡大率情報を符号化する拡大率符号化ステップと、
予測誤差を符号化する符号化ステップと、
符号化データを復号して画像を作成する復号ステップと、
前記復号ステップで得られた画像から該拡大率情報を使って復号画像を作成する復号画像拡大ステップと、
を有することを特徴とする。
【００１５】
請求項４に記載の発明は、
請求項３に記載の画像符号化方法により符号化された前記現領域毎の符号化データを、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて復号する画像復号方法であって、
現領域毎に，拡大率情報を復号する拡大率復号ステップと、
符号化データを復号して画像を作成する復号ステップと、
前記復号ステップで得られた画像から該拡大率情報を使って復号画像を作成する復号画像拡大ステップと、
を有することを特徴とする。
【００１６】
請求項５に記載の発明は、
請求項１に記載の画像符号化方法または、
現領域毎に、参照画像内の或る位置を原点とした回転角度情報を使って、参照画像内の該原点を中心とした領域（以後、参照領域と呼ぶ）内の画像情報から予測画像を作成する回転動き補償ステップと、
現領域毎に、該回転角度情報を符号化する回転角度符号化ステップと、
現領域毎に、現領域内の或る位置を原点とした、予め設定した回転角度情報を使って、現フレームの画像情報から、回転された現画像（以後、回転現画像と呼ぶ）を作成する回転現画像作成ステップと、
を有する画像符号化方法であって、
さらに、回転現画像の画像情報と参照画像の画像情報との差分（以後，回転予測差分と呼ぶ）を計測し、回転予測差分が最も小さくなる、参照画像内の平行移動量を探索する回転動き探索ステップを有することを特徴とする。
【００１７】
請求項６に記載の発明は、
請求項１に記載の画像符号化方法または、
現領域毎に、参照画像内の或る位置を原点とした回転角度情報を使って、参照画像内の該原点を中心とした領域（以後、参照領域と呼ぶ）内の画像情報から予測画像を作成する回転動き補償ステップと、
現領域毎に、該回転角度情報を符号化する回転角度符号化ステップと、
現領域毎に、現領域内の或る位置を原点とした、予め設定した回転角度情報を使って、現フレームの画像情報から、回転された現画像（以後、回転現画像と呼ぶ）を作成する回転現画像作成ステップと、
有する画像符号化方法であって、
さらに、予め複数の回転角度情報を設定しておき、各々の回転角度情報を使った回転現画像と参照画像内画像との回転予測差分が、最も小さくなる回転角度情報を求める回転角度探索ステップを有することを特徴とする。
【００１８】
請求項７に記載の発明は、
請求項３に記載の画像符号化方法または、
現領域毎に、参照画像内の或る位置を原点とした拡大率情報を使って、参照画像内の該原点を中心とした領域内の画像情報から予測画像を作成する拡大動き補償ステップと、
現領域毎に、該拡大率情報を符号化する拡大率符号化ステップと、
現領域毎に、現領域内の或る位置を原点とした、予め設定した拡大率情報を使って、現フレームの画像情報から、拡大縮小された現画像（以後，拡大現画像と呼ぶ）を作成する拡大現画像作成ステップと、
を有し、現領域毎にフレーム間予測符号化を用いて符号化する画像符号化方法であって、
さらに、拡大現画像の画像情報と参照画像の画像情報との差分（以後、拡大予測差分と呼ぶ）を計測し、拡大予測差分が最も小さくなる、参照画像内の平行移動量を探索する拡大動き探索ステップを有することを特徴とする。
【００１９】
請求項８に記載の発明は、
請求項３に記載の画像符号化方法または、
現領域毎に、参照画像内の或る位置を原点とした拡大率情報を使って、参照画像内の該原点を中心とした領域内の画像情報から予測画像を作成する拡大動き補償ステップと、
現領域毎に、該拡大率情報を符号化する拡大率符号化ステップと、
現領域毎に、現領域内の或る位置を原点とした、予め設定した拡大率情報を使って、現フレームの画像情報から、拡大縮小された現画像（以後、拡大現画像と呼ぶ）を作成する拡大現画像作成ステップと、
を有し、現領域毎にフレーム間予測符号化を用いて符号化する画像符号化方法であって、
さらに、予め複数の拡大率情報を設定しておき、各々の拡大率情報を使った拡大現画像と参照画像内画像との拡大予測差分が、最も小さくなる拡大率情報を求める拡大率探索ステップを有することを特徴とする。
【００２０】
請求項９に記載の発明は、
現領域毎に、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて符号化する画像符号化装置であって、
現フレームの画像を入力する画像入力部と、
現領域毎に、現領域内の或る位置を原点とした、予め設定した回転角度情報を使って、現フレームの画像情報から、回転された現画像を作成する回転現画像作成部と、
現領域毎に、回転現画像と参照画像内画像情報との間の予測誤差を求める回転現画像フレーム間予測部と、
フレーム間予測符号化を使って現画像を符号化する符号化部と、
フレーム間予測符号化を使って符号化データを復号する復号部と、
前記復号部で得られた画像から該回転角度情報を使って復号画像を作成する復号画像回転部と、
復号画像を蓄積する参照画像メモリと、
現領域毎に、該回転角度情報を符号化する回転角度符号化部と、
を有することを特徴とする。
【００２１】
請求項１０に記載の発明は、
請求項９に記載の画像符号化装置により符号化された前記現領域毎の符号化データを、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて復号する画像復号装置であって、
フレーム間予測符号化を使って符号化データを復号する復号部と、
現領域毎に、回転角度情報を復号する回転角度復号部と、
前記復号部で得られた画像から該回転角度情報を使って復号画像を作成する復号画像回転部と、
復号画像を蓄積する参照画像メモリと、
を有することを特徴とする。
【００２２】
請求項１１に記載の発明は、
現領域毎に、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて符号化する画像符号化装置であって、
現フレームの画像を入力する画像入力部と、
現領域毎に、現領域内の或る位置を原点とした、予め設定した拡大率情報を使って、現フレームの画像情報から、拡大縮小された現画像を作成する拡大現画像作成部と、
現領域毎に、拡大現画像と参照画像内画像情報との間の予測誤差を求める拡大現画像フレーム間予測部と、
フレーム間予測符号化を使って現画像を符号化する符号化部と、
フレーム間予測符号化を使って符号化データを復号する復号部と、
前記復号部で得られた画像から該拡大率情報を使って復号画像を作成する復号画像拡大部と、
復号画像を蓄積する参照画像メモリと、
現領域毎に、該拡大率情報を符号化する拡大率符号化部と、
を有することを特徴とする。
【００２３】
請求項１２に記載の発明は、
請求項１１に記載の画像符号化装置により符号化された前記現領域毎の符号化データを、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて復号する画像復号装置であって、
フレーム間予測符号化を使って符号化データを復号する復号部と、
現領域毎に、拡大率情報を復号する拡大率復号部と、
前記復号部で得られた画像から該拡大率情報を使って復号画像を作成する復号画像拡大部と、
復号画像を蓄積する参照画像メモリと、
を有することを特徴とする。
【００２４】
請求項１３に記載の発明は、
請求項９に記載の画像符号化装置または、
現フレームの画像を入力する画像入力部と、
フレーム間予測符号化を使って現画像を符号化する符号化部と、
フレーム間予測符号化を使って符号化データを復号する復号部と、
復号画像を蓄積する参照画像メモリと、
現領域毎に、参照画像内の或る位置を原点とした回転角度情報を使って、参照画像内の該原点を中心とした領域内の画像情報から予測画像を作成する回転動き補償部と、
現領域毎に、該回転角度情報を符号化する回転角度符号化部と、
現領域毎に、現領域内の或る位置を原点とした、予め設定した回転角度情報を使って、現フレームの画像情報から、回転された現画像を作成する回転現画像作成部と、
を有する画像符号化装置であって、
さらに、回転現画像の画像情報と参照画像の画像情報との差分を計測し、回転予測差分が最も小さくなる、参照画像内の位置を探索する回転動き探索部を有することを特徴とする
【００２５】
請求項１４に記載の発明は、
請求項９に記載の画像符号化装置または、
現フレームの画像を入力する画像入力部と、
フレーム間予測符号化を使って現画像を符号化する符号化部と、
フレーム間予測符号化を使って符号化データを復号する復号部と、
復号画像を蓄積する参照画像メモリと、
現領域毎に、参照画像内の或る位置を原点とした回転角度情報を使って、参照画像内の該原点を中心とした領域内の画像情報から予測画像を作成する回転動き補償部と、
現領域毎に、該回転角度情報を符号化する回転角度符号化部と、
現領域毎に、現領域内の或る位置を原点とした、予め設定した回転角度情報を使って、現フレームの画像情報から、回転された現画像を作成する回転現画像作成部と、
を有する画像符号化装置であって、
さらに、予め設定した複数の回転角度情報で作成された、複数の回転現画像を蓄積する回転現画像メモリと、
回転現画像メモリに蓄積された画像から１つを選択する回転選択部と、
各々の回転角度情報を使った回転現画像と参照画像内画像との回転予測差分が、最も小さくなる回転角度情報を求める回転角度探索部と、
を有することを特徴とする。
【００２６】
請求項１５に記載の発明は、
請求項１１に記載の画像符号化装置または、
現フレームの画像を入力する画像入力部と、
フレーム間予測符号化を使って現画像を符号化する符号化部と、
フレーム間予測符号化を使って符号化データを復号する復号部と、
復号画像を蓄積する参照画像メモリと、
現領域毎に、参照画像内の或る位置を原点とした拡大率情報を使って、参照画像内の該原点を中心とした領域内の画像情報から予測画像を作成する拡大動き補償部と、
現領域毎に、該拡大率情報を符号化する拡大率符号化部と、
現領域毎に、現領域内の或る位置を原点とした、予め設定した拡大率情報を使って、現フレームの画像情報から、拡大縮小された現画像を作成する拡大現画像作成部と、
を有する画像符号化装置であって、
さらに、拡大現画像の画像情報と参照画像の画像情報との差分を計測し、拡大予測差分が最も小さくなる、参照画像内の位置を探索する拡大動き探索部を有することを特徴とする。
【００２７】
請求項１６に記載の発明は、
請求項１１に記載の画像符号化装置または、
現フレームの画像を入力する画像入力部と、
フレーム間予測符号化を使って現画像を符号化する符号化部と、
フレーム間予測符号化を使って符号化データを復号する復号部と、
復号画像を蓄積する参照画像メモリと、
現領域毎に、参照画像内の或る位置を原点とした拡大率情報を使って、参照画像内の該原点を中心とした領域内の画像情報から予測画像を作成する拡大動き補償部と、
現領域毎に、該拡大率情報を符号化する拡大率符号化部と、
現領域毎に、現領域内の或る位置を原点とした、予め設定した拡大率情報を使って、現フレームの画像情報から、拡大縮小された現画像を作成する拡大現画像作成部と、
を有する画像符号化装置であって、
さらに、予め設定された複数の拡大率情報で作成された、複数の拡大現画像を蓄積する拡大現画像メモリと、
拡大現画像メモリに蓄積された画像から１つを選択する拡大選択部と、
各々の拡大率情報を使った拡大現画像と参照画像内画像との拡大予測差分が、最も小さくなる拡大率情報を求める拡大率探索部と、
を有することを特徴とする。
【００２８】
請求項１７に記載の発明は、
請求項１、３、５乃至８のいずれかに記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラムを要旨とする。
【００２９】
請求項１８に記載の発明は、
請求項２、４のいずれかに記載の画像復号方法をコンピュータに実行させるための画像復号プログラムを要旨とする。
【００３０】
請求項１９に記載の発明は、
請求項１、３、５乃至８のいずれかに記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体を要旨とする。
【００３１】
請求項２０に記載の発明は、
請求項２、４のいずれかに記載の画像復号方法をコンピュータに実行させるための画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体を要旨とする。
【００３２】
請求項１、９に記載の発明によれば、画面内のある領域が回転するような画像において、現画像から回転情報を使って回転現画像を作成し、また回転情報そのものを符号化することができる。したがって、回転する画像情報は現領域の画素のみでよく、従来の参照フレームの画像を回転するよりもデータ処理量を低減することができる。
【００３３】
請求項２、１０に記載の発明によれば、請求項１または請求項９に記載の発明によって符号化された符号化データを復号して回転することにより、復号画像を作成することができる。
【００３４】
請求項３、１１に記載の発明によれば、画面内のある領域が拡大縮小するような画像において、現画像から拡大縮小情報を使って拡大現画像を作成し、また拡大縮小情報そのものを符号化することができる。したがって、拡大縮小する画像情報は現領域の画素のみでよく、従来の参照フレームの画像を拡大縮小するよりもデータ処理量を低減することができる。
【００３５】
請求項４、１２に記載の発明によれば、請求項３または請求項１１に記載の発明によって符号化された符号化データを復号して拡大縮小することにより、復号画像を作成することができる。
【００３６】
請求項５、１３に記載の発明によれば、回転した現画像を使って参照画像内を探索することにより、現画像を回転した後での平行移動量を探索することができる。したがって、参照画像内で現画像の位置から平行移動した位置の領域の画像情報を、回転して予測誤差を求めることができる。これにより、例えば、人間が平行移動し、さらにその腕がひじを中心に回転するような、ある位置を軸とした回転運動を行い、その軸が平行移動するような画像内容の変化がある場合に、予測誤差を低減し符号化効率を向上することが可能である。
【００３７】
請求項６、１４に記載の発明によれば、複数パターンの回転角度を予め用意しておき、各々回転した現画像と参照画像との間の差分を求め、最も差分が小さくなる回転角度を求めることができる。
さらに、請求項５または請求項１３に記載の発明と組み合わせることにより、各回転角度で回転した現画像毎に、参照画像内の平行移動量を探索することができる。平行移動量を求める際に使う差分情報を、回転角度間で評価することにより、最も差分の小さい回転角度を求めることが可能である。したがって、現画像と参照画像との間の差分が最も小さい回転角度と平行移動量を求めることが可能である。
【００３８】
請求項７、１５に記載の発明によれば、拡大縮小した現画像を使って参照画像内を探索することにより、現画像を拡大縮小した後での平行移動量を探索することができる。したがって、参照画像内で現画像の位置から平行移動した位置の領域の画像情報を、拡大縮小して予測誤差を求めることができる。これにより、例えば、人間が平行移動し、さらに顔だけが拡大するような、ある位置を中心とした拡大縮小運動を行い、その軸が平行移動するような画像内容の変化がある場合に、予測誤差を低減し符号化効率を向上することが可能である。
【００３９】
請求項８、１６に記載の発明によれば、複数パターンの拡大率を予め用意しておき、各々拡大縮小した現画像と参照画像との間の差分を求め、最も差分が小さくなる拡大率を求めることができる。
さらに、請求項７または請求項１５に記載の発明と組み合わせることにより、各拡大率で拡大縮小した現画像毎に、参照画像内の平行移動量を探索することができる。平行移動量を求める際に使う差分情報を、拡大率間で評価することにより、最も差分の小さい拡大率を求めることが可能である。したがって、現画像と参照画像との間の差分が最も小さい拡大率と平行移動量を求めることが可能である。
【００４０】
さらに、請求項７または請求項１５に記載の発明と組み合わせることにより、各拡大率で拡大縮小し、さらに各回転角度で回転した現画像毎に、参照画像内の平行移動量を探索することができる。平行移動量を求める際に使う差分情報を、拡大率間と回転角度間で評価することにより、最も差分の小さい拡大率と回転角度を求めることが可能である。したがって、現画像と参照画像との間の差分が最も小さい拡大率と回転角度と平行移動量を求めることが可能である。なお、請求項６に記載の発明と組み合わせれば，現画像と参照画像との間の差分が最も小さい拡大率と回転角度を求めることが可能である。
【００４１】
請求項１７、１９に記載の発明によれば、請求項１、３、５乃至８のいずれかに記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラムをコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録された画像符号化プログラムをコンピュータシステムに読み込ませ、実行することにより、請求項１、３、５乃至８のいずれかに記載の発明により得られるのと同一の効果が得られる。
【００４２】
請求項１８、２０に記載の発明によれば、請求項２、４のいずれかに記載の画像復号方法をコンピュータに実行させるための画像復号プログラムをコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録された画像復号プログラムをコンピュータシステムに読み込ませ、実行することにより、請求項２、４のいずれかに記載の発明により得られるのと同一の効果が得られる。
【００４３】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して詳細に説明する。本発明の第１の実施形態に係る画像符号化方法及び画像復号方法について説明する。本実施形態に係る画像符号化方法は、複数パターンの回転角度情報を予め用意しておき、回転した現画像を使って平行移動量を探索するものであるが、平行移動量を探索した後、さらに拡大率情報と回転角度情報を探索すると共に、探索のみ回転現画像を使い、フレーム間予測符号化の際には、回転現画像を用いずに通常の現画像を用い、復号画像を回転と拡大縮小して予測画像を作成することを特徴としている。
【００４４】
まず、本実施形態に係る画像符号化方法を実施するための画像符号化装置について説明する。図１は画像符号化装置の全体構成を示しており、図２は図１に示した画像符号化装置におけるベクトル探索部の具体的構成を示している。図１において、画像符号化装置は、画像を入力する画像入力部１０１と，平行移動量を示す動きベクトルと回転角度と拡大率を使って参照画像から予測画像を作成する動き補償部１０５と、予測画像を使って現画像を符号化する符号化部１０２と、予測画像を使って符号化データを復号する復号部１０３と、復号画像を蓄積する参照画像メモリ１０４と、参照画像と現画像から動きベクトルと回転角度と拡大率を探索するベクトル探索部１０６と、動きベクトルを動き補償部１０５に入力する動きベクトル入力部１０７と、回転角度を動き補償部１０５に入力する回転角度入力部１０８と、拡大率を動き補償部１０５に入力する拡大率入力部１０９と、動きベクトルを符号化する動きベクトル符号化部１１０と、回転角度を符号化する回転角度符号化部１１１と、拡大率を符号化する拡大率符号化部１１２とを有している。
【００４５】
また、図２において、ベクトル探索部１０６は、予め設定された複数パターンの回転角度情報に従って入力画像から回転した画像情報を作成する回転現画像作成部１１４と、回転現画像作成部１１４で作成された複数の画像情報を蓄積する回転現画像メモリ１１５と、回転現画像メモリ１１５に蓄積された画像情報の何れかから１つの画像情報を選択する（以後、選択された画像を回転現画像と呼ぶ）回転選択部１１６と、回転選択部１１６で選択された画像情報と参照画像内の画像情報との差分が最も小さくなる平行移動量を探索する動き探索部１１７と、動き探索部１１７で求められた位置周辺の画像情報を拡大縮小して、回転選択部１１６で選択された画像情報との差分が最も小さくなる拡大率を探索する拡大探索部１１８と、拡大探索部１１８で求められた拡大率で拡大縮小した画像情報を回転し、回転選択部１１６で選択された画像情報との差分が最も小さくなる回転角度を探索する回転探索部１１９とを有している。
【００４６】
ベクトル探索部１０６における動き探索部１１７と、拡大探索部１１８と、回転探索部１１９とでは差分の評価尺度として式（１）に示した絶対値差分和Wを使うものとする。
回転現画像作成部１１４では、入力画像をマクロブロック（MB）毎に右４５度、右９０度、左４５度、左９０度に回転した整数位置の画像情報を作るものとする。回転軸は図３に示した右上の輝度ブロックにおける左下の整数画素位置である。図９に右方向回転を正とした場合の、回転角度θだけ回転した場合の画素位置の例を示す。
【００４７】
回転角度θで回転した整数位置(a1,b1)の画像情報は、入力画像における次式（４）で示される位置(c1,d1)の画像情報となる。
【数４】
一般的に位置(c1,d1)は、整数位置とはならないため、それに最も近い1/8精度の位置での画像情報によって代用するものとする。1/8精度の画像情報は整数位置の画像情報から線形補間によって求めるものとする。
拡大探索部１１８では、参照画像を1/4から2まで1/4ずつ拡大率を増やして画像情報を求め、回転現画像との間の絶対値差分和を計算する。
【００４８】
拡大中心は図３に示す回転軸と同じ位置とする。拡大率Ｚだけ拡大縮小した場合の整数位置(a1,b1)の画像情報は、参照画像における次式（５）で示される位置(c1,d1)の画像情報となる。
【数５】
一般的に位置(c1,d1)は、整数位置とはならないため、それに最も近い1/8精度の位置での画像情報によって代用するものとする。1/8精度の画像情報は整数位置の画像情報から線形補間によって求めるものとする。
【００４９】
回転探索部１１９では、拡大探索部１１８で求められた拡大率を使って拡大した画像を、更に+20度から-20度まで5度ずつ回転して画像情報を求め、回転現画像との間の絶対値差分和を計算する。
回転現画像メモリ１１５にはマクロブロック５つの入力画像を蓄積できるものとし、メモリＭ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５で構成されるものとする。
動きベクトル符号化部１１０は図１４と同様なルックアップテーブルを使って動きベクトル情報を可変長符号化する。
【００５０】
回転角度符号化部１１１は、図５に示したルックアップテーブルを使って符号化する。拡大率符号化部１１２は、図６に示したルックアップテーブルを使って符号化する。
このような前提で現画像をマクロブロック単位に次のように符号化する。
まず、ベクトル探索部１０６で動きベクトルと回転角度と拡大率を求める。
ベクトル探索部１０６における回転現画像作成部１１４は入力画像を回転現画像メモリ１１５のメモリＭ１に蓄積し、入力画像から右４５度回転した画像を作成して回転現画像メモリ１１５のメモリＭ２に蓄積し、入力画像から左４５度回転した画像を作成して回転現画像メモリ１１５のメモリＭ３に蓄積する。
【００５１】
さらに、回転現画像作成部１１４は入力画像から右９０度回転した画像を作成して回転現画像メモリ１１５のメモリＭ４に蓄積し、入力画像から左９０度回転した画像を作成して回転現画像メモリ１１５のメモリＭ５に蓄積する。
続いて回転選択部１１６は、回転現画像メモリ１１５内のメモリＭ１に蓄積された画像を回転現画像として選択し、動き探索部１１７はそれを現画像にして参照画像内の平行移動量を探索する。探索された平行移動位置を (x1,y1)、絶対値差分和をWM1とする。
【００５２】
次に、回転選択部１１６は、回転現画像メモリ１１５内のメモリＭ２に蓄積された画像を回転現画像として選択し、動き探索部１１７はそれを現画像にして参照画像内の平行移動量を探索する。探索された平行移動位置を(x2,y2)、絶対値差分和をWM2とする。
以上の処理を繰り返し、回転現画像メモリ内のメモリＭｉに蓄積された画像に対して平行移動量(xi,yi)と絶対値差分和WMiを求める。そして、絶対差分和WM1〜WM5の最小値を求め、最小値となる回転現画像を求める。ここでは例えば、絶対値差分和WM2が最小値となったとする。
【００５３】
次に、拡大探索部１１８は、回転現画像から(x2,y2)だけ平行移動した位置を中心とした参照画像内の画像を、拡大率を1/4から2まで1/4ずつ変更して拡大縮小して画像を作成し、それぞれの拡大率でのメモリＭ２に蓄積された回転現画像との絶対値差分和を計算し、絶対値差分和が最も小さくなる拡大率Ｚを求める。得られた拡大率Ｚが5/4であったとする。
【００５４】
次に、回転探索部１１９は、回転現画像から(x2,y2)だけ平行移動した位置を中心とした参照画像内の画像を、拡大率5/4で拡大して得られた画像情報を、さらに+20度から-20度まで5度ずつ回転して画像情報を求め、メモリＭ２に蓄積された回転現画像との間の絶対値差分和が最も小さくなる回転角度情報を求める。得られた回転角度θ２が+10度であったとする。
ベクトル探索部１０６は、動きベクトルとして(x2,y2)を、回転角度θとして、θ＝−（メモリＭ２に蓄積された回転現画像の角度）＋θ２＝−４５＋１０＝−３５を、拡大率Ｚとして5/4を出力する。
【００５５】
動きベクトル入力部１０７は動きベクトル(x2,y2)を、回転角度入力部１０８は回転角度θを、拡大率入力部１０９は拡大率Ｚを、それぞれ動き補償部１０５に入力する。
動き補償部１０５は参照画像メモリ１０４に蓄積された参照画像から予測画像を作成する。予測画像の画素位置(a,b)に対する参照画像内の位置(c,d)は次式（６）によって計算される。
【数６】
【００５６】
符号化部１０２は現画像と予測画像から予測誤差を求めて符号化する。復号部１０３は符号化データと予測画像から復号画像を作成する。
動きベクトル符号化部１１０は動きベクトル(x2,y2)を符号化し、回転角度符号化部１１１は回転角度θを符号化し、拡大率符号化部１１２は拡大率Ｚを符号化する。
以上の手順をすべてのマクロブロックに対して繰り返し処理する。最後のマクロブロックで上記と同様な処理を行った後、復号部１０３は復号画像を参照画像メモリ１０４に蓄積する。
【００５７】
次に、本実施の形態に係る画像復号方法を実施するための画像復号装置について説明する。図１及び図２に示した画像符号化装置により符号化された画像データを復号する画像復号装置の構成を図７に示す。同図において、画像復号装置は、前フレームの復号画像を蓄積する参照画像メモリ１０４と、動きベクトルを復号する動きベクトル復号部１２０と、回転角度を復号する回転角度復号部１２１と、拡大率を復号する拡大率復号部１２２と、復号された動きベクトル、回転角度及び拡大率を使って参照画像メモリ１０４に蓄積された復号画像から、予測画像を作成する動き補償部１０５と、予測画像を使って符号化データを復号する復号部１０３とを有している。
【００５８】
次に、図１に示した画像符号化装置により得られた符号化データを復号する手順について説明する。
画像復号装置により入力された符号化データは、マクロブロック毎に次のように復号される。すなわち、動きベクトル復号部１２０は符号化データの中から図４に示したルックアップテーブルを使って動きベクトルを復号する。
回転角度復号部１２１は符号化データの中から図５に示したルックアップテーブルを使って回転角度を復号する。
【００５９】
拡大率復号部１２２は符号化データの中から図６に示したルックアップテーブルを使って拡大率を復号する。
動き補償部１０５は動きベクトル復号部１２０、回転角度復号部１２１、拡大率復号部１２２より得られた動きベクトル(x2,y2)、回転角度θ、拡大率Ｚを使って予測画像を作成する。
予測画像の画素位置(a,b)に対する参照画像内の位置(c,d)は上式（６）によって計算される。
【００６０】
復号部１０３は予測画像を使って符号化データを復号する。
以上の手順をすべてのマクロブロックに対して繰り返し処理する。最後のマクロブロックで上記と同様な処理を行った後、復号部１０３は復号画像を参照画像メモリ１０４に蓄積する。
なお、本実施形態では、予め定めた複数パターンの回転角度に従って現画像を回転した画像である回転現画像を作り、それぞれにおいて動き探索を行ったが、回転ではなく拡大した現画像を使う方法や、回転と拡大の両方を行った現画像を使う方法も好適である。
【００６１】
回転と拡大の両方を使う場合には、図８にその構成例を示すように、ベクトル探索部１０６では、回転現画像作成部１１４の代わりに、予め設定された複数パターンの回転角度情報と拡大率情報に従って入力画像から回転しかつ拡大した画像情報を作成する拡大回転現画像作成部１２３を設け、回転現画像メモリ１１５の代わりに、拡大回転現画像作成部１２３で作成された複数の画像情報を蓄積する拡大回転現画像メモリ１２４を設け、回転選択部１１６の代わりに、拡大回転現画像メモリ１２４に蓄積された画像情報の何れかから１つの画像情報を選択する拡大回転選択部１１３を設けるように構成すればよい。
【００６２】
また、本実施形態では、現画像の位置からの平行移動量を動き探索部１１７で求め、次に参照画像の拡大率を拡大探索部１１８で求め、次に詳細な回転角度を回転探索部１１９で求めた。
しかし、拡大探索部１１８と回転探索部１１９を備えない構成も可能である。この場合には、予め定めた回転角度情報に従って作成した回転現画像毎に、参照画像内で動き探索を行い、最も差分の小さい平行移動量と回転角度情報を求めることができる。
【００６３】
この場合には画像符号化装置には、拡大率入力部１０９と拡大率符号化部１１２は不要である。また、画像復号装置には、拡大率復号部１２２は不要である。
また、拡大探索部１１８と回転探索部１１９の実行する順序を入れ替えることも可能である。
このように本実施形態によれば、画面内のある領域が回転あるいは拡大するような画像において、回転現画像を使って平行移動量を探索することができる。したがって、参照フレーム内の画像全体を回転する必要が無くデータ処理量を低減することができる。
【００６４】
次に、本発明の第２の実施形態に係る画像符号化方法及び画像復号方法について説明する。本実施形態に係る画像符号化方法は、複数パターンの回転角度情報を予め用意しておき、回転した現画像を使って平行移動量を探索するものであるが、探索とフレーム間予測符号化の両方で回転現画像を使うことを特徴としている。
まず、本実施形態に係る画像符号化方法を実施するための画像符号化装置について説明する。図９に本実施形態に係る画像符号化装置の全体構成を示す。
【００６５】
本実施形態に係る画像符号化装置は、画像を入力する画像入力部１０１と、予め設定された複数パターンの回転角度情報に従って入力画像から回転した画像情報を作成する回転現画像作成部１１４と、回転現画像作成部１１４で作成された複数の画像情報を蓄積する回転現画像メモリ１１５と、回転現画像メモリ１１５に蓄積された画像情報の何れかから１つの画像情報を選択する（以後、選択された画像を回転現画像と呼ぶ）回転選択部１１６と、回転選択部１１６で選択される回転現画像の画像情報を使いながら、回転現画像と参照画像内の画像情報との差分が最も小さくなる平行移動量と回転角度を探索する回転角度動き探索部１２７と、平行移動量を示す動きベクトルから予測画像を作る回転現画像フレーム間予測部１２５と、予測画像を使って回転現画像を符号化する符号化部１０２と、予測画像を使って符号化データを復号する復号部１０３と、復号部１０３で得られる画像を回転して復号画像を得る復号画像回転部１２６と、復号画像を蓄積する参照画像メモリ１０４と、動きベクトルを符号化する動きベクトル符号化部１１０と、回転角度を符号化する回転角度符号化部１１１とを有している。
【００６６】
回転現画像作成部１１４では、入力画像をマクロブロック毎に右９０度、左９０度、右１８０度に回転した整数位置の画像情報を作るものとする。回転軸は図３に示した右上の輝度ブロックにおける左下の整数画素位置である。回転角度θで回転した整数位置(a1,b1)の画像情報は、入力画像における式（４）で示される位置(c1,d1)の画像情報となる。回転現画像メモリ１１５にはマクロブロック４つの入力画像を蓄積できるものとし、メモリＭ１，Ｍ２，Ｍ３，Ｍ４で構成されるものとする。
【００６７】
動きベクトル符号化部１１０は図１４と同様なルックアップテーブルを使って動きベクトル情報を可変長符号化する。回転角度符号化部１１１は、図５に示したルックアップテーブルを使って符号化する。回転角度動き探索部１２７では差分の評価尺度として絶対値差分和Wを使うものとする。
【００６８】
このような前提で現画像をマクロブロック単位に次のように符号化する。
回転現画像作成部１１４は入力画像を回転現画像メモリ１１５のメモリＭ１に蓄積し、入力画像から右９０度回転した画像を作成して回転現画像メモリのメモリＭ２に蓄積する。
さらに、回転現画像作成部１１４は入力画像から左９０度回転した画像を作成して回転現画像メモリのメモリＭ３に蓄積し、入力画像から右１８０度回転した画像を作成して回転現画像メモリのメモリＭ４に蓄積する。
【００６９】
続いて、回転選択部１１６は、回転現画像メモリ１１５内のメモリＭ１に蓄積された画像を回転現画像として選択し、回転角度動き探索部１２７はそれを現画像にして参照画像内の平行移動量を探索する。探索された平行移動位置を(x1,y1)，絶対値差分和をWM1とする。
次に、回転選択部１１６は、回転現画像メモリ１１５内のメモリＭ２に蓄積された画像を回転現画像に選択し、回転角度動き探索部１２７はそれを現画像にして参照画像内の平行移動量を探索する。探索された平行移動位置を(x2,y2)、絶対値差分和をWM2とする。
【００７０】
以上の処理を繰り返し、回転現画像メモリ１１５内のメモリＭｉに蓄積された画像に対して平行移動量(xi,yi)と絶対値差分和WMiを求める。そして、絶対値差分和WM1〜WM5の最小値を求め、絶対値差分和が最小値となる回転現画像を求める。
ここでは例えば、絶対値差分和WM2が最小値となったとする。したがって、回転角度θとして右９０度、動きベクトルとして(x2,y2)が得られる。
回転現画像フレーム間予測部１２５は参照画像メモリ１０４に蓄積された参照画像から、動きベクトル(x2,y2)を使い予測画像を作成し、メモリＭ２に蓄積された回転現画像との間で予測誤差を求める。
【００７１】
符号化部１０２は予測誤差を符号化する。復号部１０３は符号化データと予測画像から画像を作成する。
復号画像回転部１２６は、復号部１０３で得られた画像を回転角度−θだけ、すなわち左９０度回転して復号画像を求める。
動きベクトル符号化部１１０は動きベクトル(x2,y2)を符号化し、回転角度符号化部１１１は回転角度θを符号化する。
以上の手順をすべてのマクロブロックに対して繰り返し処理する。最後のマクロブロックで上記と同様な処理を行った後、復号画像回転部１２６は復号画像を参照画像メモリ１０４に蓄積する。
【００７２】
次に、図９に示した画像符号化装置により符号化された画像データを復号する画像復号装置の構成を図１０に示す。同図において、本実施形態に係る画像復号装置は、動きベクトルを復号する動きベクトル復号部１２０と、回転角度を復号する回転角度復号部１２１と、動きベクトルを使って参照画像メモリ１０４に蓄積された復号画像から、予測画像を作成して符号化データを復号する復号部１０３と、復号部１０３で得られた画像を回転して復号画像を求める復号画像回転部と１２６と、復号画像を蓄積する参照画像メモリ１０４とを有している。
【００７３】
次に、図９に示した画像符号化装置により得られた符号化データを復号する手順について説明する。
画像復号装置により入力された符号化データは、マクロブロック毎に次のように復号される。動きベクトル復号部１２０は符号化データの中から図１４に示したルックアップテーブルを使って動きベクトルを復号する。
回転角度復号部１２１は符号化データの中から図５に示したルックアップテーブルを使って回転角度を復号する。
復号部１０３は、動きベクトル(x2,y2)を使って予測画像を作成し、符号化データを復号する。
【００７４】
復号画像回転部１２６は復号部で得られた画像を回転角度−θ、すなわち左９０度回転して復号画像を得る。
以上の手順をすべてのマクロブロックに対して繰り返し処理する。最後のマクロブロックで上記と同様な処理を行った後、復号画像回転部１２６は復号画像を参照画像メモリ１０４に蓄積する。
なお、本実施形態では、予め定めた複数パターンの回転角度に従って現画像を回転した画像である回転現画像を作り、それぞれにおいて動き探索を行ったが、回転ではなく拡大した現画像を使う方法や、回転と拡大の両方を行った現画像を使う方法も好適である。
【００７５】
また、本発明の第１と第２の実施形態では、最後のマクロブロックを符号化した後に復号画像を参照画像メモリ１０４に蓄積したが、各マクロブロックの符号化毎に復号画像を参照画像メモリ１０４に蓄積しても良い。この場合には、現フレームの既に符号化されたマクロブロックの画像情報を使って予測画像を作成し、現マクロブロックを符号化することができる。
このように本発明の第１と第２の実施形態によれば、画面内のある領域が回転あるいは拡大するような画像において、回転現画像を使って平行移動量を探索することができる。
さらに、回転現画像と参照画像との間で予測誤差を作って符号化することができる。したがって、動き探索とフレーム間予測において、参照フレーム内の画像全体を回転する必要が無くデータ処理量を低減することができる。
【００７６】
また、図１、２、８（第１実施形態）または図９（第２実施形態）に示す画像符号化装置の機能、すなわち画像符号化方法を実現するための画像符号化プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像符号化処理を行ってもよい。
さらに、図７（第１実施形態）または図１０（第２実施形態）に示す画像復号装置の機能、すなわち画像復号方法を実現するための画像復号プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像復号処理を行ってもよい。
これらの場合においても、既述した第１、第２の実施の形態と同様の効果が得られる。
【００７７】
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）を含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００７８】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
また上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。
【００７９】
ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計事項等も含まれる。
【００８０】
【発明の効果】
以上に説明したように、本発明によれば、画面内のある領域が回転あるいは拡大するような画像において、回転現画像を使って平行移動量を探索することができる。
さらに、本発明によれば、回転現画像と参照画像との間で予測誤差を作って符号化することができる。したがって、動き探索とフレーム間予測とを行う場合において、参照フレーム内の画像全体を回転する必要が無くデータ処理量を低減することができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態に係る像符号化装置の全体構成を示すブロック図。
【図２】 図１に示した本発明の第１の実施の形態に係る像符号化装置におけるベクトル探索部の具体的構成を示すブロック図。
【図３】 画像符号化時に入力画像を回転、または拡大処理を行う際における画像領域上の回転・拡大軸を示す説明図。
【図４】 画像に対して回転処理を行った際の元の画素位置と回転後の画素位置との関係を示す説明図。
【図５】 画像の回転角度を可変長符号により符号化する際に使用するルックアップテーブルの例を示す説明図。
【図６】 画像の拡大率を可変長符号により符号化する際に使用するルックアップテーブルの例を示す説明図。
【図７】 本発明の第１の実施形態に係る画像復号装置の構成を示すブロック図。
【図８】 本発明の第１の実施形態に係る画像装置において、画像の拡大と回転を予め行う場合のベクトル探索部の具体的構成を示すブロック図。
【図９】 本発明の第２の実施形態に係る画像符号化装置の構成を示すブロック図。
【図１０】 本発明の第２の実施形態に係る画像復号装置の構成を示すブロック図。
【図１１】 ブロックマッチングにおけるマクロブロックと探索位置との関係を示す説明図。
【図１２】 画像情報の線形補間の例を示す説明図。
【図１３】 １／２精度の画像情報を求めるフィルタ方法の例を示す説明図。
【図１４】 動きベクトルを可変長符号により符号化する際に使用するルックアップテーブルの例を示す説明図。
【図１５】 画像領域四隅の動きベクトルから任意位置の動きベクトルを補間する方法を示す説明図。
【符号の説明】
１０１ 画像入力部
１０２ 符号化部
１０３ 復号部
１０４ 参照画像メモリ
１０５ 動き補償部
１０６ ベクトル探索部
１０７ 動きベクトル入力部
１０８ 回転角度入力部
１０９ 拡大率入力部
１１０ 動きベクトル符号化部
１１１ 回転角度符号化部
１１２ 拡大率符号化部
１１３ 拡大回転選択部
１１４ 回転現画像作成部
１１５ 回転現画像メモリ
１１６ 回転選択部
１１７ 動き探索部
１１８ 拡大探索部
１１９ 回転探索部
１２０ 動きベクトル復号部
１２１ 回転角度復号部
１２２ 拡大率復号部
１２３ 拡大回転現画像作成部
１２４ 拡大回転現画像メモリ
１２５ 回転現画像フレーム間予測部
１２６ 復号画像回転部
１２７ 回転角度動き探索部
【発明の属する技術分野】
本発明は、動画像を符号化し、または復号する画像符号化方法及び装置、画像復号方法及び装置、プログラム及びプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
動画像を符号化する動き補償符号化方法では，マクロブロック（以下、MBと記す）やブロック等の領域毎に、参照フレーム内画像情報から予測画像を作成し、現フレームの画像との間で差分（予測誤差）を符号化する。一般的に通常の動き補償では、現フレームの領域の位置と予測画像の位置との差分は領域全体の平行移動量(x,y)であり、これを動きベクトルと呼ぶ。
【０００３】
予測画像の探索手法としては一般的にブロックマッチング方法が用いられる。ブロックマッチングでは、符号化対象の領域を中心とした正方形の探索範囲（サーチウィンドウ）を参照フレーム内に設定し、現フレームの領域内画素とサーチウィンドウ内の画素との間の画像情報の差分が最も小さくなる位置を、サーチウィンドウ内で探索する。この差分の計算方法は絶対値差分和や平均２乗誤差などが用いられる。
【０００４】
ブロックマッチングの概念図を図１１に示す。絶対値差分和の計算方法を次式（１）に示す。
【数１】
動きベクトルは整数精度または分数精度または実数精度のいずれでも表現することが可能である。分数精度や実数精度では、実際には画素の無い位置の画像情報を作る必要がある。分数精度と実数精度の場合には、対応する位置の画像情報を周囲の整数位置の画素の画像情報から求める。例えば、実数精度で周囲４画素からの線形補間によって求める場合で、図１２に示すような左上の画素から(a,b)の位置の画像情報を求める場合には、次式（２）により求める。
【０００５】
実数精度は、任意の位置の画像情報を作ることができるが、符号化側と復号側で演算精度が異なる場合があるため、復号側で正確に復号できない場合がある。
【数２】
【０００６】
このようにして求めた動きベクトル(x,y)は可変長符号化される。整数画素精度の動きベクトルを、ルックアップテーブルを使って可変長符号化する際のテーブルの例を図１４に示す。なお、算術符号化を用いて符号化する方法もある。
領域全体の平行移動ではなく、領域内画素の個々の平行移動により予測画像を作成する方法もある。領域内画素それぞれの平行移動量を符号化すると符号量の増加を招くため、一般的に画素それぞれの平行移動量を代表ベクトルから補間する。
【０００７】
従来の代表的な代表ベクトルとしては、領域の四隅の画素の平行移動量を用いる方法がある。この場合には、領域一つに対して４個の平行移動量を符号化する必要がある。領域の四隅の画素の平行移動量から，領域内画素の平行移動量を算出する方法の例を図１５に示す．四隅の平行移動量を、（x1,y1）、(x2,y2)、(x3,y3)、(x4,y4)とすると、画素(p,q)の平行移動量(X,Y)は次式（３）により計算される。
【数３】
【０００８】
さらにマクロブロック毎に符号化する場合、マクロブロックの四隅の画素の動きベクトルだけを符号化し、マクロブロック内部の任意の画素の動きベクトルはそれらから計算により求める方法もある。この場合にはマクロブロック毎に４個の動きベクトルが必要となる。
この方法では、画像の回転運動のみ、あるいは拡大運動のみがある場合であっても、四隅の動きベクトルを符号化する必要があり、符号量の増加を招く場合がある。
【０００９】
そのため、例えば文献「石川ら，“マルチパラメータ動き補償を用いた動画像の３Ｄ／２Ｄハイブリッド符号化”，信学技報IE2001-76，pp.15-22，2001」では、回転運動に対して回転角度を示す情報によって予測画像を作成して回転角度情報を符号化する方法や、拡大運動に対して拡大率を示す情報によって予測画像を作成して拡大率情報を符号化する方法を用いている。
また、通常のフレーム間予測符号化のように、既に符号化したフレームの画像から予測画像を作成する方法の他に、現フレーム内の既に符号化された領域の画像から予測画像を作成する方法もある。
【００１０】
【発明が解決しようとする課題】
画像の回転角度あるいは拡大率をマクロブロックの領域毎に求める時に，従来の方法では過去に符号化したフレーム（参照フレーム）内の画像を回転あるいは拡大して探索用の画像を作成して探索していた。したがって、参照フレーム内の画像情報全体を回転あるいは拡大する必要があるため、膨大なデータ処理量が必要であるという問題が有った。
【００１１】
また、一般的にフレームの画像情報は画面内左上の画素から右下の画素まで順に記憶装置等に記録されているため、フレーム内におけるある特定の領域のフレーム間予測符号化用予測画像を作成する場合にも，予測画像を作るために不必要な画像情報を読み込む必要があるという問題が有った。
本発明はこのような事情に鑑みてなされたものであり、画像の動き探索とフレーム間予測において、参照フレーム内の画像全体を回転する必要が無く、データ処理量を低減することができる画像符号化方法及び装置、画像復号方法及び装置、画像符号化方法または画像復号方法をコンピュータに実行させるためのプログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載の発明は、
現フレームの画像を分割した領域（以後、現領域と呼ぶ）毎に、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて符号化する画像符号化方法であって、
現領域毎に、現領域内の或る位置を原点とした、予め設定した回転角度情報を使って、現フレームの画像情報から、回転された現画像（以後、回転現画像と呼ぶ）を作成する回転現画像作成ステップと、
現領域毎に、回転現画像と参照画像内画像情報との間の予測誤差を求める回転現画像フレーム間予測ステップと、
現領域毎に、該回転角度情報を符号化する回転角度符号化ステップと、
予測誤差を符号化する符号化ステップと、
符号化データを復号して画像を作成する復号ステップと、
前記復号ステップで得られた画像から該回転角度情報を使って復号画像を作成する復号画像回転ステップと、
を有することを特徴とする。
【００１３】
請求項２に記載の発明は、
請求項１に記載の画像符号化方法により符号化された前記現領域毎の符号化データを、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて復号する画像復号方法であって、
現領域毎に、回転角度情報を復号する回転角度復号ステップと、
符号化データを復号して画像を作成する復号ステップと、
前記復号ステップで得られた画像から該回転角度情報を使って復号画像を作成する復号画像回転ステップと、
を有することを特徴とする。
【００１４】
請求項３に記載の発明は、
現領域毎に、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて符号化する画像符号化方法であって、
現領域毎に、現領域内の或る位置を原点とした、予め設定した拡大率情報を使って、現フレームの画像情報から、拡大縮小された現画像（以後、拡大現画像と呼ぶ）を作成する拡大現画像作成ステップと、
現領域毎に、拡大現画像と参照画像内画像情報との間の予測誤差を求める拡大現画像フレーム間予測ステップと、
現領域毎に、該拡大率情報を符号化する拡大率符号化ステップと、
予測誤差を符号化する符号化ステップと、
符号化データを復号して画像を作成する復号ステップと、
前記復号ステップで得られた画像から該拡大率情報を使って復号画像を作成する復号画像拡大ステップと、
を有することを特徴とする。
【００１５】
請求項４に記載の発明は、
請求項３に記載の画像符号化方法により符号化された前記現領域毎の符号化データを、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて復号する画像復号方法であって、
現領域毎に，拡大率情報を復号する拡大率復号ステップと、
符号化データを復号して画像を作成する復号ステップと、
前記復号ステップで得られた画像から該拡大率情報を使って復号画像を作成する復号画像拡大ステップと、
を有することを特徴とする。
【００１６】
請求項５に記載の発明は、
請求項１に記載の画像符号化方法または、
現領域毎に、参照画像内の或る位置を原点とした回転角度情報を使って、参照画像内の該原点を中心とした領域（以後、参照領域と呼ぶ）内の画像情報から予測画像を作成する回転動き補償ステップと、
現領域毎に、該回転角度情報を符号化する回転角度符号化ステップと、
現領域毎に、現領域内の或る位置を原点とした、予め設定した回転角度情報を使って、現フレームの画像情報から、回転された現画像（以後、回転現画像と呼ぶ）を作成する回転現画像作成ステップと、
を有する画像符号化方法であって、
さらに、回転現画像の画像情報と参照画像の画像情報との差分（以後，回転予測差分と呼ぶ）を計測し、回転予測差分が最も小さくなる、参照画像内の平行移動量を探索する回転動き探索ステップを有することを特徴とする。
【００１７】
請求項６に記載の発明は、
請求項１に記載の画像符号化方法または、
現領域毎に、参照画像内の或る位置を原点とした回転角度情報を使って、参照画像内の該原点を中心とした領域（以後、参照領域と呼ぶ）内の画像情報から予測画像を作成する回転動き補償ステップと、
現領域毎に、該回転角度情報を符号化する回転角度符号化ステップと、
現領域毎に、現領域内の或る位置を原点とした、予め設定した回転角度情報を使って、現フレームの画像情報から、回転された現画像（以後、回転現画像と呼ぶ）を作成する回転現画像作成ステップと、
有する画像符号化方法であって、
さらに、予め複数の回転角度情報を設定しておき、各々の回転角度情報を使った回転現画像と参照画像内画像との回転予測差分が、最も小さくなる回転角度情報を求める回転角度探索ステップを有することを特徴とする。
【００１８】
請求項７に記載の発明は、
請求項３に記載の画像符号化方法または、
現領域毎に、参照画像内の或る位置を原点とした拡大率情報を使って、参照画像内の該原点を中心とした領域内の画像情報から予測画像を作成する拡大動き補償ステップと、
現領域毎に、該拡大率情報を符号化する拡大率符号化ステップと、
現領域毎に、現領域内の或る位置を原点とした、予め設定した拡大率情報を使って、現フレームの画像情報から、拡大縮小された現画像（以後，拡大現画像と呼ぶ）を作成する拡大現画像作成ステップと、
を有し、現領域毎にフレーム間予測符号化を用いて符号化する画像符号化方法であって、
さらに、拡大現画像の画像情報と参照画像の画像情報との差分（以後、拡大予測差分と呼ぶ）を計測し、拡大予測差分が最も小さくなる、参照画像内の平行移動量を探索する拡大動き探索ステップを有することを特徴とする。
【００１９】
請求項８に記載の発明は、
請求項３に記載の画像符号化方法または、
現領域毎に、参照画像内の或る位置を原点とした拡大率情報を使って、参照画像内の該原点を中心とした領域内の画像情報から予測画像を作成する拡大動き補償ステップと、
現領域毎に、該拡大率情報を符号化する拡大率符号化ステップと、
現領域毎に、現領域内の或る位置を原点とした、予め設定した拡大率情報を使って、現フレームの画像情報から、拡大縮小された現画像（以後、拡大現画像と呼ぶ）を作成する拡大現画像作成ステップと、
を有し、現領域毎にフレーム間予測符号化を用いて符号化する画像符号化方法であって、
さらに、予め複数の拡大率情報を設定しておき、各々の拡大率情報を使った拡大現画像と参照画像内画像との拡大予測差分が、最も小さくなる拡大率情報を求める拡大率探索ステップを有することを特徴とする。
【００２０】
請求項９に記載の発明は、
現領域毎に、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて符号化する画像符号化装置であって、
現フレームの画像を入力する画像入力部と、
現領域毎に、現領域内の或る位置を原点とした、予め設定した回転角度情報を使って、現フレームの画像情報から、回転された現画像を作成する回転現画像作成部と、
現領域毎に、回転現画像と参照画像内画像情報との間の予測誤差を求める回転現画像フレーム間予測部と、
フレーム間予測符号化を使って現画像を符号化する符号化部と、
フレーム間予測符号化を使って符号化データを復号する復号部と、
前記復号部で得られた画像から該回転角度情報を使って復号画像を作成する復号画像回転部と、
復号画像を蓄積する参照画像メモリと、
現領域毎に、該回転角度情報を符号化する回転角度符号化部と、
を有することを特徴とする。
【００２１】
請求項１０に記載の発明は、
請求項９に記載の画像符号化装置により符号化された前記現領域毎の符号化データを、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて復号する画像復号装置であって、
フレーム間予測符号化を使って符号化データを復号する復号部と、
現領域毎に、回転角度情報を復号する回転角度復号部と、
前記復号部で得られた画像から該回転角度情報を使って復号画像を作成する復号画像回転部と、
復号画像を蓄積する参照画像メモリと、
を有することを特徴とする。
【００２２】
請求項１１に記載の発明は、
現領域毎に、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて符号化する画像符号化装置であって、
現フレームの画像を入力する画像入力部と、
現領域毎に、現領域内の或る位置を原点とした、予め設定した拡大率情報を使って、現フレームの画像情報から、拡大縮小された現画像を作成する拡大現画像作成部と、
現領域毎に、拡大現画像と参照画像内画像情報との間の予測誤差を求める拡大現画像フレーム間予測部と、
フレーム間予測符号化を使って現画像を符号化する符号化部と、
フレーム間予測符号化を使って符号化データを復号する復号部と、
前記復号部で得られた画像から該拡大率情報を使って復号画像を作成する復号画像拡大部と、
復号画像を蓄積する参照画像メモリと、
現領域毎に、該拡大率情報を符号化する拡大率符号化部と、
を有することを特徴とする。
【００２３】
請求項１２に記載の発明は、
請求項１１に記載の画像符号化装置により符号化された前記現領域毎の符号化データを、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて復号する画像復号装置であって、
フレーム間予測符号化を使って符号化データを復号する復号部と、
現領域毎に、拡大率情報を復号する拡大率復号部と、
前記復号部で得られた画像から該拡大率情報を使って復号画像を作成する復号画像拡大部と、
復号画像を蓄積する参照画像メモリと、
を有することを特徴とする。
【００２４】
請求項１３に記載の発明は、
請求項９に記載の画像符号化装置または、
現フレームの画像を入力する画像入力部と、
フレーム間予測符号化を使って現画像を符号化する符号化部と、
フレーム間予測符号化を使って符号化データを復号する復号部と、
復号画像を蓄積する参照画像メモリと、
現領域毎に、参照画像内の或る位置を原点とした回転角度情報を使って、参照画像内の該原点を中心とした領域内の画像情報から予測画像を作成する回転動き補償部と、
現領域毎に、該回転角度情報を符号化する回転角度符号化部と、
現領域毎に、現領域内の或る位置を原点とした、予め設定した回転角度情報を使って、現フレームの画像情報から、回転された現画像を作成する回転現画像作成部と、
を有する画像符号化装置であって、
さらに、回転現画像の画像情報と参照画像の画像情報との差分を計測し、回転予測差分が最も小さくなる、参照画像内の位置を探索する回転動き探索部を有することを特徴とする
【００２５】
請求項１４に記載の発明は、
請求項９に記載の画像符号化装置または、
現フレームの画像を入力する画像入力部と、
フレーム間予測符号化を使って現画像を符号化する符号化部と、
フレーム間予測符号化を使って符号化データを復号する復号部と、
復号画像を蓄積する参照画像メモリと、
現領域毎に、参照画像内の或る位置を原点とした回転角度情報を使って、参照画像内の該原点を中心とした領域内の画像情報から予測画像を作成する回転動き補償部と、
現領域毎に、該回転角度情報を符号化する回転角度符号化部と、
現領域毎に、現領域内の或る位置を原点とした、予め設定した回転角度情報を使って、現フレームの画像情報から、回転された現画像を作成する回転現画像作成部と、
を有する画像符号化装置であって、
さらに、予め設定した複数の回転角度情報で作成された、複数の回転現画像を蓄積する回転現画像メモリと、
回転現画像メモリに蓄積された画像から１つを選択する回転選択部と、
各々の回転角度情報を使った回転現画像と参照画像内画像との回転予測差分が、最も小さくなる回転角度情報を求める回転角度探索部と、
を有することを特徴とする。
【００２６】
請求項１５に記載の発明は、
請求項１１に記載の画像符号化装置または、
現フレームの画像を入力する画像入力部と、
フレーム間予測符号化を使って現画像を符号化する符号化部と、
フレーム間予測符号化を使って符号化データを復号する復号部と、
復号画像を蓄積する参照画像メモリと、
現領域毎に、参照画像内の或る位置を原点とした拡大率情報を使って、参照画像内の該原点を中心とした領域内の画像情報から予測画像を作成する拡大動き補償部と、
現領域毎に、該拡大率情報を符号化する拡大率符号化部と、
現領域毎に、現領域内の或る位置を原点とした、予め設定した拡大率情報を使って、現フレームの画像情報から、拡大縮小された現画像を作成する拡大現画像作成部と、
を有する画像符号化装置であって、
さらに、拡大現画像の画像情報と参照画像の画像情報との差分を計測し、拡大予測差分が最も小さくなる、参照画像内の位置を探索する拡大動き探索部を有することを特徴とする。
【００２７】
請求項１６に記載の発明は、
請求項１１に記載の画像符号化装置または、
現フレームの画像を入力する画像入力部と、
フレーム間予測符号化を使って現画像を符号化する符号化部と、
フレーム間予測符号化を使って符号化データを復号する復号部と、
復号画像を蓄積する参照画像メモリと、
現領域毎に、参照画像内の或る位置を原点とした拡大率情報を使って、参照画像内の該原点を中心とした領域内の画像情報から予測画像を作成する拡大動き補償部と、
現領域毎に、該拡大率情報を符号化する拡大率符号化部と、
現領域毎に、現領域内の或る位置を原点とした、予め設定した拡大率情報を使って、現フレームの画像情報から、拡大縮小された現画像を作成する拡大現画像作成部と、
を有する画像符号化装置であって、
さらに、予め設定された複数の拡大率情報で作成された、複数の拡大現画像を蓄積する拡大現画像メモリと、
拡大現画像メモリに蓄積された画像から１つを選択する拡大選択部と、
各々の拡大率情報を使った拡大現画像と参照画像内画像との拡大予測差分が、最も小さくなる拡大率情報を求める拡大率探索部と、
を有することを特徴とする。
【００２８】
請求項１７に記載の発明は、
請求項１、３、５乃至８のいずれかに記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラムを要旨とする。
【００２９】
請求項１８に記載の発明は、
請求項２、４のいずれかに記載の画像復号方法をコンピュータに実行させるための画像復号プログラムを要旨とする。
【００３０】
請求項１９に記載の発明は、
請求項１、３、５乃至８のいずれかに記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体を要旨とする。
【００３１】
請求項２０に記載の発明は、
請求項２、４のいずれかに記載の画像復号方法をコンピュータに実行させるための画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体を要旨とする。
【００３２】
請求項１、９に記載の発明によれば、画面内のある領域が回転するような画像において、現画像から回転情報を使って回転現画像を作成し、また回転情報そのものを符号化することができる。したがって、回転する画像情報は現領域の画素のみでよく、従来の参照フレームの画像を回転するよりもデータ処理量を低減することができる。
【００３３】
請求項２、１０に記載の発明によれば、請求項１または請求項９に記載の発明によって符号化された符号化データを復号して回転することにより、復号画像を作成することができる。
【００３４】
請求項３、１１に記載の発明によれば、画面内のある領域が拡大縮小するような画像において、現画像から拡大縮小情報を使って拡大現画像を作成し、また拡大縮小情報そのものを符号化することができる。したがって、拡大縮小する画像情報は現領域の画素のみでよく、従来の参照フレームの画像を拡大縮小するよりもデータ処理量を低減することができる。
【００３５】
請求項４、１２に記載の発明によれば、請求項３または請求項１１に記載の発明によって符号化された符号化データを復号して拡大縮小することにより、復号画像を作成することができる。
【００３６】
請求項５、１３に記載の発明によれば、回転した現画像を使って参照画像内を探索することにより、現画像を回転した後での平行移動量を探索することができる。したがって、参照画像内で現画像の位置から平行移動した位置の領域の画像情報を、回転して予測誤差を求めることができる。これにより、例えば、人間が平行移動し、さらにその腕がひじを中心に回転するような、ある位置を軸とした回転運動を行い、その軸が平行移動するような画像内容の変化がある場合に、予測誤差を低減し符号化効率を向上することが可能である。
【００３７】
請求項６、１４に記載の発明によれば、複数パターンの回転角度を予め用意しておき、各々回転した現画像と参照画像との間の差分を求め、最も差分が小さくなる回転角度を求めることができる。
さらに、請求項５または請求項１３に記載の発明と組み合わせることにより、各回転角度で回転した現画像毎に、参照画像内の平行移動量を探索することができる。平行移動量を求める際に使う差分情報を、回転角度間で評価することにより、最も差分の小さい回転角度を求めることが可能である。したがって、現画像と参照画像との間の差分が最も小さい回転角度と平行移動量を求めることが可能である。
【００３８】
請求項７、１５に記載の発明によれば、拡大縮小した現画像を使って参照画像内を探索することにより、現画像を拡大縮小した後での平行移動量を探索することができる。したがって、参照画像内で現画像の位置から平行移動した位置の領域の画像情報を、拡大縮小して予測誤差を求めることができる。これにより、例えば、人間が平行移動し、さらに顔だけが拡大するような、ある位置を中心とした拡大縮小運動を行い、その軸が平行移動するような画像内容の変化がある場合に、予測誤差を低減し符号化効率を向上することが可能である。
【００３９】
請求項８、１６に記載の発明によれば、複数パターンの拡大率を予め用意しておき、各々拡大縮小した現画像と参照画像との間の差分を求め、最も差分が小さくなる拡大率を求めることができる。
さらに、請求項７または請求項１５に記載の発明と組み合わせることにより、各拡大率で拡大縮小した現画像毎に、参照画像内の平行移動量を探索することができる。平行移動量を求める際に使う差分情報を、拡大率間で評価することにより、最も差分の小さい拡大率を求めることが可能である。したがって、現画像と参照画像との間の差分が最も小さい拡大率と平行移動量を求めることが可能である。
【００４０】
さらに、請求項７または請求項１５に記載の発明と組み合わせることにより、各拡大率で拡大縮小し、さらに各回転角度で回転した現画像毎に、参照画像内の平行移動量を探索することができる。平行移動量を求める際に使う差分情報を、拡大率間と回転角度間で評価することにより、最も差分の小さい拡大率と回転角度を求めることが可能である。したがって、現画像と参照画像との間の差分が最も小さい拡大率と回転角度と平行移動量を求めることが可能である。なお、請求項６に記載の発明と組み合わせれば，現画像と参照画像との間の差分が最も小さい拡大率と回転角度を求めることが可能である。
【００４１】
請求項１７、１９に記載の発明によれば、請求項１、３、５乃至８のいずれかに記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラムをコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録された画像符号化プログラムをコンピュータシステムに読み込ませ、実行することにより、請求項１、３、５乃至８のいずれかに記載の発明により得られるのと同一の効果が得られる。
【００４２】
請求項１８、２０に記載の発明によれば、請求項２、４のいずれかに記載の画像復号方法をコンピュータに実行させるための画像復号プログラムをコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録された画像復号プログラムをコンピュータシステムに読み込ませ、実行することにより、請求項２、４のいずれかに記載の発明により得られるのと同一の効果が得られる。
【００４３】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して詳細に説明する。本発明の第１の実施形態に係る画像符号化方法及び画像復号方法について説明する。本実施形態に係る画像符号化方法は、複数パターンの回転角度情報を予め用意しておき、回転した現画像を使って平行移動量を探索するものであるが、平行移動量を探索した後、さらに拡大率情報と回転角度情報を探索すると共に、探索のみ回転現画像を使い、フレーム間予測符号化の際には、回転現画像を用いずに通常の現画像を用い、復号画像を回転と拡大縮小して予測画像を作成することを特徴としている。
【００４４】
まず、本実施形態に係る画像符号化方法を実施するための画像符号化装置について説明する。図１は画像符号化装置の全体構成を示しており、図２は図１に示した画像符号化装置におけるベクトル探索部の具体的構成を示している。図１において、画像符号化装置は、画像を入力する画像入力部１０１と，平行移動量を示す動きベクトルと回転角度と拡大率を使って参照画像から予測画像を作成する動き補償部１０５と、予測画像を使って現画像を符号化する符号化部１０２と、予測画像を使って符号化データを復号する復号部１０３と、復号画像を蓄積する参照画像メモリ１０４と、参照画像と現画像から動きベクトルと回転角度と拡大率を探索するベクトル探索部１０６と、動きベクトルを動き補償部１０５に入力する動きベクトル入力部１０７と、回転角度を動き補償部１０５に入力する回転角度入力部１０８と、拡大率を動き補償部１０５に入力する拡大率入力部１０９と、動きベクトルを符号化する動きベクトル符号化部１１０と、回転角度を符号化する回転角度符号化部１１１と、拡大率を符号化する拡大率符号化部１１２とを有している。
【００４５】
また、図２において、ベクトル探索部１０６は、予め設定された複数パターンの回転角度情報に従って入力画像から回転した画像情報を作成する回転現画像作成部１１４と、回転現画像作成部１１４で作成された複数の画像情報を蓄積する回転現画像メモリ１１５と、回転現画像メモリ１１５に蓄積された画像情報の何れかから１つの画像情報を選択する（以後、選択された画像を回転現画像と呼ぶ）回転選択部１１６と、回転選択部１１６で選択された画像情報と参照画像内の画像情報との差分が最も小さくなる平行移動量を探索する動き探索部１１７と、動き探索部１１７で求められた位置周辺の画像情報を拡大縮小して、回転選択部１１６で選択された画像情報との差分が最も小さくなる拡大率を探索する拡大探索部１１８と、拡大探索部１１８で求められた拡大率で拡大縮小した画像情報を回転し、回転選択部１１６で選択された画像情報との差分が最も小さくなる回転角度を探索する回転探索部１１９とを有している。
【００４６】
ベクトル探索部１０６における動き探索部１１７と、拡大探索部１１８と、回転探索部１１９とでは差分の評価尺度として式（１）に示した絶対値差分和Wを使うものとする。
回転現画像作成部１１４では、入力画像をマクロブロック（MB）毎に右４５度、右９０度、左４５度、左９０度に回転した整数位置の画像情報を作るものとする。回転軸は図３に示した右上の輝度ブロックにおける左下の整数画素位置である。図９に右方向回転を正とした場合の、回転角度θだけ回転した場合の画素位置の例を示す。
【００４７】
回転角度θで回転した整数位置(a1,b1)の画像情報は、入力画像における次式（４）で示される位置(c1,d1)の画像情報となる。
【数４】
拡大探索部１１８では、参照画像を1/4から2まで1/4ずつ拡大率を増やして画像情報を求め、回転現画像との間の絶対値差分和を計算する。
【００４８】
拡大中心は図３に示す回転軸と同じ位置とする。拡大率Ｚだけ拡大縮小した場合の整数位置(a1,b1)の画像情報は、参照画像における次式（５）で示される位置(c1,d1)の画像情報となる。
【数５】
【００４９】
回転探索部１１９では、拡大探索部１１８で求められた拡大率を使って拡大した画像を、更に+20度から-20度まで5度ずつ回転して画像情報を求め、回転現画像との間の絶対値差分和を計算する。
回転現画像メモリ１１５にはマクロブロック５つの入力画像を蓄積できるものとし、メモリＭ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５で構成されるものとする。
動きベクトル符号化部１１０は図１４と同様なルックアップテーブルを使って動きベクトル情報を可変長符号化する。
【００５０】
回転角度符号化部１１１は、図５に示したルックアップテーブルを使って符号化する。拡大率符号化部１１２は、図６に示したルックアップテーブルを使って符号化する。
このような前提で現画像をマクロブロック単位に次のように符号化する。
まず、ベクトル探索部１０６で動きベクトルと回転角度と拡大率を求める。
ベクトル探索部１０６における回転現画像作成部１１４は入力画像を回転現画像メモリ１１５のメモリＭ１に蓄積し、入力画像から右４５度回転した画像を作成して回転現画像メモリ１１５のメモリＭ２に蓄積し、入力画像から左４５度回転した画像を作成して回転現画像メモリ１１５のメモリＭ３に蓄積する。
【００５１】
さらに、回転現画像作成部１１４は入力画像から右９０度回転した画像を作成して回転現画像メモリ１１５のメモリＭ４に蓄積し、入力画像から左９０度回転した画像を作成して回転現画像メモリ１１５のメモリＭ５に蓄積する。
続いて回転選択部１１６は、回転現画像メモリ１１５内のメモリＭ１に蓄積された画像を回転現画像として選択し、動き探索部１１７はそれを現画像にして参照画像内の平行移動量を探索する。探索された平行移動位置を (x1,y1)、絶対値差分和をWM1とする。
【００５２】
次に、回転選択部１１６は、回転現画像メモリ１１５内のメモリＭ２に蓄積された画像を回転現画像として選択し、動き探索部１１７はそれを現画像にして参照画像内の平行移動量を探索する。探索された平行移動位置を(x2,y2)、絶対値差分和をWM2とする。
以上の処理を繰り返し、回転現画像メモリ内のメモリＭｉに蓄積された画像に対して平行移動量(xi,yi)と絶対値差分和WMiを求める。そして、絶対差分和WM1〜WM5の最小値を求め、最小値となる回転現画像を求める。ここでは例えば、絶対値差分和WM2が最小値となったとする。
【００５３】
次に、拡大探索部１１８は、回転現画像から(x2,y2)だけ平行移動した位置を中心とした参照画像内の画像を、拡大率を1/4から2まで1/4ずつ変更して拡大縮小して画像を作成し、それぞれの拡大率でのメモリＭ２に蓄積された回転現画像との絶対値差分和を計算し、絶対値差分和が最も小さくなる拡大率Ｚを求める。得られた拡大率Ｚが5/4であったとする。
【００５４】
次に、回転探索部１１９は、回転現画像から(x2,y2)だけ平行移動した位置を中心とした参照画像内の画像を、拡大率5/4で拡大して得られた画像情報を、さらに+20度から-20度まで5度ずつ回転して画像情報を求め、メモリＭ２に蓄積された回転現画像との間の絶対値差分和が最も小さくなる回転角度情報を求める。得られた回転角度θ２が+10度であったとする。
ベクトル探索部１０６は、動きベクトルとして(x2,y2)を、回転角度θとして、θ＝−（メモリＭ２に蓄積された回転現画像の角度）＋θ２＝−４５＋１０＝−３５を、拡大率Ｚとして5/4を出力する。
【００５５】
動きベクトル入力部１０７は動きベクトル(x2,y2)を、回転角度入力部１０８は回転角度θを、拡大率入力部１０９は拡大率Ｚを、それぞれ動き補償部１０５に入力する。
動き補償部１０５は参照画像メモリ１０４に蓄積された参照画像から予測画像を作成する。予測画像の画素位置(a,b)に対する参照画像内の位置(c,d)は次式（６）によって計算される。
【数６】
符号化部１０２は現画像と予測画像から予測誤差を求めて符号化する。復号部１０３は符号化データと予測画像から復号画像を作成する。
動きベクトル符号化部１１０は動きベクトル(x2,y2)を符号化し、回転角度符号化部１１１は回転角度θを符号化し、拡大率符号化部１１２は拡大率Ｚを符号化する。
以上の手順をすべてのマクロブロックに対して繰り返し処理する。最後のマクロブロックで上記と同様な処理を行った後、復号部１０３は復号画像を参照画像メモリ１０４に蓄積する。
【００５７】
次に、本実施の形態に係る画像復号方法を実施するための画像復号装置について説明する。図１及び図２に示した画像符号化装置により符号化された画像データを復号する画像復号装置の構成を図７に示す。同図において、画像復号装置は、前フレームの復号画像を蓄積する参照画像メモリ１０４と、動きベクトルを復号する動きベクトル復号部１２０と、回転角度を復号する回転角度復号部１２１と、拡大率を復号する拡大率復号部１２２と、復号された動きベクトル、回転角度及び拡大率を使って参照画像メモリ１０４に蓄積された復号画像から、予測画像を作成する動き補償部１０５と、予測画像を使って符号化データを復号する復号部１０３とを有している。
【００５８】
次に、図１に示した画像符号化装置により得られた符号化データを復号する手順について説明する。
画像復号装置により入力された符号化データは、マクロブロック毎に次のように復号される。すなわち、動きベクトル復号部１２０は符号化データの中から図４に示したルックアップテーブルを使って動きベクトルを復号する。
回転角度復号部１２１は符号化データの中から図５に示したルックアップテーブルを使って回転角度を復号する。
【００５９】
拡大率復号部１２２は符号化データの中から図６に示したルックアップテーブルを使って拡大率を復号する。
動き補償部１０５は動きベクトル復号部１２０、回転角度復号部１２１、拡大率復号部１２２より得られた動きベクトル(x2,y2)、回転角度θ、拡大率Ｚを使って予測画像を作成する。
予測画像の画素位置(a,b)に対する参照画像内の位置(c,d)は上式（６）によって計算される。
【００６０】
復号部１０３は予測画像を使って符号化データを復号する。
以上の手順をすべてのマクロブロックに対して繰り返し処理する。最後のマクロブロックで上記と同様な処理を行った後、復号部１０３は復号画像を参照画像メモリ１０４に蓄積する。
なお、本実施形態では、予め定めた複数パターンの回転角度に従って現画像を回転した画像である回転現画像を作り、それぞれにおいて動き探索を行ったが、回転ではなく拡大した現画像を使う方法や、回転と拡大の両方を行った現画像を使う方法も好適である。
【００６１】
回転と拡大の両方を使う場合には、図８にその構成例を示すように、ベクトル探索部１０６では、回転現画像作成部１１４の代わりに、予め設定された複数パターンの回転角度情報と拡大率情報に従って入力画像から回転しかつ拡大した画像情報を作成する拡大回転現画像作成部１２３を設け、回転現画像メモリ１１５の代わりに、拡大回転現画像作成部１２３で作成された複数の画像情報を蓄積する拡大回転現画像メモリ１２４を設け、回転選択部１１６の代わりに、拡大回転現画像メモリ１２４に蓄積された画像情報の何れかから１つの画像情報を選択する拡大回転選択部１１３を設けるように構成すればよい。
【００６２】
また、本実施形態では、現画像の位置からの平行移動量を動き探索部１１７で求め、次に参照画像の拡大率を拡大探索部１１８で求め、次に詳細な回転角度を回転探索部１１９で求めた。
しかし、拡大探索部１１８と回転探索部１１９を備えない構成も可能である。この場合には、予め定めた回転角度情報に従って作成した回転現画像毎に、参照画像内で動き探索を行い、最も差分の小さい平行移動量と回転角度情報を求めることができる。
【００６３】
この場合には画像符号化装置には、拡大率入力部１０９と拡大率符号化部１１２は不要である。また、画像復号装置には、拡大率復号部１２２は不要である。
また、拡大探索部１１８と回転探索部１１９の実行する順序を入れ替えることも可能である。
このように本実施形態によれば、画面内のある領域が回転あるいは拡大するような画像において、回転現画像を使って平行移動量を探索することができる。したがって、参照フレーム内の画像全体を回転する必要が無くデータ処理量を低減することができる。
【００６４】
次に、本発明の第２の実施形態に係る画像符号化方法及び画像復号方法について説明する。本実施形態に係る画像符号化方法は、複数パターンの回転角度情報を予め用意しておき、回転した現画像を使って平行移動量を探索するものであるが、探索とフレーム間予測符号化の両方で回転現画像を使うことを特徴としている。
まず、本実施形態に係る画像符号化方法を実施するための画像符号化装置について説明する。図９に本実施形態に係る画像符号化装置の全体構成を示す。
【００６５】
本実施形態に係る画像符号化装置は、画像を入力する画像入力部１０１と、予め設定された複数パターンの回転角度情報に従って入力画像から回転した画像情報を作成する回転現画像作成部１１４と、回転現画像作成部１１４で作成された複数の画像情報を蓄積する回転現画像メモリ１１５と、回転現画像メモリ１１５に蓄積された画像情報の何れかから１つの画像情報を選択する（以後、選択された画像を回転現画像と呼ぶ）回転選択部１１６と、回転選択部１１６で選択される回転現画像の画像情報を使いながら、回転現画像と参照画像内の画像情報との差分が最も小さくなる平行移動量と回転角度を探索する回転角度動き探索部１２７と、平行移動量を示す動きベクトルから予測画像を作る回転現画像フレーム間予測部１２５と、予測画像を使って回転現画像を符号化する符号化部１０２と、予測画像を使って符号化データを復号する復号部１０３と、復号部１０３で得られる画像を回転して復号画像を得る復号画像回転部１２６と、復号画像を蓄積する参照画像メモリ１０４と、動きベクトルを符号化する動きベクトル符号化部１１０と、回転角度を符号化する回転角度符号化部１１１とを有している。
【００６６】
回転現画像作成部１１４では、入力画像をマクロブロック毎に右９０度、左９０度、右１８０度に回転した整数位置の画像情報を作るものとする。回転軸は図３に示した右上の輝度ブロックにおける左下の整数画素位置である。回転角度θで回転した整数位置(a1,b1)の画像情報は、入力画像における式（４）で示される位置(c1,d1)の画像情報となる。回転現画像メモリ１１５にはマクロブロック４つの入力画像を蓄積できるものとし、メモリＭ１，Ｍ２，Ｍ３，Ｍ４で構成されるものとする。
【００６７】
動きベクトル符号化部１１０は図１４と同様なルックアップテーブルを使って動きベクトル情報を可変長符号化する。回転角度符号化部１１１は、図５に示したルックアップテーブルを使って符号化する。回転角度動き探索部１２７では差分の評価尺度として絶対値差分和Wを使うものとする。
【００６８】
このような前提で現画像をマクロブロック単位に次のように符号化する。
回転現画像作成部１１４は入力画像を回転現画像メモリ１１５のメモリＭ１に蓄積し、入力画像から右９０度回転した画像を作成して回転現画像メモリのメモリＭ２に蓄積する。
さらに、回転現画像作成部１１４は入力画像から左９０度回転した画像を作成して回転現画像メモリのメモリＭ３に蓄積し、入力画像から右１８０度回転した画像を作成して回転現画像メモリのメモリＭ４に蓄積する。
【００６９】
続いて、回転選択部１１６は、回転現画像メモリ１１５内のメモリＭ１に蓄積された画像を回転現画像として選択し、回転角度動き探索部１２７はそれを現画像にして参照画像内の平行移動量を探索する。探索された平行移動位置を(x1,y1)，絶対値差分和をWM1とする。
次に、回転選択部１１６は、回転現画像メモリ１１５内のメモリＭ２に蓄積された画像を回転現画像に選択し、回転角度動き探索部１２７はそれを現画像にして参照画像内の平行移動量を探索する。探索された平行移動位置を(x2,y2)、絶対値差分和をWM2とする。
【００７０】
以上の処理を繰り返し、回転現画像メモリ１１５内のメモリＭｉに蓄積された画像に対して平行移動量(xi,yi)と絶対値差分和WMiを求める。そして、絶対値差分和WM1〜WM5の最小値を求め、絶対値差分和が最小値となる回転現画像を求める。
ここでは例えば、絶対値差分和WM2が最小値となったとする。したがって、回転角度θとして右９０度、動きベクトルとして(x2,y2)が得られる。
回転現画像フレーム間予測部１２５は参照画像メモリ１０４に蓄積された参照画像から、動きベクトル(x2,y2)を使い予測画像を作成し、メモリＭ２に蓄積された回転現画像との間で予測誤差を求める。
【００７１】
符号化部１０２は予測誤差を符号化する。復号部１０３は符号化データと予測画像から画像を作成する。
復号画像回転部１２６は、復号部１０３で得られた画像を回転角度−θだけ、すなわち左９０度回転して復号画像を求める。
動きベクトル符号化部１１０は動きベクトル(x2,y2)を符号化し、回転角度符号化部１１１は回転角度θを符号化する。
以上の手順をすべてのマクロブロックに対して繰り返し処理する。最後のマクロブロックで上記と同様な処理を行った後、復号画像回転部１２６は復号画像を参照画像メモリ１０４に蓄積する。
【００７２】
次に、図９に示した画像符号化装置により符号化された画像データを復号する画像復号装置の構成を図１０に示す。同図において、本実施形態に係る画像復号装置は、動きベクトルを復号する動きベクトル復号部１２０と、回転角度を復号する回転角度復号部１２１と、動きベクトルを使って参照画像メモリ１０４に蓄積された復号画像から、予測画像を作成して符号化データを復号する復号部１０３と、復号部１０３で得られた画像を回転して復号画像を求める復号画像回転部と１２６と、復号画像を蓄積する参照画像メモリ１０４とを有している。
【００７３】
次に、図９に示した画像符号化装置により得られた符号化データを復号する手順について説明する。
画像復号装置により入力された符号化データは、マクロブロック毎に次のように復号される。動きベクトル復号部１２０は符号化データの中から図１４に示したルックアップテーブルを使って動きベクトルを復号する。
回転角度復号部１２１は符号化データの中から図５に示したルックアップテーブルを使って回転角度を復号する。
復号部１０３は、動きベクトル(x2,y2)を使って予測画像を作成し、符号化データを復号する。
【００７４】
復号画像回転部１２６は復号部で得られた画像を回転角度−θ、すなわち左９０度回転して復号画像を得る。
以上の手順をすべてのマクロブロックに対して繰り返し処理する。最後のマクロブロックで上記と同様な処理を行った後、復号画像回転部１２６は復号画像を参照画像メモリ１０４に蓄積する。
なお、本実施形態では、予め定めた複数パターンの回転角度に従って現画像を回転した画像である回転現画像を作り、それぞれにおいて動き探索を行ったが、回転ではなく拡大した現画像を使う方法や、回転と拡大の両方を行った現画像を使う方法も好適である。
【００７５】
また、本発明の第１と第２の実施形態では、最後のマクロブロックを符号化した後に復号画像を参照画像メモリ１０４に蓄積したが、各マクロブロックの符号化毎に復号画像を参照画像メモリ１０４に蓄積しても良い。この場合には、現フレームの既に符号化されたマクロブロックの画像情報を使って予測画像を作成し、現マクロブロックを符号化することができる。
このように本発明の第１と第２の実施形態によれば、画面内のある領域が回転あるいは拡大するような画像において、回転現画像を使って平行移動量を探索することができる。
さらに、回転現画像と参照画像との間で予測誤差を作って符号化することができる。したがって、動き探索とフレーム間予測において、参照フレーム内の画像全体を回転する必要が無くデータ処理量を低減することができる。
【００７６】
また、図１、２、８（第１実施形態）または図９（第２実施形態）に示す画像符号化装置の機能、すなわち画像符号化方法を実現するための画像符号化プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像符号化処理を行ってもよい。
さらに、図７（第１実施形態）または図１０（第２実施形態）に示す画像復号装置の機能、すなわち画像復号方法を実現するための画像復号プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像復号処理を行ってもよい。
これらの場合においても、既述した第１、第２の実施の形態と同様の効果が得られる。
【００７７】
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）を含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００７８】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
また上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。
【００７９】
ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計事項等も含まれる。
【００８０】
【発明の効果】
以上に説明したように、本発明によれば、画面内のある領域が回転あるいは拡大するような画像において、回転現画像を使って平行移動量を探索することができる。
さらに、本発明によれば、回転現画像と参照画像との間で予測誤差を作って符号化することができる。したがって、動き探索とフレーム間予測とを行う場合において、参照フレーム内の画像全体を回転する必要が無くデータ処理量を低減することができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態に係る像符号化装置の全体構成を示すブロック図。
【図２】 図１に示した本発明の第１の実施の形態に係る像符号化装置におけるベクトル探索部の具体的構成を示すブロック図。
【図３】 画像符号化時に入力画像を回転、または拡大処理を行う際における画像領域上の回転・拡大軸を示す説明図。
【図４】 画像に対して回転処理を行った際の元の画素位置と回転後の画素位置との関係を示す説明図。
【図５】 画像の回転角度を可変長符号により符号化する際に使用するルックアップテーブルの例を示す説明図。
【図６】 画像の拡大率を可変長符号により符号化する際に使用するルックアップテーブルの例を示す説明図。
【図７】 本発明の第１の実施形態に係る画像復号装置の構成を示すブロック図。
【図８】 本発明の第１の実施形態に係る画像装置において、画像の拡大と回転を予め行う場合のベクトル探索部の具体的構成を示すブロック図。
【図９】 本発明の第２の実施形態に係る画像符号化装置の構成を示すブロック図。
【図１０】 本発明の第２の実施形態に係る画像復号装置の構成を示すブロック図。
【図１１】 ブロックマッチングにおけるマクロブロックと探索位置との関係を示す説明図。
【図１２】 画像情報の線形補間の例を示す説明図。
【図１３】 １／２精度の画像情報を求めるフィルタ方法の例を示す説明図。
【図１４】 動きベクトルを可変長符号により符号化する際に使用するルックアップテーブルの例を示す説明図。
【図１５】 画像領域四隅の動きベクトルから任意位置の動きベクトルを補間する方法を示す説明図。
【符号の説明】
１０１ 画像入力部
１０２ 符号化部
１０３ 復号部
１０４ 参照画像メモリ
１０５ 動き補償部
１０６ ベクトル探索部
１０７ 動きベクトル入力部
１０８ 回転角度入力部
１０９ 拡大率入力部
１１０ 動きベクトル符号化部
１１１ 回転角度符号化部
１１２ 拡大率符号化部
１１３ 拡大回転選択部
１１４ 回転現画像作成部
１１５ 回転現画像メモリ
１１６ 回転選択部
１１７ 動き探索部
１１８ 拡大探索部
１１９ 回転探索部
１２０ 動きベクトル復号部
１２１ 回転角度復号部
１２２ 拡大率復号部
１２３ 拡大回転現画像作成部
１２４ 拡大回転現画像メモリ
１２５ 回転現画像フレーム間予測部
１２６ 復号画像回転部
１２７ 回転角度動き探索部
Claims (13)
- 現フレームの画像を分割した領域（以後、現領域と呼ぶ）毎に、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて符号化する画像符号化方法であって、
現領域毎に、現領域内の或る位置を原点とした、予め設定した第１の回転角度情報を使って、現フレームの画像情報から、回転された現画像（以後、回転現画像と呼ぶ）を作成する回転現画像作成ステップと、
回転現画像の画像情報と参照画像の画像情報との差分（以後，回転予測差分と呼ぶ）を計測し、回転予測差分が最も小さくなる、参照画像内の平行移動量を探索する回転動き探索ステップと、
参照画像内にて前記平行移動量だけ平行移動した位置を中心とした参照画像内の画像を回転して画像情報を求め、前記回転現画像の画像情報と参照画像の画像情報との差分を計測し、回転予測差分が最も小さくなる第２の回転角度情報を求める回転探索ステップと、
現領域毎に、参照画像内の或る位置を原点とし、第１及び第２の回転角度情報を加算した回転角度情報を使って、参照画像内の該原点を中心とした領域（以後、参照領域と呼ぶ）内の画像情報から予測画像を作成する回転動き補償ステップと、
現領域毎に、前記回転角度情報を符号化する回転角度符号化ステップと、
を有することを特徴とする画像符号化方法。 - 現フレームの画像を分割した領域（以後、現領域と呼ぶ）毎に、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて符号化する画像符号化方法であって、
現領域毎に、現領域内の或る位置を原点とした、予め設定した第１の回転角度情報を使って、現フレームの画像情報から、回転された現画像（以後、回転現画像と呼ぶ）を作成する回転現画像作成ステップと、
予め複数の第２の回転角度情報を設定しておき、各々の回転角度情報を使った回転現画像と参照画像内画像との回転予測差分が、最も小さくなる第２の回転角度情報を求める回転角度探索ステップと、
現領域毎に、参照画像内の或る位置を原点とし、第１及び第２の回転角度情報を加算した回転角度情報を使って、参照画像内の該原点を中心とした領域（以後、参照領域と呼ぶ）内の画像情報から予測画像を作成する回転動き補償ステップと、
現領域毎に、前記回転角度情報を符号化する回転角度符号化ステップと、
を有することを特徴とする画像符号化方法。 - 請求項１または請求項２に記載の画像符号化方法により符号化された前記現領域毎の符号化データを、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて復号する画像復号方法であって、
現領域毎に、回転角度情報を復号する回転角度復号ステップと、
符号化データを復号して画像を作成する復号ステップと、
前記復号ステップで得られた画像から該回転角度情報を使って復号画像を作成する復号画像回転ステップと、
を有することを特徴とする画像復号方法。 - 現領域毎に、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて符号化する画像符号化方法であって、
現領域毎に、現領域内の或る位置を原点とした、予め設定した拡大率情報を使って、現フレームの画像情報から、拡大縮小された現画像（以後，拡大現画像と呼ぶ）を作成する拡大現画像作成ステップと、
前記拡大現画像の画像情報と参照画像の画像情報との差分を計測し、拡大予測差分が最も小さくなる拡大率情報を求める拡大率探索ステップと、
拡大現画像の画像情報と参照画像の画像情報との差分（以後、拡大予測差分と呼ぶ）を計測し、拡大予測差分が最も小さくなる、参照画像内の平行移動量を探索する拡大動き探索ステップと、
現領域毎に、参照画像内の或る位置を原点とした拡大率情報を使って、参照画像内の該原点を中心とした領域内の画像情報から予測画像を作成する拡大動き補償ステップと、
現領域毎に、該拡大率情報を符号化する拡大率符号化ステップと、
を有することを特徴とする画像符号化方法。 - 現領域毎に、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて符号化する画像符号化方法であって、
現領域毎に、現領域内の或る位置を原点とした、予め設定した拡大率情報を使って、現フレームの画像情報から、拡大縮小された現画像（以後、拡大現画像と呼ぶ）を作成する拡大現画像作成ステップと、
予め設定された複数の拡大率情報各々を使った拡大現画像と参照画像内画像との拡大予測差分が、最も小さくなる拡大率情報を求める拡大率探索ステップと、
現領域毎に、参照画像内の或る位置を原点とした拡大率情報を使って、参照画像内の該原点を中心とした領域内の画像情報から予測画像を作成する拡大動き補償ステップと、
現領域毎に、該拡大率情報を符号化する拡大率符号化ステップと、
を有することを特徴とする画像符号化方法。 - 請求項４または請求項５に記載の画像符号化方法により符号化された前記現領域毎の符号化データを、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて復号する画像復号方法であって、
現領域毎に，拡大率情報を復号する拡大率復号ステップと、
符号化データを復号して画像を作成する復号ステップと、
前記復号ステップで得られた画像から該拡大率情報を使って復号画像を作成する復号画像拡大ステップと、
を有することを特徴とする画像復号方法。 - 現領域毎に、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて符号化する画像符号化装置であって、
現フレームの画像を入力する画像入力部と、
フレーム間予測符号化を使って現画像を符号化する符号化部と、
フレーム間予測符号化を使って符号化データを復号する復号部と、
現領域毎に、現領域内の或る位置を原点とした、予め設定した第１の回転角度情報を使って、現フレームの画像情報から、回転された現画像を作成する回転現画像作成部と、
回転現画像の画像情報と参照画像の画像情報との差分を計測し、回転予測差分が最も小さくなる第２の回転角度情報を求める回転動き探索部と
復号画像を蓄積する参照画像メモリと、
現領域毎に、参照画像内の或る位置を原点とし、第１及び第２の回転角度情報を加算した回転角度情報を使って、参照画像内の該原点を中心とした領域内の画像情報から予測画像を作成する回転動き補償部と、
現領域毎に、該回転角度情報を符号化する回転角度符号化部と、
を有することを特徴とする画像符号化装置。 - 現領域毎に、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて符号化する画像符号化装置であって、
現フレームの画像を入力する画像入力部と、
フレーム間予測符号化を使って現画像を符号化する符号化部と、
フレーム間予測符号化を使って符号化データを復号する復号部と、
復号画像を蓄積する参照画像メモリと、
現領域毎に、現領域内の或る位置を原点とした、予め設定した第１の回転角度情報を使って、現フレームの画像情報から、回転された現画像を作成する回転現画像作成部と、
予め設定した複数の第２の回転角度情報で作成された、複数の回転現画像を蓄積する回転現画像メモリと、
回転現画像メモリに蓄積された画像から１つを選択する回転選択部と、
各々の回転角度情報を使った回転現画像と参照画像内画像との回転予測差分が、最も小さくなる第２の回転角度情報を求める回転角度探索部と、
現領域毎に、参照画像内の或る位置を原点とし、第１及び第２の回転角度情報を加算した回転角度情報を使って、参照画像内の該原点を中心とした領域内の画像情報から予測画像を作成する回転動き補償部と、
現領域毎に、該回転角度情報を符号化する回転角度符号化部と
を有することを特徴とする画像符号化装置。 - 請求項７または請求項８に記載の画像符号化装置により符号化された前記現領域毎の符号化データを、既に符号化した領域あるいはフレームの画像情報との間の予測誤差を用いて復号する画像復号装置であって、
フレーム間予測符号化を使って符号化データを復号する復号部と、
現領域毎に、回転角度情報を復号する回転角度復号部と、
前記復号部で得られた画像から該回転角度情報を使って復号画像を作成する復号画像回転部と、
復号画像を蓄積する参照画像メモリと、
を有することを特徴とする画像復号装置。 - 請求項１，２、４，５のいずれかに記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラム。
- 請求項３，６のいずれかに記載の画像復号方法をコンピュータに実行させるための画像復号プログラム。
- 請求項１，２、４，５のいずれかに記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 請求項３，６のいずれかに記載の画像復号方法をコンピュータに実行させるための画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001345117A JP3898031B2 (ja) | 2001-11-09 | 2001-11-09 | 画像符号化方法及び装置、画像復号方法及び装置、プログラム及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001345117A JP3898031B2 (ja) | 2001-11-09 | 2001-11-09 | 画像符号化方法及び装置、画像復号方法及び装置、プログラム及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003153273A JP2003153273A (ja) | 2003-05-23 |
| JP3898031B2 true JP3898031B2 (ja) | 2007-03-28 |
Family
ID=19158515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001345117A Expired - Fee Related JP3898031B2 (ja) | 2001-11-09 | 2001-11-09 | 画像符号化方法及び装置、画像復号方法及び装置、プログラム及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3898031B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005104564A1 (ja) | 2004-04-21 | 2005-11-03 | Matsushita Electric Industrial Co., Ltd. | 動き補償装置 |
| JP4542447B2 (ja) | 2005-02-18 | 2010-09-15 | 株式会社日立製作所 | 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法 |
| JP2011146980A (ja) * | 2010-01-15 | 2011-07-28 | Sony Corp | 画像処理装置および方法 |
| JP5010709B2 (ja) * | 2010-04-22 | 2012-08-29 | 日立コンシューマエレクトロニクス株式会社 | 画像の復号化装置 |
| JP5868909B2 (ja) * | 2013-08-07 | 2016-02-24 | 日立マクセル株式会社 | 復号化方法 |
| JP5913474B2 (ja) * | 2014-07-31 | 2016-04-27 | 日立マクセル株式会社 | 復号化方法 |
| JP6117302B2 (ja) * | 2015-09-07 | 2017-04-19 | 日立マクセル株式会社 | 復号化方法 |
| JP6222756B2 (ja) * | 2016-09-20 | 2017-11-01 | マクセルホールディングス株式会社 | 復号化方法 |
| JP6364462B2 (ja) * | 2016-09-20 | 2018-07-25 | マクセル株式会社 | 復号化装置及び復号化方法 |
| EP3518534B1 (en) | 2016-09-26 | 2023-05-17 | Sony Group Corporation | Encoding device, encoding method, decoding device, decoding method, transmission device, and reception device |
| JP6523495B2 (ja) * | 2018-01-12 | 2019-06-05 | マクセル株式会社 | 復号化方法 |
-
2001
- 2001-11-09 JP JP2001345117A patent/JP3898031B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003153273A (ja) | 2003-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7004782B2 (ja) | 画像予測方法および関連装置 | |
| US20210099706A1 (en) | Processing of motion information in multidimensional signals through motion zones and auxiliary information through auxiliary zones | |
| TWI572196B (zh) | 用於次世代視訊編碼之投射式內插預測產生之技術 | |
| CN104967852B (zh) | 通过帧内预测来对图像进行编码和解码的方法和设备 | |
| JP3277111B2 (ja) | 動画像符号化装置および動画像復号化装置 | |
| JP2021182752A (ja) | 画像予測方法および関連装置 | |
| JP4596718B2 (ja) | 適応動きベクトル場符号化 | |
| JP3898031B2 (ja) | 画像符号化方法及び装置、画像復号方法及び装置、プログラム及び記録媒体 | |
| BR112020002656A2 (pt) | método, aparelho, e dispositivo de codificação e decodificação de imagem de vídeo | |
| JP3681342B2 (ja) | 映像コーディング方法 | |
| JP2022530172A (ja) | 適応解像度ビデオ符号化のためのインター符号化 | |
| Wang et al. | Spherical coordinates transform-based motion model for panoramic video coding | |
| JP4015532B2 (ja) | 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびそのプログラムを記録した記録媒体 | |
| US20090051679A1 (en) | Local motion estimation using four-corner transforms | |
| Chung et al. | Effective content-aware chroma reconstruction method for screen content images | |
| JP3654664B2 (ja) | 画像符号化装置及び画像復号装置 | |
| JP3513277B2 (ja) | 映像符号化装置及び映像復号化装置 | |
| JP3734488B2 (ja) | 画像符号化装置 | |
| JP2007312425A (ja) | 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびそれらのプログラムを記録した記録媒体 | |
| JP2005333663A (ja) | 動き補償予測方法 | |
| JP2021507593A (ja) | 全方位ビデオを表すマルチビュービデオシーケンスを符号化及び復号化する方法及びデバイス | |
| JP2003125411A (ja) | 画像符号化装置、画像復号装置並びにその方法及び画像符号化プログラム、画像復号プログラム | |
| JP2004173130A (ja) | 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびそれらのプログラムを記録した記録媒体 | |
| CN118077203A (zh) | 具有明确信示的扩展旋转的经扭曲的运动补偿 | |
| JP2003299101A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像符号化プログラムを記録した記録媒体、動画像復号プログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040116 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040712 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060704 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060828 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061003 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061120 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061220 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110105 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120105 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130105 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |