JP4682410B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP4682410B2 JP4682410B2 JP2000312309A JP2000312309A JP4682410B2 JP 4682410 B2 JP4682410 B2 JP 4682410B2 JP 2000312309 A JP2000312309 A JP 2000312309A JP 2000312309 A JP2000312309 A JP 2000312309A JP 4682410 B2 JP4682410 B2 JP 4682410B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- picture
- discarded
- discarding
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報を示すビットストリームを、衛星放送、ケーブルＴＶ、インターネットなどのネットワークメディアを介して受信する際に、若しくは光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる、画像処理装置及び画像処理方法に関するものである。
【０００２】
【従来の技術】
近年、画像情報をデジタルデータとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ １３８１８−２）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準方式で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに今後とも用いられるものと予想される。ＭＰＥＧ２の圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像や、４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば、１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００４】
ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われる。これに対応して、ＭＰＥＧ４符号化方式の標準化が行われた。ＭＰＥＧ４の画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ １４４９６−２としてその規格が国際標準として承認された。
【０００５】
ところで、ディジタル放送用に一度符号化されたＭＰＥＧ２の画像圧縮情報を示すビットストリームを、携帯端末上等で処理するのにより適した、より低い符号量（ビットレート）のＭＰＥＧ４の画像圧縮情報を示すビットストリームに変換したいというニーズがある。
【０００６】
かかる目的を達成する画像情報変換装置の従来例を図１に示し、以下これについて説明する。この図１の画像情報変換装置は、入力されたＭＰＥＧ２の画像圧縮情報を示すビットストリームを、ＭＰＥＧ４の画像圧縮情報を示すビットストリームへ変換する装置である。すなわち、入力されたＭＰＥＧ２の画像圧縮情報を示すビットストリームは、ＭＰＥＧ２の画像復号化装置１により復元される。復元された画像信号は、解像度・フレームレート変換装置２へ伝送され、任意の異なる解像度及びフレームレートを持つ画像信号に変換される。変換された画像信号は、ＭＰＥＧ４の画像符号化装置３に入力され、ＭＰＥＧ４の画像情報符号化装置３によりＭＰＥＧ４の画像圧縮情報を示すビットストリームに符号化されて出力される。
【０００７】
従来の画像情報変換装置では図１に示したように、ＭＰＥＧ２の復号化方式により復元された画像信号を、ＭＰＥＧ４の画像符号化装置により符号化し、ＭＰＥＧ４の画像圧縮情報を示すビットストリームを出力する。ＭＰＥＧ２の画像情報復号化装置１においては、水平及び垂直方向成分ともに、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームの８次のＤＣＴ（離散コサイン変換）係数すべてを用いた復号処理を行うことが考えられる。しかし、垂直方向には８次の係数すべてを用いるもの、水平方向には８次係数のうち低域４成分のみを用いた復号処理（以下これを４×８ダウンデコードと呼ぶ）、若しくは、水平、垂直方向ともに水平方向には８次係数のうち低域４成分のみを用いた復号処理（以下これを４×４ダウンデコードと呼ぶ）を行うことで、画質劣化を最小限に抑えながら、演算量とビデオメモリ容量を削減し、更に後段のダウンサンプリング処理を簡略化する構成も考えられる。
【０００８】
このような従来方法では、ＭＰＥＧ４の画像符号化装置において、入力された画像信号を符号化する際、動きベクトルを検出する演算処理量は、全演算処理量の約６０〜７０パーセントを占める。そのため、画像のリアルタイムでの処理が困難となり、時間遅延が発生する、装置が大規模になってしまう等の問題点を生じる。
【０００９】
かかる問題を解決する手段として、筆者らは先に、図２に示した画像情報変換装置（本願出願時未公知）（先行例）を提案した。
【００１０】
ところで、図３は、ＭＰＥＧ２の画像圧縮情報を示すビットストリーム中の動きベクトルと、ＭＰＥＧ４の画像圧縮情報を示すビットストリーム中の動きベクトルの相関を示す図である。図３Ａ、Ｂは、解像度変換前及び後の現フレームの画像をそれぞれ示す。画像の解像度が変換される際、変換後の前フレームでの位置から現フレームでの位置への動きベクトルの水平成分は、解像度変換前の動きベクトルの水平成分と、画像の横方向の解像度変換レートによって求めることができる。解像度変換後の垂直成分は、解像度変換前の動きベクトルの垂直成分と、画像の縦方向の解像度変換レートによって求められる。すなわち、解像度変換前の動きベクトルと、変換後の動きベクトルと大きな相関を持つ。その相関を利用し、解像度変換前の動きベクトルから変換後の動きベクトルを求めることができる。
【００１１】
すなわち、図２の画像情報変換装置では、入力されたＭＰＥＧ２の画像圧縮情報を示すビットストリームを、ＭＰＥＧ２のマクロブロックの動きベクトルやマクロブロックタイプ等のパラメータを利用して、ＭＰＥＧ４の動きベクトルへ簡潔に変換する。ＭＰＥＧ４の画像情報符号化装置７内では、動きベクトルの検出を行わず、変換された動きベクトルを用いた画像符号化を行う。結果として、ＭＰＥＧ４の画像符号化装置内での動き検出を行わないため、処理量が大幅に減らされる。
【００１２】
このようにＭＰＥＧ２の動きベクトルから、ＭＰＥＧ４の動きベクトルへの変換を行うこと、また動きベクトル以外にも、ＭＰＥＧ２での復号に用いたパラメータ、若しくは変換した後のパラメータを採用することにより、ＭＰＥＧ４の画像情報符号化装置７の処理量が減らされるので、この装置７による信号の時間遅延を少なくすることができる。
【００１３】
図３において、入力されたＭＰＥＧ２の画像圧縮情報を示すビットストリームは、図２のＭＰＥＧ２の画像情報復号化装置４において、復号化処理が施されて、ＭＰＥＧ４の画像圧縮情報を示すビットストリームが出力される。ＭＰＥＧ２の画像情報復号化装置４においては、水平及び垂直方向成分ともに、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームの８次のＤＣＴ係数すべてを用いた復号処理を行うことが考えられるが、４×８ダウンデコード、若しくは４×４ダウンデコードを行うことで、画質劣化を最小限に抑えながら、演算量とビデオメモリ容量を削減し、更に後段のダウンサンプリング処理を簡略化する構成も考えられる。復号化装置４より出力された画像信号が、解像度フレームレート変換装置５へ送られ、解像度・フレームレート変換を行った後、外部から入力された画像サイズ調整フラグにより、ＭＰＥＧ４の画像符号化に適した解像度を持つ画像信号が出力される。
【００１４】
ここで、解像度フレームレート変換装置５では、まず、ＭＰＥＧ２の画像復号化装置４より入力された画像信号を、解像度フレーム変換器によって解像度変換を行う。ここでは、縦・横とも解像度を１／２にする場合を例に挙げる。図４に示しているように、縦方向のダウンサンプリングは、入力された飛び越し走査画像の第一フィールド、若しくはを第二フィールドを抽出し、順次走査画像に変換する。横方向は、ダウンサンプリングフィルタを用いて、１／２の解像度に変換する。また、低ビットレートを実現するために、解像度の変換による圧縮だけではなく、Ｉ／Ｐピクチャのみ第一フィールド若しくは第二フィールドを抜き出し、時間方向においてフレームレートを落とす。たとえば、図４に示したＭＰＥＧ２のＩＢＢＰの画像は解像度・フレーム変換後、ＩＰの第一フィールドの構成になる。解像度・フレーム変換を行った画像は、ＭＰＥＧ４の画像符号化方式により符号化できるように、縦、横の画素数がともに１６の倍数にする。そのため、外部から入力される画像サイズ調整フラグにより、画素の補填あるいは画素の除去回路によって、画素の補填あるいは画素の除去を行う。
【００１５】
画像サイズ調整フラグは、解像度フレームレート変換装置５の外部から入力され、画像の縦・横の画素数が１６の倍数でない場合に対し、画像への画素補填若しくは、除去を判別するためのフラグである。
【００１６】
図５を参照して、画像サイズ調整フラグによる画像への処理を説明する。ＭＰＥＧ２の画像復号化装置４より出力された画像の解像度がｍ画素×ｎ画素であるとすると、ｍ、ｎは共に１６の倍数であるが、縦、横ともに１／２にダウンサンプリングされたｍ／２，ｎ／２は、１６の整数倍、若しくは、１６で割って８画素の余りがある。ｍ／２，ｎ／２が共に１６の倍数の場合においては、ＭＰＥＧ４の符号化方式に適する画像になっているため、画像への処理は行わない。それ以外は、ＭＰＥＧ４符号化方式に適しないため、画像サイズ調整フラグによる画像への処理が必要となる。画像サイズ調整フラグには、画素の補填と除去の二つの選択肢を持つ。ｍ／２若しくはｎ／２を１６で割って、８画素が余った場合においては、画像の除去を選択すれば、余った８画素を除去する。すなわち、出力画像は（ｍ／２−８）若しくは（ｎ／２―８）となる。一方画素の補填を選択すれば、新たに作成した８画素若しくは元の画像から複製した８画素若しくは画像に適した８画素を行い、あるいは列の先頭若しくは、後部から付け加える。
すなわち、出力画像は（ｍ／２＋８）若しくは（ｎ／２＋８）となる。結果として、変換後の画像解像度の横と縦は１６の倍数となり、ＭＰＥＧ４の符号化方式に適したサイズを持つ画像が出力される。
【００１７】
一方、入力されたＭＰＥＧ２の画像圧縮情報を示すビットストリームは、ＭＰＥＧ２の画像復号化装置４では、可変長符号の復号化を行った後、Ｐピクチャのみのマクロブロック動きベクトルやマクロブロックタイプなどその他のパラメータが取り出され、動きベクトル変換装置６へ伝送される。
【００１８】
動きベクトル変換装置６における動きベクトル変換方法を、図６を用いて説明する。図６Ａおよび、図６Ｂの実線で区切られている各正方格子の一つ一つがマクロブロックを示している。図６ＡはＭＰＥＧ２の復号化装置４より出力された画像、すなわち、解像度変換前の画像である。図６Ｂは図６Ａの画像を解像度フレームレート変換装置５により、縦・横の解像度とも１／２に変換された画像である。たとえば、変換前の図６Ａの左上の斜線の付された１６×１６マクロブロックは、図６Ｂの左上の斜線の付された８×８ブロックに変換される。すなわち、図６Ａに示した４つの網掛けされた１６×１６マクロブロックが、解像度変換された後、それぞれ図６Ｂに示した４つの網掛けされた８×８ブロックに変換され、それらによって１つの１６×１６マクロブロックが構成される。解像度変換前と後の動きベクトルの相関が大きいため、変換後の８×８ブロックの動きベクトルは、変換前の１６×１６マクロブロックの動きベクトルより求めることができる。さらに、４つの８×８の動きベクトルから１つの１６×１６の動きベクトルを求め、ＭＰＥＧ４の画像符号化方式により符号化するのに用いる動きベクトルの４つの８×８の動きベクトルと、１つの１６×１６の動きベクトルが生成される。
【００１９】
図２の画像情報変換装置における動きベクトル変換装置６の詳細ブロック図を示す図７を参照して、動きベクトル変換の動作原理を説明する。入力されたＭＰＥＧ２の画像圧縮情報を示すビットストリーム中の動きベクトル、画像サイズなどのパラメータは、ＭＰＥＧ２の１６×１６の動きベクトル→ＭＰＥＧ４の８×８の動きベクトル変換装置８によって、補整前の８×８の動きベクトルが作成される。
【００２０】
図８のフローチャートを参照して、このＭＰＥＧ２の１６×１６の動きベクトル→ＭＰＥＧ４の８×８の動きベクトル変換装置８の動作原理を説明する。入力されたＭＰＥＧ２のマクロブロックの動きベクトルとマクロブロックタイプに対し、ＭＰＥＧ２の１６×１６の動きベクトル→ＭＰＥＧ４の８×８の動きベクトル変換装置８は次のように動作する。飛び越し走査のＭＰＥＧ２の画像圧縮情報を示すビットストリームにおいては、一般的にフレーム構造が用いられるため、今回はフレーム構造の場合への処理のみの変換方法を説明する。
【００２１】
ステップＳＴ−１で、入力されたＭＰＥＧ２のマクロブロックの動きベクトルとマクロブロックタイプに対し、イントラマクロブロック、スキップマクロブロック及びインターマクロブロックのいずれであるかの判別を行う。イントラマクロブロックである場合には、ＭＰＥＧ２のイントラマクロブロックは、解像度変換後の８×８ブロックが動きベクトルを持つことを想定する。その処理としては、ステップＳＴ−２で、まず８×８の動きベクトルを０に設定し、さらに、補整器１１による処理を行うため、イントラモードフラグを設ける。ＭＰＥＧ２では、イントラマクロブロックである場合、イントラモードフラグが立つ。
【００２２】
スキップマクロブロックである場合には、ステップＳＴ−３で、各ブロックの動きベクトルを０と設定する。
【００２３】
図９を参照して、インターマクロブロックである場合における、画像がフレーム構造、フレーム予測である場合の動きベクトル変換の概念を説明する。図９Ａは解像度変換前を、図９Ｂは解像度変換後をそれぞれ示す。図３で説明したように、変換後の動きベクトルの水平成分は変換前の動きベクトルの水平成分と画像の横方向の解像度変換レートから求められる。垂直成分は変換前の動きベクトルの垂直成分と画像の縦方向の解像度変換レートから求められる。すなわち、横方向の解像度を１／２に変換した際、変換後の動きベクトルの水平成分も変換前の１／２になる。縦方向の解像度を１／２に変換した際、変換後の動きベクトルの垂直成分も変換前の１／２になる。
【００２４】
図９に示した動きベクトルは、たとえば、変換前の（８，１２）から変換後の（４，６）になる。尚、この場合は、整数画素の中間値（半画素）の間隔を１としている。図には、図９Ａの解像度変換前では、黒丸は整数画素の位置を示し、菱形は半画素の位置を示している。図９Ｂの解像度変換後では、半画素を白丸で示す。図からわかるように、変換前整数画素の位置に示している動きベクトルは、変換後整数画素若しくは半画素の位置に示すが、変換前半画素の位置に示している動きベクトルは解像度変換後参照する画素がなくなる。そこで、変換前の動きベクトルが半画素の位置を示している場合、変換後の動きベクトルも予測画像の半画素の位置を示すようにする。それは本来、復号化された画像信号には、量子化による歪みが含まれているため、そのまま予測画像として使用すると予測効率が低下し、画質劣化を引き起こす場合がある。これを低減するために、低域通過フィルタに相当する参照画面での各画素間を１：１で直線補間した半画素精度を選択される場合もあり、これにより、画質劣化を避けることができる。従って、ＭＰＥＧ４の画像符号化方式による符号化も、予測効率を向上し、画質劣化を防ぐために、ＭＰＥＧ４で動きベクトルが半画素の位置に示している場合、ＭＰＥＧ４のフォーマットに変換した際も半画素の位置に示すように変換する。変換前と変換後の動きベクトルの対応関係を図１０の表図に示す。
【００２５】
次に、画像がフレーム構造でフィールド予測である場合だが、まず、第一フィールド予測である時について、図１１に動きベクトル変換の概念図を示す。動きベクトルの水平成分は、図１０と同様な処理を行われる。垂直方向は、第一フィールドを抽出することにより、解像度を１／２に変換することを可能とする。また、予測も第一フィールド予測を行っているため、変換前の動きベクトルは、そのまま変換後の動きベクトルになる。
【００２６】
第二フィールド予測である場合の動きベクトル変換の概念図を図１２及び図１３に示す。解像度変換した際、第一フィールドのみが抽出されるため、変換後は第一フィールドの画素値を参照画像として用いる。そのため、ＭＰＥＧ２で予測画像として用いた第二フィールドの画素値を、解像度変換後の第一フィールド予測に変換するように、動きベクトルの時空間補整を行う。図１２は、第二フィールド予測から近似的に第一フィールド予測に変換するための空間的な補整を行う手法を示した図である。図１２Ａは解像度変換前を、図１２Ｂは解像度変換後をそれぞれ示す。すなわち、動きベクトルの垂直成分に１を加える。図からわかるように、第二フィールド予測で求めた動きベクトルの垂直成分に１を足すと、１行を繰り上げられることによって、第二フィールドが第一フィールドと同様の空間位置に達し、空間上で、第一フィールド予測で求めた動きベクトルのようになる。数１の式は空間補整により、第一フィールドと同様な空間位置にある第二フィールド、すなわち近似第一フィールドを予測とした時、動きベクトルＭＶtop の垂直成分を表している。
【００２７】
【数１】
垂直成分：近似ＭＶtop ＝ＭＶbottom＋１
【００２８】
また、飛び越し走査のＭＰＥＧ２の画像圧縮情報には第一フィールドと第二フィールドとで時間ずれがある。そのため、第二フィールドから近似された第一フィールドと実際の第一フィールドとの時間ずれの補整を行う。図１３は各フィールドの時間的位置関係を示している。ここで、第一フィールドと第二フィールドの間隔を１とし、ａをＩピクチャの第二フィールドとＰピクチャの第一フィールドの間隔とすると、ａは１，３，５，７，‥‥‥‥‥‥のような奇数になる。尚、ａが１の場合は、画像の構成がＩＰＰＰ‥‥‥‥‥‥の場合である。時間補整した動きベクトルＭＶ′を、数２の式に示す。
【００２９】
【数２】
垂直成分：ＭＶ′＝｛（ａ＋１）／ａ｝近似ＭＶtop
【００３０】
数１の式を数２の式に代入すると、変換後の動きベクトルの垂直成分は数３の式のようになる。
【００３１】
【数３】
垂直成分：ＭＶ′＝｛（ａ＋１）／ａ｝（ＭＶbottom＋１）
【００３２】
尚、変換後の動きベクトルの水平成分は、変換前の動きベクトルに（ａ＋１）／ａを乗じ、時間的な補整を行った後、図１０の表図に示す計算に従って求められる。
【００３３】
動きベクトルの垂直成分に対して、場合により、時間的補整を行った後、空間的な補整を行ってもよい。その場合、動きベクトルＭＶ′の垂直成分を、数４の式に示す。尚、水平成分は空間・時間補整（空間補整が行ってから時間補整を行う）と時間・空間補整（時間補整が行ってから空間補整を行う）は同様な値となる。
【００３４】
【数４】
垂直成分：ＭＶ′＝｛（ａ＋１）／ａ｝ＭＶbottom＋１
【００３５】
数３の式と数４の式の差、すなわち、空間・時間補整を行った場合と、時間・空間補整を行った場合の動きベクトルの垂直成分の差は１／ａになる。従って、ａの値によって、その差による影響が異なるので、ａが１の場合と、１より大きい、すなわち３，５，７，‥‥‥‥‥‥の２つの場合における補整方法を説明する。
【００３６】
まず、ａ＝１の場合について、数３の式のａに１を代入すると、動きベクトルの垂直成分は数５の式のようになる。
【００３７】
【数５】
垂直成分：ＭＶ′＝２×（ＭＶbottom＋１）
【００３８】
数４の式のａに１を代入すると、動きベクトルの垂直成分は数６の式のようになる。
【００３９】
【数６】
垂直成分：ＭＶ′＝２×（ＭＶbottom＋１）−１
【００４０】
その結果、変換前の動きベクトルＭＶbottomに０，１，２，‥‥‥‥‥‥を代入すると、数５の式による値は２，４，６，‥‥‥‥‥‥のような偶数になる。すなわち、空間・時間補整を行うと、変換前の動きベクトルは整数画素の位置に示しても、半画素の位置に示しても、変換後はすべて整数画素の位置に来る。また、数６の式による値は、１，３，５，‥‥‥‥‥‥のような奇数になる。すなわち、時間・空間補整を行うと、変換前の動きベクトルは整数画素の位置に示しても半画素の位置に示しても、変換後はすべて半画素の位置に来る。従って、変換前に整数画素の位置に示している動きベクトルは、変換後も整数画素の位置に来るようにする場合、空間・時間補整を行う。また、変換前の半画素の位置に示している動きベクトルは、変換後も半画素の位置に示すようにする場合、時間・空間補整を行う。すなわち、変換前の動きベクトルに対し、空間補整及び時間補整を交互に使用し、解像度変換後の動きベクトルに変換するか、若しくは、変換前の動きベクトルに対して、すべてが時間・空間補整を行う。
【００４１】
以上の動きベクトル変換処理が終了した後、補整前のＭＰＥＧ４の８×８の動きベクトルが出力される。出力された８×８の動きベクトルは、画像サイズ調整フラグによる動きベクトル調整器９（図７）に伝送され、外部より入力された画像サイズ調整フラグにより、画像サイズに適した動きベクトルを出力する。
【００４２】
画像サイズ調整フラグによる動きベクトル調整器９における動作を、図１４のフローチャートを参照して説明する。入力画像サイズｍ画素×ｎ画素に対して、ステップＳＴ−１１で、ｍ／２，ｎ／２が共に１６の倍数であるか否かを判別し、ｍ／２，ｎ／２が共に１６の倍数であれば、動きベクトル変換装置６から出力されたＭＰＥＧ４の８×８の動きベクトルを、処理することなくそのまま出力する。ｍ／２，ｎ／２のいずれかが１６の倍数でない場合、外部から入力された画像サイズ調整フラグが作動し、ステップＳＴ−１２で画素除去か否かが判別され、画素除去の場合は、除去された８画素の８×８の動きベクトルを出力しないで、他の８×８の動きベクトルを出力する。画素除去でない場合は、ステップＳＴ−１３で、画素補填か否かの判別を行い、画素補填の場合は、補填された８画素の８×８の動きベクトルを０に設定し、他の入力された８×８の動きベクトルと合わせて出力される。
【００４３】
再び図７に戻って説明する。画像サイズ調整フラグによる動きベクトル調整器９より出力された画像サイズに適した８×８の動きベクトルは、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１０、あるいは図１６のＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１２によって変換される。
【００４４】
図７の動きベクトル変換装置１０においては、マクロブロックを構成する４つのブロックの中、イントラでないマクロブロックから変換されたブロックの動きベクトルの和をイントラでないマクロブロックから変換されたブロックの数で割った平均を１６×１６の動きベクトルとして出力する。
【００４５】
図１６に戻って説明する。第一の方法として、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１５においては、ＭＰＥＧ２ １６×１６の動きベクトル→ＭＰＥＧ４の８×８の動きベクトル変換装置１２において生成された、当該マクロブロックに対するＭＰＥＧ４の８×８の動きベクトルのうち、もっとも符号化効率が高いと考えられるマクロブロックより生成されたものを選択し、ＭＰＥＧ４の１６×１６の動きベクトルとして出力する。
【００４６】
符号化効率の判定は、マクロブロック情報バッファ１４に格納された、画像情報変換装置の入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおけるマクロブロック毎の情報を基に行う。
【００４７】
すなわち、第一の方法は、４つのマクロブロックのうち、最も非零ＤＣＴ係数の少ないマクロブロックを符号化効率が高いとする方法である。第二の方法は、４つのマクロブロックのうち、輝度成分のＤＣＴ係数に割り当てられたビット数の最も少ないマクロブロックを符号化効率が高いとする方法である。第三の方法は、４つのマクロブロックのうち、ＤＣＴ係数に割り当てられたビット数の最も少ないマクロブロックを符号化効率が高いとする方法である。第四の方法は、４つのマクロブロックのうち、動きベクトル等を含めた、マクロブロックに割り当てられた全ビット数の最も少ないマクロブロックを符号化効率が高いとする方法である。第五の方法は、４つのマクロブロックのうち、割り当てられた量子化スケールが最も小さいマクロブロックを符号化効率が高いとする方法である。第六の方法は、４つのマクロブロックのうち、コンプレクシティの最も低いマクロブロックを符号化効率が高いとする方法である。各マクロブロックに割り当てられたコンプレクシティＸは、そのマクロブロックに割り当てられた量子化スケールＱ、及びビット数Ｂを用いて、数７の式のように計算される。
【００４８】
【数７】
Ｘ＝Ｑ・Ｂ
【００４９】
ここで、Ｂは、マクロブロック全体に割り当てられたビット数でも良いし、ＤＣＴ係数に割り当てられたビット数でも良いし、輝度成分に割り当てられたＤＣＴ係数に割り当てられたビット数でも良い。
【００５０】
再び図１６に戻って説明する。第二の方法として、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１５においては、ＭＰＥＧ２の１６×１６の動きベクトル→ＭＰＥＧ４の８×８の動きベクトル変換装置１２において生成された、当該マクロブロックに対するＭＰＥＧ４の８×８の動きベクトルのうち、もっとも重み付けが高いと考えられるマクロブロックより生成されたものを２回重複して数え、合計５つの８×８の動きベクトルのうち、中間値の長さを持つ動きベクトルをもっとも符号化効率が高いと選択し、ＭＰＥＧ４の１６×１６の動きベクトルとして出力する。ここで動きベクトルの長さの比較は水平方向、垂直方向のそれぞれの長さの二乗根の和を用い、平方根を求める処理は省略する。
【００５１】
重み付けの判定は、マクロブロック情報バッファ１４に格納された、画像情報変換装置の入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおけるマクロブロック毎の情報を元に行う。
【００５２】
すなわち、第一の方法は、４つのマクロブロックのうち、最も非零ＤＣＴ係数の少ないマクロブロックを重み付けが高いとする方法である。第二の方法は、４つのマクロブロックのうち、輝度成分のＤＣＴ係数に割り当てられたビット数の最も少ないマクロブロックを重み付けが高いとする方法である。第三の方法は、４つのマクロブロックのうち、ＤＣＴ係数に割り当てられたビット数の最も少ないマクロブロックを重み付けが高いとする方法である。第四の方法は、４つのマクロブロックのうち、動きベクトル等を含めた、マクロブロックに割り当てられた全ビット数の最も少ないマクロブロックを重み付けが高いとする方法である。第五の方法は、４つのマクロブロックのうち、割り当てられた量子化スケールが最も小さいマクロブロックを重み付けが高いとする方法である。第六の方法は、４つのマクロブロックのうち、コンプレクシティの最も低いマクロブロックを重み付けが高いとする方法である。各マクロブロックに割り当てられたコンプレクシティＸは、そのマクロブロックに割り当てられた量子化スケールＱ、及びビット数Ｂを用いて以下のように計算される。
【００５３】
【数８】
Ｘ＝Ｑ・Ｂ
【００５４】
ここで、Ｂは、マクロブロック全体に割り当てられたビット数でも良いし、ＤＣＴ係数に割り当てられたビット数でも良いし、輝度成分に割り当てられたＤＣＴ係数に割り当てられたビット数でも良い。
【００５５】
再び図７に戻って説明する。画像サイズ調整フラグによる動きベクトル調整器９より出力された画像サイズに適した８×８の動きベクトルは、ＭＰＥＧ２のイントラマクロブロックに対する動きベクトル補整器１１に入力される。そこでＭＰＥＧ２の画像圧縮情報を示すビットストリームにおいてはイントラであったマクロブロックから変換されたブロックの８×８の動きベクトルは、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１０によって求められた１６×１６の動きベクトルに置きかえることによって補整される。補整後の８×８の動きベクトルと、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１０で求めた１６×１６の動きベクトルを合わせて、ＭＰＥＧ４動きベクトルとして出力する。
【００５６】
図７のＭＰＥＧ２のイントラマクロブロックに対する動きベクトル補整器１１の詳細構成図を示す図１５を参照して、その動きベクトル補整の動作原理を説明する。画像サイズに適した８×８の動きベクトルがＭＰＥＧ２のイントラマクロブロックに対する補整器１１に入力し、イントラモードフラグが立っている場合、すなわち、ＭＰＥＧ２の画像圧縮情報を示すビットストリームにおいてはイントラマクロブロックである場合、スイッチＳＷの可動接点ｍが固定接点ａ側に倒れ、置換装置ＰＫで、そのイントラマクロブロックから変換された８×８ブロックの動きベクトルを、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１０より求められた１６×１６の動きベクトルに置き換えられる。この場合、そのイントラマクロブロックの周辺に存在するインターマクロブロックの動きベクトルから変換された動きベクトルに置換しても良く、若しくは、イントラマクロブロックに一番近いインターマクロブロックの動きベクトルから変換された動きベクトルに置換してもよい。尚、４つのブロックともイントラマクロブロックから変換された場合は、４つとも動きベクトルが０となり、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１０によって求められる１６×１６の動きベクトルも０となるため、ＭＰＥＧ４の画像符号化に用いる動きベクトルは０となり、マクロブロックタイプがイントラモードとなる。また、イントラモードフラグが立たない場合、すなわち、ＭＰＥＧ２ではイントラマクロブロックがない場合、スイッチＳＷの可動接点ｍが固定接点ｂ側に倒れ、入力された８×８の動きベクトルがそのまま出力される。
【００５７】
次に生成された動きベクトルの再検索を行う場合について説明する。インターマクロブロックに対し、画像がフレーム構造、フレーム予測である場合の動きベクトル変換の概念図を図１７に示す。図１７Ａは解像度変換前を、図１７Ｂは解像度変換後をそれぞれ示す。図３で説明したように、変換後の動きベクトルの水平成分は変換前の動きベクトルの水平成分と画像の横方向の解像度変換レートから求められる。垂直成分は変換前の動きベクトルの垂直成分と画像の縦方向の解像度変換レートから求められる。すなわち、横方向の解像度を１／２に変換した際、変換後の動きベクトルの水平成分も変換前の１／２になる。縦方向の解像度を１／２に変換した際、変換後の動きベクトルの垂直成分も変換前の１／２になる。図９に示した動きベクトルは、たとえば、変換前の（８，１２）から変換後の（４，６）になる。尚、この場合は、整数画素の中間値（半画素）の間隔を１としている。図１７Ａの解像度変換前では、黒丸は整数画素の位置を示し、菱形は半画素の位置を示している。図１７Ｂの解像度変換後では、半画素は白丸で示す。
【００５８】
図からわかるように、変換前の整数画素の位置に示している動きベクトルは、変換後整数画素若しくは半画素の位置に示すが、変換前半画素の位置に示している動きベクトルは解像度変換後、参照する画素がなくなる。そこで、変換前の動きベクトルが半画素の位置を示している場合、変換後の動きベクトルも予測画像の最も近い整数画素位置を示すようにする。これは、後に動きベクトル補整において動きベクトル周辺画素を再検索する際に、サーチウィンドウの中心画素値を整数画素にするためである。まず、サーチウィンドウ内で最も予測誤差が少ない整数画素の動きベクトルを求め、次にその整数画素周辺の９の半画素値を検索することにより処理のステップを削減している。変換前と変換後の動きベクトルの対応関係を図１９に示す。
【００５９】
以上、これに限らず、図９、１０、１１、１２に示されたように半画素動きベクトルを生成し、これを中心に再検索を行うことも可能であるが、この場合半画素値をサーチウィンドウ内で事前に求める行程が必要となり、処理工数が増えることとなる。
【００６０】
次に、画像がフレーム構造でフィールド予測である場合だが、まず、第一フィールド予測である時について、図１９の動きベクトル変換の概念図を参照して説明する。図１９Ａは解像度変換前を、図１９Ｂは解像度変換後をそれぞれ示す。動きベクトルの水平成分は、図１８で説明したのと同様な処理を行われる。垂直方向は、第一フィールドを抽出することにより、解像度を１／２に変換することを可能とする。また、予測も第一フィールド予測を行っているため、変換前の動きベクトルは、そのまま変換後の動きベクトルになる。
【００６１】
第二フィールド予測である場合の動きベクトル変換の概念図を図２０に示す。図２０Ａは解像度変換前を、図２０Ｂは解像度変換後をそれぞれ示す。解像度変換した際、第一フィールドのみが抽出されるため、変換後は第一フィールドの画素値を参照画像として用いる。フィールドのライン補整及び時間方向の動きベクトル補整は図１２で説明している方法と同様に補整を行い、その後水平方向の画素値は変換後に整数画素を示すように、図１８と同様な処理が行われる。
【００６２】
次に図２１を用いて再検索による動きベクトル補整処理を説明する。すなわち、動きベクトル補整装置は、図２の動きベクトル変換装置６により、スケーリングされた動きベクトルを入力とし、符号化効率を高めるために再検索により補整された動きベクトルを出力とする。また、動きベクトル補整方向情報フラグによるサーチウィンドウのサイズを設定する。動きベクトル補整方向情報フラグに関しては後に図２３及び２４を用いて説明する。
【００６３】
すなわち、動きベクトル補整装置はより精度が高い動きベクトルを求めるために動きベクトル変換装置６により動きベクトルのスケーリングにより生じた歪みを再検索によって補整する。まず、入力されたＭＰＥＧ４の８×８の動きベクトルの周辺画素を水平方向±２整数画素、垂直方向±１画素の動きベクトル検索を行う。これにより、動きベクトル変換装置６による求められた動きベクトルを中心にサーチウィンドウを水平５画素、垂直３画素に抑え、動きベクトル検索の処理数を大幅に減少させることが可能となる。以上、サーチウィンドウを水平５画素、垂直３画素に設定したが、ここではこれに限らず、水平、垂直方向のサーチウィンドウの検索画素数は任意に選択しても良い。また、検索処理数を削減させるために後に説する動きベクトル補整方向情報フラグを用いて、動きベクトルの補整用サーチウィンドウの大きさを動きベクトルの進行方向に対し、順方向、逆方向非対称に設定しても良い。
【００６４】
図２２に動きベクトル変換装置（本願出願時に未公知の先行例）の構成ブロック図を示す。動きベクトル変換装置は図２の動きベクトル変換装置６に示したものと同様である。まず、変換装置２２１では、上述した動きベクトルの空間・時間補整を行って、８×８の動きベクトルを生成する。次に、検索装置２２２において、８×８の動きベクトルに上述したように、８×８の動きベクトルの再検索処理を行う。例えば、生成された８×８の動きベクトルの参照先を中心に、検索サーチウィンドウを整数画素で縦横２画素ずつで検索を行う。これにより８×８の動きベクトルの予測精度を向上させることが可能である。次に一つのマクロブロックを構成する４つの８×８の動きベクトルそれぞれに対して再検索された予測誤差及び、再検索処理を施した８×８の動きベクトルを、変換装置２２３へ入力する。
【００６５】
変換装置２２３では４つの８×８の動きベクトルのうち、８×８の動きベクトル再検索時に求められた予測残差のうち、最も予測誤差が少ない動きベクトルを判別し、１６×１６の動きベクトルに割り当てる。次に生成された１６×１６の動きベクトルを上述と同様に検索装置２１４において再検索処理を行って、１６×１６の動きベクトルの予測精度を向上させる。これによりＭＰＥＧ４の８×８の動きベクトル及び、１６×１６の動きベクトルを生成し、出力する。
【００６６】
出力された８×８の動きベクトル及び１６×１６の動きベクトルは、それぞれ半画素検索装置２２５に入力され、半画素精度で８×８及び１６×１６の動きベクトルが出力される。
【００６７】
ここで図２３及び図２４を用いて図２１及び図２２に示した動きベクトル補整方向情報フラグについて説明する。動きベクトル補整装置は動きベクトル補整方向情報フラグにより動きベクトルの進行方向に対して、再検索サーチウィンドウのサイズを設定する。まず、図２３Ａに示すように変換前のＭＰＥＧ２動きベクトルが整数画素であり変換後のＭＰＥＧ４動きベクトルも整数画素値である場合は、同位相の画素が存在し、動きベクトルの画素値に歪みが生じないため、動きベクトル補整のサーチウィンドウは動きベクトルの進行方向に対して対称に設定する。図２３Ｂに示すように変換前のＭＰＥＧ２動きベクトルが整数画素値であり、変換後のＭＰＥＧ４動きベクトルが半画素精度である場合、動きベクトルの進行方向に対し、繰り上げにより近似のＭＰＥＧ４の整数画素値に修正するため、サーチウィンドウは動きベクトルの進行方向に対し、逆方向に大きくとることにより検索処理数を削減することが可能となる。例えば、動きベクトルと逆方向に２整数画素値、順方向に▲１▼整数画素値で検索する。勿論、動きベクトル変換時にＭＰＥＧ４の動きベクトルを繰り下げにより近似のＭＰＥＧ４の整数画素値とした場合、サーチウィンドウの設定は動きベクトルの進行方向に対して順方向に大きく設定する。
【００６８】
図２４Ａ、Ｂの場合も同様に変換前のＭＰＥＧ２動きベクトルが半画素精度を示し、ＭＰＥＧ４動きベクトルに変換する際に最も近いＭＰＥＧ４の整数画素値に修正するため、図２３Ｂのケースと同様に歪みが生じる方向を基にＭＰＥＧ４の動きベクトル補整装置のサーチウィンドウを動きベクトルの進行方向に対し、順方向または逆方向に大きく設定することが出来る。これにより、動きベクトル再検索の処理数を減少させるため、動きベクトルの歪みの方向を動きベクトル装置６より出力し、動きベクトル補整装置に入力し、動きベクトルの補整検索を行うのに、最適なサーチウィンドウの大きさを設定することが出来る。
【００６９】
ＭＰＥＧ４の画像符号化装置７では、解像度フレームレート変換装置５からの出力画像を受け取り、動きベクトル変換装置６から出力されたＭＰＥＧ４の動きベクトルを用いて、ＭＰＥＧ４の画像符号化方式により符号化を行い、ＭＰＥＧ４の画像圧縮情報を示すビットストリームを出力する。
【００７０】
以下に、本発明者らが発明した動きベクトル変換方法及び変換装置（本願出願時未公知）について説明する。
【００７１】
図２５にＭＰＥＧ２ストリームからＭＰＥＧ４ストリームへのピクチャタイプとＶＯＰ(Video Object Plane)タイプの対応概念図を示す。ＧＯＰ（画面グルーブ）構造がＮ１５Ｍ３である毎秒３０フレームのＭＰＥＧ２のストリームをＧＯＰ構造Ｎ５Ｍ１である毎秒５フレームのＭＰＥＧ４のストリームに変換する場合、Ｉ及びＰフレーム（Ｉ−frame 、Ｐ−frame ）を一枚置きにＭＰＥＧ４に変換する。図２５に示すようＭＰＥＧ２のストリームのＮ１５Ｍ１の２ＧＯＰにＭＰＥＧ４のストリームのＮ５Ｍ１の１ＧＯＶが対応するため、ＭＰＥＧ２からＭＰＥＧ４への変換の際にＰフレームを破棄する場合とＩフレームを破棄する場合とがある。
【００７２】
まず、Ｉフレームを破棄する場合について、図２６の概念図について説明する。ＰフレームＰn-2 及びＰn-1 間のＩフレームＩn-1 においては動きベクトルが存在しないため、当該マクロブロックの動きベクトルＭＶn に捨てられたＩフレームの動きベクトルを足し合わせて動きベクトルを合成することはできない。そこで、当該マクロブロックにおいては、先行例の技術で説明した方式に基づき、当該マクロブロックの動きベクトルＭＶn をスケーリングにより空間・時間補整を施し、次に捨てられたＰフレームの前のＩまたはＰフレームより変換されたＭＰＥＧ４のＶＯＰを参照するように時間方向の動きベクトルＭＶn の長さを２倍に伸張して、動きベクトル２＊ＭＶn を得る。これにより、当該Ｐ−ＶＯＰの動きベクトルが捨てられたフレームの直前のＩまたはＰフレームより変換されたＶＯＰを参照する。このようにして、空間・時間補整によるスケーリングを行い、その後に時間方向に２倍に伸張された動きベクトルを生成し、８×８の動きベクトルとして出力する。
【００７３】
次に、Ｐフレームを破棄する場合について、図２７、図２８、図２９及び図３０を参照して説明する。まず、図２７にＰフレームを破棄する場合の処理の概念図を示す。ＩフレームＩn-1 及びＰフレームＰn 間の破棄されるＰフレームＰn- 1 は動きベクトルＭＶn-1 を有しているため、当該マクロブロックの動きベクトルＭＶｎに、破棄されるＰフレームの動きベクトルＭＶn-1 を足し合わせて、破棄されるＰフレームの前のフレームを参照する動きベクトル（ＭＶn-1 ＋ＭＶｎ）を生成する。
【００７４】
図２８に示すように、当該マクロブロックの動きベクトルは破棄されるフレームを参照するが、このとき参照する画素は複数のマクロブロックに重なる。
【００７５】
図２９に参照画素（ＭＢ0 ）がどのように複数のマクロブロックに重なるかを示す。図からわかるように、参照画素（ＭＢ0 ）は、１つ、または２つ、または４つのマクロブロック（ＭＢ）に重なる(Overlap) 場合がある。その参照画素（ＭＢ0 ）のマクロブロックＭＢと重なった部分を、 refＭＢ＃0 、 refＭＢ＃1 、 refＭＢ＃2 、 refＭＢ＃3 として示す。破棄される（Dropped)Ｐフレームの動きベクトル及び、マクロブロックモード並びに予測モードまたはビット数、または量子化スケールは後に動きベクトルの足し合わせの合成を行うため、動きベクトル及びマクロブロック情報バッファにフレーム単位で格納する。ＭＰＥＧ２からＭＰＥＧ４への動きベクトル変換を行う当該マクロブックにおいて、まず破棄されたＰフレーム上で当該動きベクトルが参照する座標を計算する。図２９に示すように、当該動きベクトルが参照する座標によっては参照画素（ＭＢ0 ）が破棄される参照Ｐフレームの１つ、または２つまたは４つのマクロブロック（ＭＢ）と重なる場合がある。複数のマクロブロックに重なる場合には予め定めたパラメータＸに基づいて、マクロブロックの符号化効率の順番を降順に並べ換える。
【００７６】
すなわち、第１の方法では、パラメータＸを「マクロブロックに重なっている画素数」とし、第２の方法では、パラメータＸを「マクロブロックの重なっている画素数／マクロブロックのビット数」とし、第３の方法では、パラメータＸを「マクロブロックの重なっている画素数／Ｑ−スケール」（Ｑ−スケールは、マクロブロック量子化スケールを意味する）とし、第４の方法では、パラメータＸを「マクロブロックの重なっている画素数／（マクロブロックのビット数×Ｑ−スケール）とし、第５の方法では、パラメータＸを（１／マクロブロックのビット数）とし、第６の方法では、パラメータＸを（１／Ｑ−スケール）とし、第７の方法では、Ｘを１／（マクロブロックのビット数×Ｑ−スケール）とする。そして、パラメータＸの最も大きいものを最大値とし、パラメータＸの最も小さいものを最小値とする。図２８では、第１〜第４の方法におけるパラメータＸを示している。図２８において、ＭＢ overlapped areaは、マクロブロックに重なっている画素数を示す。Ｃoef bitsは、マクロブロックのビット数を示す。Ｑ-scaleは、マクロブロック量子化スケールを示す。
【００７７】
図３０にＰフレームを破棄する場合の動きベクトル合成アルゴリズムのフローチャートを示し、以下これについて説明する。まず、当該マクロブロックのＭＰＥＧ２動きベクトルが参照する画素に重複する（重なる）、マクロブロックを構成する１つまたは２つまたは４つのマクロブロック（ＭＢ）のうち、マクロブロック（ＭＢ）モードがNot Coded （ＤＣＴ係数が符号化されていない）であり、且つ、重複する（重なる）画素値が閾値Ｔ以上であるマクロブロックを検索する（ステップＳＴ−２１）。閾値Ｔは例えば１００画素とする。重複するマクロブロックのうち一つでもNot Coded のマクロブロック（ＭＶ）が含まれていれば、そのマクロブロック（ＭＶ）アドレスが最も若いNot Coded のマクロブロックの動きベクトルＭＶn-1 を選択する（ステップＳＴ−２２）。
【００７８】
当該マクロブロックのＭＰＥＧ２動きベクトルが参照する画素に重複する、マクロブロックを構成する１つまたは２つまたは４つのマクロブロックのうちNot Coded （ＤＣＴ係数が符号化されていない）のマクロブロックが存在しない場合には、次に、マクロブロックモードが No MC（動き補償なし）であり、且つ、重複する画素値が閾値Ｔ以上であるマクロブロックを検索する（ステップＳＴ−２３）。閾値Ｔは例えば１００画素とする。重複するマクロブロックのうち、一つでもNo MC のマクロブロックが含まれていれば、そのマクロブロックアドレスが最も若いNot Coded のマクロブロックの動きベクトルＭＶn-1 を選択する（ステップＳＴ−２４）。
【００７９】
当該マクロブロックのＭＰＥＧ２動きベクトルが参照する画素に重複する（重なる）、マクロブロックを構成する１つまたは２つまたは４つのマクロブロックのうち重複するマクロブロックにNot Coded ＤＣＴ係数が符号化されていない）及びNo MC （動き補償なし）が存在しない場合には、次に、上述したパラメータＸが最も大きいマクロブロックより順番にマクロブロック（ＭＢ）モードがイントラマクロブロック（ＭＢ）であるかを判別する（ステップＳＴ−２５）。若し、参照マクロブロックがイントラマクロブロックであれば、次にパラメータＸが大きいマクロブロックがイントラマクロブロックであるかを判別し、当該マクロブロックが参照する画素に重複するマクロブロック全てがイントラマクロブロックであるかを判別する（ステップＳＴ−２６）。当該マクロブロックが参照する画素に重複するマクロブロック全てがイントラマクロブロックであれば、ゼロの動きベクトル（ＭＶ）を選択する（ステップＳＴ−２７）。
【００８０】
ステップＳＴ−２５で、イントラマクロブロックでないマクロブロックを検索した場合には、次の判別ルーチンに移る。すなわち、イントラマクロブロックでないマクロブロックにおいて、予測モードが、第２フィールドを参照するフィールド予測であるかを判別する（ステップＳＴ−２８）。第２フィールドを参照するフィールド予測である場合、パラメータＸが次に大きい参照マクロブロックにおいて同様の判別を行う（ステップＳＴ−２９）。Ｎ（イントラマクロブロックの個数）個の参照マクロブロックが第２フィールドを参照するフィールド予測である場合には、最も大きなパラメータＸをもった参照マクロブロック（ＭＢ）の動きベクトルＭＶn-1 を選択する（ステップＳＴ−３０）。Ｎは予め定めた数であり、１〜４の値を持つ。第２フィールドを参照するフィールド予測でないマクロブロックを検索した場合には、そのマクロブロックの動きベクトルＭＶn-1 を選択する（ステップＳＴ−３１）。このようにして当該マクロブロックの動きベクトルに足し合わせる動きベクトルを選択する。
【００８１】
図３１に動きベクトルの第２フィールドを参照する動きベクトルの時間補整を示す。足し合わせた動きベクトルのスケーリング方法は先行例の技術で述べた動きベクトルの空間・時間補整を施すスケーリング方法と同様の方法で行う。よって、足し合わせたベクトルが参照フレームの第２フィールドを参照する場合は、動きベクトルの垂直成分に対し、フィールド補整を行い、さらに時間方向のベクトル補整として１フィールド間隔分動きベクトルを伸張する。図に示すように当該フィールドと参照する第２フィールドのフィールド間隔がａであり、よって１フィールド分の時間補整を施すのに動きベクトルに（ａ＋１）／ａを掛ける。このようにして８×８の動きベクトルを求めて出力する。
【００８２】
図３２にＩフレームを破棄する場合の動きベクトル変換装置の構成ブロック図を示す。動きベクトル変換装置は図２の動きベクトル変換装置６に示したのと同様である。まず、ＭＰＥＧ２の動きベクトルを動きベクトル空間・時間補整装置３２１に入力して、上述と同様に、動きベクトルの空間・時間補整を行い８×８の動きベクトルを生成する。次に８×８の動きベクトルを８×８ＭＶ再検索装置３２２に入力して、先行例の技術で説明したように、８×８の動きベクトルの再検索処理を行う。例えば、生成された８×８の動きベクトルの参照先を中心に、検索サーチウィンドウを整数画素で縦横２画素ずつで検索を行う。これにより８×８の動きベクトルの予測精度を向上させることが可能である。次に一つのマクロブロックを構成する４つの８×８の動きベクトルそれぞれに対して再検索された予測誤差及び、再検索処理を施した８×８の動きベクトルを８×８ＭＶ→１６×１６ＭＶ変換装置３２３に入力する。
【００８３】
８×８ＭＶ→１６×１６ＭＶ変換装置３２３では、４つの８×８の動きベクトルのうち、最も予測誤差が少ない動きベクトルを判別し、１６×１６の動きベクトルに割り当てる。次に生成された１６×１６の動きベクトルを、１６×１６ＭＶ再検索装置３２４に入力して、先行例の技術で述べたのと同様に再検索処理を行い、１６×１６の動きベクトルの予測精度を向上させる。これによりＭＰＥＧ４の８×８の動きベクトル及び、１６×１６の動きベクトルが生成されて出力される。
【００８４】
次に、図３３にＰフレームを破棄する場合の動きベクトル変換装置の更に他の例の構成ブロック図を示す。図３３の動きベクトル変換装置は図２の動きベクトル変換装置６に示したのと同様である。まず、ＭＰＥＧ２の動きベクトルが入力される切換えスイッチ３５１は、破棄するＰフレームの情報が来た場合には、ＭＶ及びＭＢ情報バッファ３５２側に切換えられ、それの以外Ｐフレームの情報が来た場合には、参照ＭＢアドレス計算装置３５４及び動きベクトル伸長空間・時間補整装置３５７側に切換えられる。
【００８５】
ＭＶ及びＭＢ情報バッファ３５２では、破棄するＰフレームの動きベクトル情報及びマクロブロック予測モードをフレーム単位で格納し、場合によってはマクロブロック毎のビット量及び量子化スケールをも格納する。参照ＭＢアドレス計算装置３５４においては、破棄するＰフレームの次のＰフレームの動きベクトルを入力とし、その当該動きベクトルの参照位置を計算する。動きベクトルの参照位置は足し合わせ動きベクトル判定装置３５３に入力され、参照位置を基に、参照画素に重なる破棄するＰフレームのマクロブロックを算出する。足し合わせ動きベクトル判定装置３５３では、この情報を利用し、上述した足し合わせる動きベクトルを選択する手法に基づき処理を行い、足し合わせる動きベクトルを出力する。出力された動きベクトルは当該マクロブロックの動きベクトルと足し合わせ、合成された動きベクトルを生成する。
【００８６】
次に、合成された動きベクトルは、動きベクトル空間・時間補整装置３５５に入力され、先行例の技術及び上段に述べた空間・時間の補整スケーリングにより変換を行って動きベクトルを生成する。動きベクトル伸長空間・時間補整装置３５７及び動きベクトル再検索装置３５８は、動きベクトルを伸張方式により求める手法であり、それぞれ動きベクトル空間・時間補整装置３２１及び８×８の動きベクトル再検索装置３２２と同様の処理を行う。これにより動きベクトルを生成する。動きベクトル再検索装置３５６及び動きベクトル再検索装置３５８より出力された動きベクトルは、それぞれ８×８の動きベクトル選択装置３５９に入力され、８×８の動きベクトル選択装置３５９において２つの動きベクトルより予測残差の少ない動きベクトルを８×８の動きベクトルとして出力する。８×８ＭＶ→１６×１６ＭＶ動きベクトル変換装置３６０及び１６×１６の動きベクトル再検索装置３６１の処理は、図３２の動きベクトル変換装置における８×８ＭＶ→１６×１６ＭＶ動きベクトル変換装置３２３及び１６×１６の動きベクトル再検索装置３２４と同様の処理を施して、１６×１６の動きベクトルを生成する。これによりＭＰＥＧ４の８×８の動きベクトル及び１６×１６の動きベクトルを生成して出力する。
【００８７】
このようにＰフレームを破棄する場合には一つのマクロブロックを構成する４つのブロックそれぞれにおいて動きベクトルの伸張により求められた動きベクトル、及び動きベクトルの足し合わせにより求められた動きベクトルの２つが存在する。それぞれの動きベクトルに対し、次の再検索処理を施し、予測残差が少ないものをＭＰＥＧ４の８×８の動きベクトルとして出力する。再検索の方法は先行例の技術で述べた方法と同様で例えばサーチウィンドウの検索範囲は縦横２整数画素とする。これにより、一つのマクロブロックを構成する４つのブロックそれぞれにおいて２つの動きベクトルを再検索により求めることが出来る。
【００８８】
次に、一つのブロックにおいて、これら２つの動きベクトルの予測残差を比較し、予測残差の少ないものをＭＰＥＧ４の８×８の動きベクトルとして出力する。このように、動きベクトルの伸張をする方式と動きベクトルの足し合わせを行う方式のうち、最も符号化効率の高い動きベクトルを選択し、８×８の動きベクトルを生成することが可能である。次に、一つのマクロブロックにおいて、４つのＭＰＥＧ４ ８×８の動きベクトル再検索より求められる予測誤差を比較し、最も予測誤差の少ない８×８の動きベクトルを判定する。この最も予測誤差が少ない８×８の動きベクトルを１６×１６の動きベクトルに割り当てる。次に選択された１６×１６の動きベクトルにおいても、上述に述べた８×８の動きベクトル再検索方法と同様に再検索を行い、１６×１６の動きベクトルの符号化効率を最適化する。
【００８９】
このように、ＭＰＥＧ２の画像情報圧縮情報を入力とし、ＭＰＥＧ４の８×８及び１６×１６の動きベクトルを求める手順において、動きベクトル変換装置により、動きベクトルを伸張または足し合わせ、さらにスケーリングされた動きベクトル情報を、動きベクトルを中心とした、再検索による動きベクトル補整を行うことにより、ＭＰＥＧ４画像符号化装置における符号化効率の低減を最小にすることが可能である。
【００９０】
次に、図３４に動きベクトル変換装置の他の例の構成ブロック図を示す。図３４の動きベクトル変換装置は図２の動きベクトル変換装置６に示したものと同様である。まず、ＭＰＥＧ２→ＭＰＥＧ４の８×８ＭＶ変換装置２７１では上述した動きベクトルの空間・時間補整を行い８×８の動きベクトルを生成する。次に、動きベクトル整数画素検索装装置２７２において、８×８の動きベクトルに先行例の技術で説明したように、８×８の動きベクトルの再検索処理を行う。例えば、生成された８×８の動きベクトルの参照先を中心に、検索サーチウィンドウを整数画素で縦横２画素ずつで検索を行う。これにより８×８の動きベクトルの予測精度を向上させることが可能である。次に一つのマクロブロックを構成する４つの８×８の動きベクトルそれぞれに対して再検索された予測誤差及び、再検索処理を施した８×８の動きベクトルを、８×８の動きベクトル→１６×１６の動きベクトル変換装置２７３へ入力する。
【００９１】
８×８の動きベクトル→１６×１６の動きベクトル変換装置２７３では、４つの８×８の動きベクトルのうち、８×８の動きベクトル再検索時に求められた予測残差のうち、最も予測誤差が少ない動きベクトルを判定し、１６×１６の動きベクトルに割り当てる。次に生成された１６×１６の動きベクトルを先行例の技術で述べたのと同様に、動きベクトル整数画素検索装置２７４において再検索処理を行い、１６×１６の動きベクトルの予測精度を向上させる。これによりＭＰＥＧ４の８×８の動きベクトル及び、１６×１６の動きベクトルを生成して出力する。
【００９２】
出力された８×８の動きベクトル及び１６×１６の動きベクトルをそれぞれ半画素検索装置２７５に入力され、半画素精度で８×８及び１６×１６の動きベクトルが出力される。
【００９３】
このように、ＭＰＥＧ２画像情報圧縮情報を入力とし、ＭＰＥＧ４の８×８及び１６×１６の動きのベクトルを求める手順において、動きベクトル変換装置により、動きベクトルを伸張または足し合わせ、さらにスケーリングされた動きベクトル情報を、動きベクトルを中心とした、再検索による動きベクトル補整を行うことにより、ＭＰＥＧ４画像符号化装置における符号化効率の低減を最小にすることが可能である。
【００９４】
【発明が解決しようとする課題】
上述した図３４の動きベクトル変換装置では、ＭＰＥＧ２の動きベクトルを変換し、ＭＰＥＧ４の動きベクトルが生成されている。しかしながら、ＭＰＥＧ２のイントラフレームの動きベクトルをＭＰＥＧ４に変換する際に、動きベクトル情報を生成せずに、ＭＰＥＧ４のＩ−ＶＯＰ（ＭＰＥＧ４でイントラモードで符号化されるフレームを意味する）として変換され、ＭＰＥＧ４のビットストリームのＩ−ＶＯＰ間隔が狭く、ＭＰＥＧ４の画像圧縮情報（ビットストリーム）に変換された後に符号化効率が低下するという問題点を有している。
【００９５】
かかる点に鑑み、本発明は、飛び越し走査のＭＰＥＧ２の画像圧縮情報を示すビットストリームを入力とし、順次走査のＭＰＥＧ４の画像圧縮情報を示すビットストリームを出力とする画像情報変換方法における動きベクトル変換方法において、画像情報変換方法におけるＭＰＥＧ４の画像符号化の符号化効率を一層高くすることのできるものを提案しようとするものである。
【００９６】
又、本発明は、飛び越し走査のＭＰＥＧ２の画像圧縮情報を示すビットストリームを入力とし、順次走査のＭＰＥＧ４の画像圧縮情報を示すビットストリームを出力とする画像情報変換装置における動きベクトル変換装置において、画像情報変換装置におけるＭＰＥＧ４の画像符号化装置の符号化効率を一層高くすることのできるものを提案しようとするものである。
【００９７】
【課題を解決するための手段】
本発明は、ビットストリームを復号して画像データを生成し、復号により生成された画像データのＰピクチャを一枚置きに破棄し、復号により生成された画像データのＩピクチャを対象ピクチャとして、該対象ピクチャをＰピクチャとして符号化する場合に、対象ピクチャの直前にある破棄されるＰピクチャが参照する参照ピクチャに対する動きベクトルの時間方向の長さを伸張することにより、対象ピクチャが参照ピクチャを参照する参照動きベクトルを生成し、生成された参照動きベクトルを利用して、所定間隔でＰピクチャが破棄された画像データを符号化するようにしたものである。なお、復号により生成された映像データにおいては、破棄の対象とならないＰピクチャがＩピクチャの直前に存在していないようにしている。
【０１０４】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態の動きベクトル変換方法及び変換装置の例を説明する。図３５を参照して、イントラフレームから変換されるＶＯＰをＰ−ＶＯＰに変換する方法を説明する。当該フレームがイントラフレームである場合、動きベクトルを所有しないため、画像符号化に動き補償予測を利用できず、符号化効率が下がる。そこで、動き補償予測用に動きベクトルを生成するために、破棄する直前のＰフレームの動きベクトルをバッファに格納し、上述した空間・時間補整用のスケーリングを行い、当該フレームの同位置のマクロブロックにそれぞれ複製する。次に、直前のＰフレームは破棄されるため、参照フレームとの時間間隔が２倍になる。よって、複製した動きベクトルを時間方向に２倍に伸張し、破棄するＰフレームの直前のＰフレームを参照するように補整を行う。
【０１０５】
図３６に動きベクトル変換装置のブロック構成図を示す。図２の動きベクトル変換装置６に相当する動きベクトル変換装置部を示したものが図３６のブロック図である。スイッチ３６１はＩ→Ｐ−ＶＯＰ動きベクトル（ＭＶ）変換フラグにより動作し、ＭＰＥＧ４に変換するＭＰＥＧ２イントラフレーム及びその直前のＭＰＥＧ２がＰフレームの時には、Ｉ→Ｐ−ＶＯＰ動きベクトル変換装置３６２側に切り換えられ、それ以外のフレームでは、Ｐ→Ｐ−ＶＯＰ動きベクトル変換装置３６３側に切り換えられる。
【０１０６】
Ｉ→Ｐ−ＶＯＰ変換装置３６２については、後に説明する。Ｐ→Ｐ−ＶＯＰ変換装置３６３は、図１の従来の技術で説明した動きベクトル変換装置と同様の処理を行う。
【０１０７】
図３７にＩ→Ｐ−ＶＯＰ動きベクトル変換装置の構成ブロック図を示す。まず、ＭＰＥＧ２の動きベクトルバッファ３７１にＩフレームの破棄する直前のＰフレームの動きベクトルを格納する。Ｉフレームのマクロブロックにそれぞれ破棄するＰフレーム内の同位置のマクロブロックの動きベクトルを複製する。ＭＰＥＧ２→ＭＰＥＧ４の８×８のＭＶ変換装置３７２においては、上述の技術で述べた動きベクトルの空間・時間補整を行った後に、Ｐフレームの破棄する直前のＰフレームを参照するように時間方向に動きベクトルを２倍に伸張する。変換されたＭＰＥＧ４の８×８動きベクトルは、０ＭＶと予測誤差の比較装置３７３に入力され、動きベクトルが０の予測と、予測残差とを比較し、０動きベクトルの予測残差が生成した８×８の動きベクトルの予測残差より小さい場合には、８×８の動きベクトルを０に置き換える。これにより出力された８×８の動きベクトルは、動きベクトル整数画素検索装置３７４において、上述の技術で説明した方法と同様に、整数画素値で指定された任意のサーチウィンドウ内で再検索を行い、動きベクトルの予測精度を向上させる。
【０１０８】
そして、８×８ＭＶ→１６×１６ＭＶ変換装置３７５において、生成された８×８動きベクトル及びそれぞれの予測残差を入力とし、一つのマクロブロックを構成する４つのブロックのうち、最も予測残差が少なかった８×８の動きベクトルを１６×１６の動きベクトルに割り当てて出力する。０ＭＶと予測誤差の比較装置３７６は、生成された１６×１６の動きベクトルを入力とし、０動きベクトルの予測残差と比較し、０動きベクトルの予測残差が生成された１６×１６の動きベクトルより予測残差が少なければ、１６×１６の動きベクトルを０に置き換える。これにより生成された１６×１６の動きベクトルを動きベクトル整数画素検索装置３７７の入力とし、動きベクトル整数画素検索装置３７７では１６×１６の動きベクトルを上述の技術で説明した方法に基づいて、整数画素で再検索を行って出力する。整数画素値で求められた８×８及び１６×１６の動きベクトルは、それぞれ動きベクトル半画素検索装置３７８に入力され、半画素精度でＭＰＥＧ４の８×８及び１６×１６の動きベクトルを出力する。
【０１０９】
以上、入力としてＭＰＥＧ２の画像圧縮情報を示すビットストリームを、出力としてＭＰＥＧ４の画像圧縮情報を示すビットストリームを対象としてきたが、入力、出力ともこれに限らず、例えばＭＰＥＧ−１やＨ．２６３などの画像圧縮情報（ビットストリーム）でも良い。
【０１１０】
【発明の効果】
本発明は、ビットストリームを復号して画像データを生成し、復号により生成された画像データのＰピクチャを一枚置きに破棄し、復号により生成された画像データのＩピクチャを対象ピクチャとして、該対象ピクチャをＰピクチャとして符号化する場合に、対象ピクチャの直前にあって破棄されるＰピクチャが参照する参照ピクチャに対する動きベクトルの時間方向の長さを伸張することにより、対象ピクチャが参照ピクチャを参照する参照動きベクトルを生成し、生成された参照動きベクトルを利用して、所定間隔でＰピクチャが破棄された画像データを符号化するようにしたものである。
【０１１７】
本発明によれば、画像符号化の符号化効率を一層高くすることのできる画像処理装置及び画像処理方法を得ることができる。
【図面の簡単な説明】
【図１】ＭＰＥＧ２の画像圧縮情報を示すビットストリームからＭＰＥＧ４の画像情報圧縮装置を示すビットストリームへの変換を実現する画像情報変換装置の従来例を示すブロック線図である。
【図２】筆者らの発明によるＭＰＥＧ２の圧縮画像情報を示すビットストリームからＭＰＥＧ４の圧縮画像情報を示すビットストリームへの変換を実現する画像情報変換装置（先行例）の構成を示すブロック線図である。
【図３】ＭＰＥＧ２の画像圧縮情報を示すビットストリーム中の動きベクトルと、ＭＰＥＧ４の画像圧縮情報を示すビットストリーム中の動きベクトルの相関を示す説明図である。
【図４】図２の画像情報変換装置における解像度フレームレート変換装置５における動作原理を示す説明図である。
【図５】図２の画像情報変換装置における画枠サイズ調整フラグに応じた解像度フレームレート変換装置５における画素の補填或いは除去の動作原理を示す説明図である。
【図６】図２の画像情報変換装置における動きベクトル変換装置６における動きベクトル変換方法を示す説明図である。
【図７】図２の画像情報変換装置における動きベクトル変換装置６の具体構成を示すブロック線図である。
【図８】図２の画像情報変換装置におけるＭＰＥＧ２の１６×１６の動きベクトル→ＭＰＥＧ４の８×８の動きベクトル変換装置８における動作原理を示すフローチャートである。
【図９】図７の動きベクトル変換装置におけるＭＰＥＧ２の１６×１６の動きベクトル→ＭＰＥＧ４の８×８の動きベクトル変換装置８でのフレーム構造、フレーム予測の場合の動きベクトル変換の概念を示す説明図である。
【図１０】図９におけるＭＰＥＧ２の画像圧縮情報を示すビットストリーム中の半画素精度の動きベクトルの、ＭＰＥＧ４の８×８の動きベクトルへの変換後の取り扱いを示す表図である。
【図１１】図９における画像がフレーム構造で、第一フィールド予測であるときの動きベクトル変換の概念を示す説明図である。
【図１２】図９における画像がフレーム構造で、第二フィールド予測であるときについての動きベクトル変換の概念を示す説明図である。
【図１３】図９における画像がフレーム構造で、第二フィールド予測であるときについての動きベクトル変換の概念を示す説明図である。
【図１４】図７の動きベクトル変換装置における画像サイズ調整フラグによる動きベクトル調整器９の動作を示すフローチャートである。
【図１５】図７の動きベクトルにおけるＭＰＥＧ２のイントラマクロブロックに対する動きベクトル補整器１１の動作原理を示すブロック線図である。
【図１６】図２の画像情報変換装置における動きベクトル変換装置６の具体構成を示すブロック線図である。
【図１７】図７の動きベクトル変換装置における動きベクトル再検索を行うＭＰＥＧ２の１６×１６の動きベクトル→ＭＰＥＧ４の８×８の動きベクトル変換装置８でのフレーム構造、フレーム予測の場合の動きベクトル変換の概念を示す説明図である。
【図１８】図７の動きベクトル変換装置における動きベクトル再検索を行う場合のＭＰＥＧ２の画像圧縮情報を示すビットストリーム中の半画素精度の動きベクトルの、ＭＰＥＧ４ ８×８の動きベクトルへの変換後の取り扱いを示した表図である。
【図１９】図７の動きベクトル変換装置における動きベクトル再検索を行う場合の画像がフレーム構造で、第一フィールド予測である時について動きベクトル変換の概念を示す説明図である。
【図２０】図７の動きベクトル変換装置における動きベクトル再検索を行う場合の画像がフレーム構造で、第二フィールド予測であるときの動きベクトル変換の概念を示す説明図である。
【図２１】動きベクトル補整装置を示すブロック線図である。
【図２２】８×８動を動きベクトルに施し、予測残差に基づき１６×１６の動きベクトルを生成する方式の動きベクトル再検索装置を示すブロック線図である。
【図２３】空間補整による動きベクトルの歪を示す説明図である。
【図２４】空間補整による動きベクトルの歪を示す説明図である。
【図２５】フレーム破棄の説明図である。
【図２６】Ｉフレーム破棄の説明図である。
【図２７】Ｐフレーム破棄の説明図である。
【図２８】Ｐフレーム破棄の説明図である。
【図２９】参照画素がどのように複数のマクロブロックに重なるかを示す説明図である。
【図３０】Ｐフレームを破棄する場合の動きベクトル合成アルゴリズムを示すフローチャートである。
【図３１】動きベクトルの第２フィールドを参照する動きベクトルの時間補整の説明図である。
【図３２】動きベクトル変換装置を示すブロック線図である。
【図３３】動きベクトル変換装置を示すブロック線図である。
【図３４】動きベクトル変換装置を示すブロック線図である。
【図３５】本発明の実施の形態の動きベクトル変換方法の例のイントラフレームから変換されるＶＯＰをＰ−ＶＯＰに変換する方法を示す説明図である。
【図３６】本発明の実施の形態の動きベクトル変換装置の例を示すブロック線図である。
【図３７】本発明の実施の形態のＩ→Ｐ動きベクトル変換装置の例を示すブロック線図である。
【符号の説明】
３６１ 切り換えスイッチ、３６２ Ｉ→Ｐ−ＶＯＰ動きベクトル変換装置、３６３ Ｐ→Ｐ−ＶＯＰ動きベクトル変換装置、３７１ ＭＰＥＧ２動きベクトルバッファ、３７２ ＭＰＥＧ２→ＭＰＥＧ４ ８×８ＭＶ変換装置、３７３ ０ＭＶと予測誤差の比較装置、３７４ 動きベクトル整数画素検索装置、３７５８×８ＭＶ→１６×１６ＭＶ変換装置、３７６ ０ＭＶと予測誤差の比較装置、３７７ 動きベクトル整数画素検索装置、３７８ 動きベクトル半画素検索装置。
【発明の属する技術分野】
本発明は、例えば離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報を示すビットストリームを、衛星放送、ケーブルＴＶ、インターネットなどのネットワークメディアを介して受信する際に、若しくは光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる、画像処理装置及び画像処理方法に関するものである。
【０００２】
【従来の技術】
近年、画像情報をデジタルデータとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ １３８１８−２）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準方式で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに今後とも用いられるものと予想される。ＭＰＥＧ２の圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像や、４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば、１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００４】
ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われる。これに対応して、ＭＰＥＧ４符号化方式の標準化が行われた。ＭＰＥＧ４の画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ １４４９６−２としてその規格が国際標準として承認された。
【０００５】
ところで、ディジタル放送用に一度符号化されたＭＰＥＧ２の画像圧縮情報を示すビットストリームを、携帯端末上等で処理するのにより適した、より低い符号量（ビットレート）のＭＰＥＧ４の画像圧縮情報を示すビットストリームに変換したいというニーズがある。
【０００６】
かかる目的を達成する画像情報変換装置の従来例を図１に示し、以下これについて説明する。この図１の画像情報変換装置は、入力されたＭＰＥＧ２の画像圧縮情報を示すビットストリームを、ＭＰＥＧ４の画像圧縮情報を示すビットストリームへ変換する装置である。すなわち、入力されたＭＰＥＧ２の画像圧縮情報を示すビットストリームは、ＭＰＥＧ２の画像復号化装置１により復元される。復元された画像信号は、解像度・フレームレート変換装置２へ伝送され、任意の異なる解像度及びフレームレートを持つ画像信号に変換される。変換された画像信号は、ＭＰＥＧ４の画像符号化装置３に入力され、ＭＰＥＧ４の画像情報符号化装置３によりＭＰＥＧ４の画像圧縮情報を示すビットストリームに符号化されて出力される。
【０００７】
従来の画像情報変換装置では図１に示したように、ＭＰＥＧ２の復号化方式により復元された画像信号を、ＭＰＥＧ４の画像符号化装置により符号化し、ＭＰＥＧ４の画像圧縮情報を示すビットストリームを出力する。ＭＰＥＧ２の画像情報復号化装置１においては、水平及び垂直方向成分ともに、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームの８次のＤＣＴ（離散コサイン変換）係数すべてを用いた復号処理を行うことが考えられる。しかし、垂直方向には８次の係数すべてを用いるもの、水平方向には８次係数のうち低域４成分のみを用いた復号処理（以下これを４×８ダウンデコードと呼ぶ）、若しくは、水平、垂直方向ともに水平方向には８次係数のうち低域４成分のみを用いた復号処理（以下これを４×４ダウンデコードと呼ぶ）を行うことで、画質劣化を最小限に抑えながら、演算量とビデオメモリ容量を削減し、更に後段のダウンサンプリング処理を簡略化する構成も考えられる。
【０００８】
このような従来方法では、ＭＰＥＧ４の画像符号化装置において、入力された画像信号を符号化する際、動きベクトルを検出する演算処理量は、全演算処理量の約６０〜７０パーセントを占める。そのため、画像のリアルタイムでの処理が困難となり、時間遅延が発生する、装置が大規模になってしまう等の問題点を生じる。
【０００９】
かかる問題を解決する手段として、筆者らは先に、図２に示した画像情報変換装置（本願出願時未公知）（先行例）を提案した。
【００１０】
ところで、図３は、ＭＰＥＧ２の画像圧縮情報を示すビットストリーム中の動きベクトルと、ＭＰＥＧ４の画像圧縮情報を示すビットストリーム中の動きベクトルの相関を示す図である。図３Ａ、Ｂは、解像度変換前及び後の現フレームの画像をそれぞれ示す。画像の解像度が変換される際、変換後の前フレームでの位置から現フレームでの位置への動きベクトルの水平成分は、解像度変換前の動きベクトルの水平成分と、画像の横方向の解像度変換レートによって求めることができる。解像度変換後の垂直成分は、解像度変換前の動きベクトルの垂直成分と、画像の縦方向の解像度変換レートによって求められる。すなわち、解像度変換前の動きベクトルと、変換後の動きベクトルと大きな相関を持つ。その相関を利用し、解像度変換前の動きベクトルから変換後の動きベクトルを求めることができる。
【００１１】
すなわち、図２の画像情報変換装置では、入力されたＭＰＥＧ２の画像圧縮情報を示すビットストリームを、ＭＰＥＧ２のマクロブロックの動きベクトルやマクロブロックタイプ等のパラメータを利用して、ＭＰＥＧ４の動きベクトルへ簡潔に変換する。ＭＰＥＧ４の画像情報符号化装置７内では、動きベクトルの検出を行わず、変換された動きベクトルを用いた画像符号化を行う。結果として、ＭＰＥＧ４の画像符号化装置内での動き検出を行わないため、処理量が大幅に減らされる。
【００１２】
このようにＭＰＥＧ２の動きベクトルから、ＭＰＥＧ４の動きベクトルへの変換を行うこと、また動きベクトル以外にも、ＭＰＥＧ２での復号に用いたパラメータ、若しくは変換した後のパラメータを採用することにより、ＭＰＥＧ４の画像情報符号化装置７の処理量が減らされるので、この装置７による信号の時間遅延を少なくすることができる。
【００１３】
図３において、入力されたＭＰＥＧ２の画像圧縮情報を示すビットストリームは、図２のＭＰＥＧ２の画像情報復号化装置４において、復号化処理が施されて、ＭＰＥＧ４の画像圧縮情報を示すビットストリームが出力される。ＭＰＥＧ２の画像情報復号化装置４においては、水平及び垂直方向成分ともに、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームの８次のＤＣＴ係数すべてを用いた復号処理を行うことが考えられるが、４×８ダウンデコード、若しくは４×４ダウンデコードを行うことで、画質劣化を最小限に抑えながら、演算量とビデオメモリ容量を削減し、更に後段のダウンサンプリング処理を簡略化する構成も考えられる。復号化装置４より出力された画像信号が、解像度フレームレート変換装置５へ送られ、解像度・フレームレート変換を行った後、外部から入力された画像サイズ調整フラグにより、ＭＰＥＧ４の画像符号化に適した解像度を持つ画像信号が出力される。
【００１４】
ここで、解像度フレームレート変換装置５では、まず、ＭＰＥＧ２の画像復号化装置４より入力された画像信号を、解像度フレーム変換器によって解像度変換を行う。ここでは、縦・横とも解像度を１／２にする場合を例に挙げる。図４に示しているように、縦方向のダウンサンプリングは、入力された飛び越し走査画像の第一フィールド、若しくはを第二フィールドを抽出し、順次走査画像に変換する。横方向は、ダウンサンプリングフィルタを用いて、１／２の解像度に変換する。また、低ビットレートを実現するために、解像度の変換による圧縮だけではなく、Ｉ／Ｐピクチャのみ第一フィールド若しくは第二フィールドを抜き出し、時間方向においてフレームレートを落とす。たとえば、図４に示したＭＰＥＧ２のＩＢＢＰの画像は解像度・フレーム変換後、ＩＰの第一フィールドの構成になる。解像度・フレーム変換を行った画像は、ＭＰＥＧ４の画像符号化方式により符号化できるように、縦、横の画素数がともに１６の倍数にする。そのため、外部から入力される画像サイズ調整フラグにより、画素の補填あるいは画素の除去回路によって、画素の補填あるいは画素の除去を行う。
【００１５】
画像サイズ調整フラグは、解像度フレームレート変換装置５の外部から入力され、画像の縦・横の画素数が１６の倍数でない場合に対し、画像への画素補填若しくは、除去を判別するためのフラグである。
【００１６】
図５を参照して、画像サイズ調整フラグによる画像への処理を説明する。ＭＰＥＧ２の画像復号化装置４より出力された画像の解像度がｍ画素×ｎ画素であるとすると、ｍ、ｎは共に１６の倍数であるが、縦、横ともに１／２にダウンサンプリングされたｍ／２，ｎ／２は、１６の整数倍、若しくは、１６で割って８画素の余りがある。ｍ／２，ｎ／２が共に１６の倍数の場合においては、ＭＰＥＧ４の符号化方式に適する画像になっているため、画像への処理は行わない。それ以外は、ＭＰＥＧ４符号化方式に適しないため、画像サイズ調整フラグによる画像への処理が必要となる。画像サイズ調整フラグには、画素の補填と除去の二つの選択肢を持つ。ｍ／２若しくはｎ／２を１６で割って、８画素が余った場合においては、画像の除去を選択すれば、余った８画素を除去する。すなわち、出力画像は（ｍ／２−８）若しくは（ｎ／２―８）となる。一方画素の補填を選択すれば、新たに作成した８画素若しくは元の画像から複製した８画素若しくは画像に適した８画素を行い、あるいは列の先頭若しくは、後部から付け加える。
すなわち、出力画像は（ｍ／２＋８）若しくは（ｎ／２＋８）となる。結果として、変換後の画像解像度の横と縦は１６の倍数となり、ＭＰＥＧ４の符号化方式に適したサイズを持つ画像が出力される。
【００１７】
一方、入力されたＭＰＥＧ２の画像圧縮情報を示すビットストリームは、ＭＰＥＧ２の画像復号化装置４では、可変長符号の復号化を行った後、Ｐピクチャのみのマクロブロック動きベクトルやマクロブロックタイプなどその他のパラメータが取り出され、動きベクトル変換装置６へ伝送される。
【００１８】
動きベクトル変換装置６における動きベクトル変換方法を、図６を用いて説明する。図６Ａおよび、図６Ｂの実線で区切られている各正方格子の一つ一つがマクロブロックを示している。図６ＡはＭＰＥＧ２の復号化装置４より出力された画像、すなわち、解像度変換前の画像である。図６Ｂは図６Ａの画像を解像度フレームレート変換装置５により、縦・横の解像度とも１／２に変換された画像である。たとえば、変換前の図６Ａの左上の斜線の付された１６×１６マクロブロックは、図６Ｂの左上の斜線の付された８×８ブロックに変換される。すなわち、図６Ａに示した４つの網掛けされた１６×１６マクロブロックが、解像度変換された後、それぞれ図６Ｂに示した４つの網掛けされた８×８ブロックに変換され、それらによって１つの１６×１６マクロブロックが構成される。解像度変換前と後の動きベクトルの相関が大きいため、変換後の８×８ブロックの動きベクトルは、変換前の１６×１６マクロブロックの動きベクトルより求めることができる。さらに、４つの８×８の動きベクトルから１つの１６×１６の動きベクトルを求め、ＭＰＥＧ４の画像符号化方式により符号化するのに用いる動きベクトルの４つの８×８の動きベクトルと、１つの１６×１６の動きベクトルが生成される。
【００１９】
図２の画像情報変換装置における動きベクトル変換装置６の詳細ブロック図を示す図７を参照して、動きベクトル変換の動作原理を説明する。入力されたＭＰＥＧ２の画像圧縮情報を示すビットストリーム中の動きベクトル、画像サイズなどのパラメータは、ＭＰＥＧ２の１６×１６の動きベクトル→ＭＰＥＧ４の８×８の動きベクトル変換装置８によって、補整前の８×８の動きベクトルが作成される。
【００２０】
図８のフローチャートを参照して、このＭＰＥＧ２の１６×１６の動きベクトル→ＭＰＥＧ４の８×８の動きベクトル変換装置８の動作原理を説明する。入力されたＭＰＥＧ２のマクロブロックの動きベクトルとマクロブロックタイプに対し、ＭＰＥＧ２の１６×１６の動きベクトル→ＭＰＥＧ４の８×８の動きベクトル変換装置８は次のように動作する。飛び越し走査のＭＰＥＧ２の画像圧縮情報を示すビットストリームにおいては、一般的にフレーム構造が用いられるため、今回はフレーム構造の場合への処理のみの変換方法を説明する。
【００２１】
ステップＳＴ−１で、入力されたＭＰＥＧ２のマクロブロックの動きベクトルとマクロブロックタイプに対し、イントラマクロブロック、スキップマクロブロック及びインターマクロブロックのいずれであるかの判別を行う。イントラマクロブロックである場合には、ＭＰＥＧ２のイントラマクロブロックは、解像度変換後の８×８ブロックが動きベクトルを持つことを想定する。その処理としては、ステップＳＴ−２で、まず８×８の動きベクトルを０に設定し、さらに、補整器１１による処理を行うため、イントラモードフラグを設ける。ＭＰＥＧ２では、イントラマクロブロックである場合、イントラモードフラグが立つ。
【００２２】
スキップマクロブロックである場合には、ステップＳＴ−３で、各ブロックの動きベクトルを０と設定する。
【００２３】
図９を参照して、インターマクロブロックである場合における、画像がフレーム構造、フレーム予測である場合の動きベクトル変換の概念を説明する。図９Ａは解像度変換前を、図９Ｂは解像度変換後をそれぞれ示す。図３で説明したように、変換後の動きベクトルの水平成分は変換前の動きベクトルの水平成分と画像の横方向の解像度変換レートから求められる。垂直成分は変換前の動きベクトルの垂直成分と画像の縦方向の解像度変換レートから求められる。すなわち、横方向の解像度を１／２に変換した際、変換後の動きベクトルの水平成分も変換前の１／２になる。縦方向の解像度を１／２に変換した際、変換後の動きベクトルの垂直成分も変換前の１／２になる。
【００２４】
図９に示した動きベクトルは、たとえば、変換前の（８，１２）から変換後の（４，６）になる。尚、この場合は、整数画素の中間値（半画素）の間隔を１としている。図には、図９Ａの解像度変換前では、黒丸は整数画素の位置を示し、菱形は半画素の位置を示している。図９Ｂの解像度変換後では、半画素を白丸で示す。図からわかるように、変換前整数画素の位置に示している動きベクトルは、変換後整数画素若しくは半画素の位置に示すが、変換前半画素の位置に示している動きベクトルは解像度変換後参照する画素がなくなる。そこで、変換前の動きベクトルが半画素の位置を示している場合、変換後の動きベクトルも予測画像の半画素の位置を示すようにする。それは本来、復号化された画像信号には、量子化による歪みが含まれているため、そのまま予測画像として使用すると予測効率が低下し、画質劣化を引き起こす場合がある。これを低減するために、低域通過フィルタに相当する参照画面での各画素間を１：１で直線補間した半画素精度を選択される場合もあり、これにより、画質劣化を避けることができる。従って、ＭＰＥＧ４の画像符号化方式による符号化も、予測効率を向上し、画質劣化を防ぐために、ＭＰＥＧ４で動きベクトルが半画素の位置に示している場合、ＭＰＥＧ４のフォーマットに変換した際も半画素の位置に示すように変換する。変換前と変換後の動きベクトルの対応関係を図１０の表図に示す。
【００２５】
次に、画像がフレーム構造でフィールド予測である場合だが、まず、第一フィールド予測である時について、図１１に動きベクトル変換の概念図を示す。動きベクトルの水平成分は、図１０と同様な処理を行われる。垂直方向は、第一フィールドを抽出することにより、解像度を１／２に変換することを可能とする。また、予測も第一フィールド予測を行っているため、変換前の動きベクトルは、そのまま変換後の動きベクトルになる。
【００２６】
第二フィールド予測である場合の動きベクトル変換の概念図を図１２及び図１３に示す。解像度変換した際、第一フィールドのみが抽出されるため、変換後は第一フィールドの画素値を参照画像として用いる。そのため、ＭＰＥＧ２で予測画像として用いた第二フィールドの画素値を、解像度変換後の第一フィールド予測に変換するように、動きベクトルの時空間補整を行う。図１２は、第二フィールド予測から近似的に第一フィールド予測に変換するための空間的な補整を行う手法を示した図である。図１２Ａは解像度変換前を、図１２Ｂは解像度変換後をそれぞれ示す。すなわち、動きベクトルの垂直成分に１を加える。図からわかるように、第二フィールド予測で求めた動きベクトルの垂直成分に１を足すと、１行を繰り上げられることによって、第二フィールドが第一フィールドと同様の空間位置に達し、空間上で、第一フィールド予測で求めた動きベクトルのようになる。数１の式は空間補整により、第一フィールドと同様な空間位置にある第二フィールド、すなわち近似第一フィールドを予測とした時、動きベクトルＭＶtop の垂直成分を表している。
【００２７】
【数１】
垂直成分：近似ＭＶtop ＝ＭＶbottom＋１
【００２８】
また、飛び越し走査のＭＰＥＧ２の画像圧縮情報には第一フィールドと第二フィールドとで時間ずれがある。そのため、第二フィールドから近似された第一フィールドと実際の第一フィールドとの時間ずれの補整を行う。図１３は各フィールドの時間的位置関係を示している。ここで、第一フィールドと第二フィールドの間隔を１とし、ａをＩピクチャの第二フィールドとＰピクチャの第一フィールドの間隔とすると、ａは１，３，５，７，‥‥‥‥‥‥のような奇数になる。尚、ａが１の場合は、画像の構成がＩＰＰＰ‥‥‥‥‥‥の場合である。時間補整した動きベクトルＭＶ′を、数２の式に示す。
【００２９】
【数２】
垂直成分：ＭＶ′＝｛（ａ＋１）／ａ｝近似ＭＶtop
【００３０】
数１の式を数２の式に代入すると、変換後の動きベクトルの垂直成分は数３の式のようになる。
【００３１】
【数３】
垂直成分：ＭＶ′＝｛（ａ＋１）／ａ｝（ＭＶbottom＋１）
【００３２】
尚、変換後の動きベクトルの水平成分は、変換前の動きベクトルに（ａ＋１）／ａを乗じ、時間的な補整を行った後、図１０の表図に示す計算に従って求められる。
【００３３】
動きベクトルの垂直成分に対して、場合により、時間的補整を行った後、空間的な補整を行ってもよい。その場合、動きベクトルＭＶ′の垂直成分を、数４の式に示す。尚、水平成分は空間・時間補整（空間補整が行ってから時間補整を行う）と時間・空間補整（時間補整が行ってから空間補整を行う）は同様な値となる。
【００３４】
【数４】
垂直成分：ＭＶ′＝｛（ａ＋１）／ａ｝ＭＶbottom＋１
【００３５】
数３の式と数４の式の差、すなわち、空間・時間補整を行った場合と、時間・空間補整を行った場合の動きベクトルの垂直成分の差は１／ａになる。従って、ａの値によって、その差による影響が異なるので、ａが１の場合と、１より大きい、すなわち３，５，７，‥‥‥‥‥‥の２つの場合における補整方法を説明する。
【００３６】
まず、ａ＝１の場合について、数３の式のａに１を代入すると、動きベクトルの垂直成分は数５の式のようになる。
【００３７】
【数５】
垂直成分：ＭＶ′＝２×（ＭＶbottom＋１）
【００３８】
数４の式のａに１を代入すると、動きベクトルの垂直成分は数６の式のようになる。
【００３９】
【数６】
垂直成分：ＭＶ′＝２×（ＭＶbottom＋１）−１
【００４０】
その結果、変換前の動きベクトルＭＶbottomに０，１，２，‥‥‥‥‥‥を代入すると、数５の式による値は２，４，６，‥‥‥‥‥‥のような偶数になる。すなわち、空間・時間補整を行うと、変換前の動きベクトルは整数画素の位置に示しても、半画素の位置に示しても、変換後はすべて整数画素の位置に来る。また、数６の式による値は、１，３，５，‥‥‥‥‥‥のような奇数になる。すなわち、時間・空間補整を行うと、変換前の動きベクトルは整数画素の位置に示しても半画素の位置に示しても、変換後はすべて半画素の位置に来る。従って、変換前に整数画素の位置に示している動きベクトルは、変換後も整数画素の位置に来るようにする場合、空間・時間補整を行う。また、変換前の半画素の位置に示している動きベクトルは、変換後も半画素の位置に示すようにする場合、時間・空間補整を行う。すなわち、変換前の動きベクトルに対し、空間補整及び時間補整を交互に使用し、解像度変換後の動きベクトルに変換するか、若しくは、変換前の動きベクトルに対して、すべてが時間・空間補整を行う。
【００４１】
以上の動きベクトル変換処理が終了した後、補整前のＭＰＥＧ４の８×８の動きベクトルが出力される。出力された８×８の動きベクトルは、画像サイズ調整フラグによる動きベクトル調整器９（図７）に伝送され、外部より入力された画像サイズ調整フラグにより、画像サイズに適した動きベクトルを出力する。
【００４２】
画像サイズ調整フラグによる動きベクトル調整器９における動作を、図１４のフローチャートを参照して説明する。入力画像サイズｍ画素×ｎ画素に対して、ステップＳＴ−１１で、ｍ／２，ｎ／２が共に１６の倍数であるか否かを判別し、ｍ／２，ｎ／２が共に１６の倍数であれば、動きベクトル変換装置６から出力されたＭＰＥＧ４の８×８の動きベクトルを、処理することなくそのまま出力する。ｍ／２，ｎ／２のいずれかが１６の倍数でない場合、外部から入力された画像サイズ調整フラグが作動し、ステップＳＴ−１２で画素除去か否かが判別され、画素除去の場合は、除去された８画素の８×８の動きベクトルを出力しないで、他の８×８の動きベクトルを出力する。画素除去でない場合は、ステップＳＴ−１３で、画素補填か否かの判別を行い、画素補填の場合は、補填された８画素の８×８の動きベクトルを０に設定し、他の入力された８×８の動きベクトルと合わせて出力される。
【００４３】
再び図７に戻って説明する。画像サイズ調整フラグによる動きベクトル調整器９より出力された画像サイズに適した８×８の動きベクトルは、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１０、あるいは図１６のＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１２によって変換される。
【００４４】
図７の動きベクトル変換装置１０においては、マクロブロックを構成する４つのブロックの中、イントラでないマクロブロックから変換されたブロックの動きベクトルの和をイントラでないマクロブロックから変換されたブロックの数で割った平均を１６×１６の動きベクトルとして出力する。
【００４５】
図１６に戻って説明する。第一の方法として、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１５においては、ＭＰＥＧ２ １６×１６の動きベクトル→ＭＰＥＧ４の８×８の動きベクトル変換装置１２において生成された、当該マクロブロックに対するＭＰＥＧ４の８×８の動きベクトルのうち、もっとも符号化効率が高いと考えられるマクロブロックより生成されたものを選択し、ＭＰＥＧ４の１６×１６の動きベクトルとして出力する。
【００４６】
符号化効率の判定は、マクロブロック情報バッファ１４に格納された、画像情報変換装置の入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおけるマクロブロック毎の情報を基に行う。
【００４７】
すなわち、第一の方法は、４つのマクロブロックのうち、最も非零ＤＣＴ係数の少ないマクロブロックを符号化効率が高いとする方法である。第二の方法は、４つのマクロブロックのうち、輝度成分のＤＣＴ係数に割り当てられたビット数の最も少ないマクロブロックを符号化効率が高いとする方法である。第三の方法は、４つのマクロブロックのうち、ＤＣＴ係数に割り当てられたビット数の最も少ないマクロブロックを符号化効率が高いとする方法である。第四の方法は、４つのマクロブロックのうち、動きベクトル等を含めた、マクロブロックに割り当てられた全ビット数の最も少ないマクロブロックを符号化効率が高いとする方法である。第五の方法は、４つのマクロブロックのうち、割り当てられた量子化スケールが最も小さいマクロブロックを符号化効率が高いとする方法である。第六の方法は、４つのマクロブロックのうち、コンプレクシティの最も低いマクロブロックを符号化効率が高いとする方法である。各マクロブロックに割り当てられたコンプレクシティＸは、そのマクロブロックに割り当てられた量子化スケールＱ、及びビット数Ｂを用いて、数７の式のように計算される。
【００４８】
【数７】
Ｘ＝Ｑ・Ｂ
【００４９】
ここで、Ｂは、マクロブロック全体に割り当てられたビット数でも良いし、ＤＣＴ係数に割り当てられたビット数でも良いし、輝度成分に割り当てられたＤＣＴ係数に割り当てられたビット数でも良い。
【００５０】
再び図１６に戻って説明する。第二の方法として、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１５においては、ＭＰＥＧ２の１６×１６の動きベクトル→ＭＰＥＧ４の８×８の動きベクトル変換装置１２において生成された、当該マクロブロックに対するＭＰＥＧ４の８×８の動きベクトルのうち、もっとも重み付けが高いと考えられるマクロブロックより生成されたものを２回重複して数え、合計５つの８×８の動きベクトルのうち、中間値の長さを持つ動きベクトルをもっとも符号化効率が高いと選択し、ＭＰＥＧ４の１６×１６の動きベクトルとして出力する。ここで動きベクトルの長さの比較は水平方向、垂直方向のそれぞれの長さの二乗根の和を用い、平方根を求める処理は省略する。
【００５１】
重み付けの判定は、マクロブロック情報バッファ１４に格納された、画像情報変換装置の入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおけるマクロブロック毎の情報を元に行う。
【００５２】
すなわち、第一の方法は、４つのマクロブロックのうち、最も非零ＤＣＴ係数の少ないマクロブロックを重み付けが高いとする方法である。第二の方法は、４つのマクロブロックのうち、輝度成分のＤＣＴ係数に割り当てられたビット数の最も少ないマクロブロックを重み付けが高いとする方法である。第三の方法は、４つのマクロブロックのうち、ＤＣＴ係数に割り当てられたビット数の最も少ないマクロブロックを重み付けが高いとする方法である。第四の方法は、４つのマクロブロックのうち、動きベクトル等を含めた、マクロブロックに割り当てられた全ビット数の最も少ないマクロブロックを重み付けが高いとする方法である。第五の方法は、４つのマクロブロックのうち、割り当てられた量子化スケールが最も小さいマクロブロックを重み付けが高いとする方法である。第六の方法は、４つのマクロブロックのうち、コンプレクシティの最も低いマクロブロックを重み付けが高いとする方法である。各マクロブロックに割り当てられたコンプレクシティＸは、そのマクロブロックに割り当てられた量子化スケールＱ、及びビット数Ｂを用いて以下のように計算される。
【００５３】
【数８】
Ｘ＝Ｑ・Ｂ
【００５４】
ここで、Ｂは、マクロブロック全体に割り当てられたビット数でも良いし、ＤＣＴ係数に割り当てられたビット数でも良いし、輝度成分に割り当てられたＤＣＴ係数に割り当てられたビット数でも良い。
【００５５】
再び図７に戻って説明する。画像サイズ調整フラグによる動きベクトル調整器９より出力された画像サイズに適した８×８の動きベクトルは、ＭＰＥＧ２のイントラマクロブロックに対する動きベクトル補整器１１に入力される。そこでＭＰＥＧ２の画像圧縮情報を示すビットストリームにおいてはイントラであったマクロブロックから変換されたブロックの８×８の動きベクトルは、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１０によって求められた１６×１６の動きベクトルに置きかえることによって補整される。補整後の８×８の動きベクトルと、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１０で求めた１６×１６の動きベクトルを合わせて、ＭＰＥＧ４動きベクトルとして出力する。
【００５６】
図７のＭＰＥＧ２のイントラマクロブロックに対する動きベクトル補整器１１の詳細構成図を示す図１５を参照して、その動きベクトル補整の動作原理を説明する。画像サイズに適した８×８の動きベクトルがＭＰＥＧ２のイントラマクロブロックに対する補整器１１に入力し、イントラモードフラグが立っている場合、すなわち、ＭＰＥＧ２の画像圧縮情報を示すビットストリームにおいてはイントラマクロブロックである場合、スイッチＳＷの可動接点ｍが固定接点ａ側に倒れ、置換装置ＰＫで、そのイントラマクロブロックから変換された８×８ブロックの動きベクトルを、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１０より求められた１６×１６の動きベクトルに置き換えられる。この場合、そのイントラマクロブロックの周辺に存在するインターマクロブロックの動きベクトルから変換された動きベクトルに置換しても良く、若しくは、イントラマクロブロックに一番近いインターマクロブロックの動きベクトルから変換された動きベクトルに置換してもよい。尚、４つのブロックともイントラマクロブロックから変換された場合は、４つとも動きベクトルが０となり、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１０によって求められる１６×１６の動きベクトルも０となるため、ＭＰＥＧ４の画像符号化に用いる動きベクトルは０となり、マクロブロックタイプがイントラモードとなる。また、イントラモードフラグが立たない場合、すなわち、ＭＰＥＧ２ではイントラマクロブロックがない場合、スイッチＳＷの可動接点ｍが固定接点ｂ側に倒れ、入力された８×８の動きベクトルがそのまま出力される。
【００５７】
次に生成された動きベクトルの再検索を行う場合について説明する。インターマクロブロックに対し、画像がフレーム構造、フレーム予測である場合の動きベクトル変換の概念図を図１７に示す。図１７Ａは解像度変換前を、図１７Ｂは解像度変換後をそれぞれ示す。図３で説明したように、変換後の動きベクトルの水平成分は変換前の動きベクトルの水平成分と画像の横方向の解像度変換レートから求められる。垂直成分は変換前の動きベクトルの垂直成分と画像の縦方向の解像度変換レートから求められる。すなわち、横方向の解像度を１／２に変換した際、変換後の動きベクトルの水平成分も変換前の１／２になる。縦方向の解像度を１／２に変換した際、変換後の動きベクトルの垂直成分も変換前の１／２になる。図９に示した動きベクトルは、たとえば、変換前の（８，１２）から変換後の（４，６）になる。尚、この場合は、整数画素の中間値（半画素）の間隔を１としている。図１７Ａの解像度変換前では、黒丸は整数画素の位置を示し、菱形は半画素の位置を示している。図１７Ｂの解像度変換後では、半画素は白丸で示す。
【００５８】
図からわかるように、変換前の整数画素の位置に示している動きベクトルは、変換後整数画素若しくは半画素の位置に示すが、変換前半画素の位置に示している動きベクトルは解像度変換後、参照する画素がなくなる。そこで、変換前の動きベクトルが半画素の位置を示している場合、変換後の動きベクトルも予測画像の最も近い整数画素位置を示すようにする。これは、後に動きベクトル補整において動きベクトル周辺画素を再検索する際に、サーチウィンドウの中心画素値を整数画素にするためである。まず、サーチウィンドウ内で最も予測誤差が少ない整数画素の動きベクトルを求め、次にその整数画素周辺の９の半画素値を検索することにより処理のステップを削減している。変換前と変換後の動きベクトルの対応関係を図１９に示す。
【００５９】
以上、これに限らず、図９、１０、１１、１２に示されたように半画素動きベクトルを生成し、これを中心に再検索を行うことも可能であるが、この場合半画素値をサーチウィンドウ内で事前に求める行程が必要となり、処理工数が増えることとなる。
【００６０】
次に、画像がフレーム構造でフィールド予測である場合だが、まず、第一フィールド予測である時について、図１９の動きベクトル変換の概念図を参照して説明する。図１９Ａは解像度変換前を、図１９Ｂは解像度変換後をそれぞれ示す。動きベクトルの水平成分は、図１８で説明したのと同様な処理を行われる。垂直方向は、第一フィールドを抽出することにより、解像度を１／２に変換することを可能とする。また、予測も第一フィールド予測を行っているため、変換前の動きベクトルは、そのまま変換後の動きベクトルになる。
【００６１】
第二フィールド予測である場合の動きベクトル変換の概念図を図２０に示す。図２０Ａは解像度変換前を、図２０Ｂは解像度変換後をそれぞれ示す。解像度変換した際、第一フィールドのみが抽出されるため、変換後は第一フィールドの画素値を参照画像として用いる。フィールドのライン補整及び時間方向の動きベクトル補整は図１２で説明している方法と同様に補整を行い、その後水平方向の画素値は変換後に整数画素を示すように、図１８と同様な処理が行われる。
【００６２】
次に図２１を用いて再検索による動きベクトル補整処理を説明する。すなわち、動きベクトル補整装置は、図２の動きベクトル変換装置６により、スケーリングされた動きベクトルを入力とし、符号化効率を高めるために再検索により補整された動きベクトルを出力とする。また、動きベクトル補整方向情報フラグによるサーチウィンドウのサイズを設定する。動きベクトル補整方向情報フラグに関しては後に図２３及び２４を用いて説明する。
【００６３】
すなわち、動きベクトル補整装置はより精度が高い動きベクトルを求めるために動きベクトル変換装置６により動きベクトルのスケーリングにより生じた歪みを再検索によって補整する。まず、入力されたＭＰＥＧ４の８×８の動きベクトルの周辺画素を水平方向±２整数画素、垂直方向±１画素の動きベクトル検索を行う。これにより、動きベクトル変換装置６による求められた動きベクトルを中心にサーチウィンドウを水平５画素、垂直３画素に抑え、動きベクトル検索の処理数を大幅に減少させることが可能となる。以上、サーチウィンドウを水平５画素、垂直３画素に設定したが、ここではこれに限らず、水平、垂直方向のサーチウィンドウの検索画素数は任意に選択しても良い。また、検索処理数を削減させるために後に説する動きベクトル補整方向情報フラグを用いて、動きベクトルの補整用サーチウィンドウの大きさを動きベクトルの進行方向に対し、順方向、逆方向非対称に設定しても良い。
【００６４】
図２２に動きベクトル変換装置（本願出願時に未公知の先行例）の構成ブロック図を示す。動きベクトル変換装置は図２の動きベクトル変換装置６に示したものと同様である。まず、変換装置２２１では、上述した動きベクトルの空間・時間補整を行って、８×８の動きベクトルを生成する。次に、検索装置２２２において、８×８の動きベクトルに上述したように、８×８の動きベクトルの再検索処理を行う。例えば、生成された８×８の動きベクトルの参照先を中心に、検索サーチウィンドウを整数画素で縦横２画素ずつで検索を行う。これにより８×８の動きベクトルの予測精度を向上させることが可能である。次に一つのマクロブロックを構成する４つの８×８の動きベクトルそれぞれに対して再検索された予測誤差及び、再検索処理を施した８×８の動きベクトルを、変換装置２２３へ入力する。
【００６５】
変換装置２２３では４つの８×８の動きベクトルのうち、８×８の動きベクトル再検索時に求められた予測残差のうち、最も予測誤差が少ない動きベクトルを判別し、１６×１６の動きベクトルに割り当てる。次に生成された１６×１６の動きベクトルを上述と同様に検索装置２１４において再検索処理を行って、１６×１６の動きベクトルの予測精度を向上させる。これによりＭＰＥＧ４の８×８の動きベクトル及び、１６×１６の動きベクトルを生成し、出力する。
【００６６】
出力された８×８の動きベクトル及び１６×１６の動きベクトルは、それぞれ半画素検索装置２２５に入力され、半画素精度で８×８及び１６×１６の動きベクトルが出力される。
【００６７】
ここで図２３及び図２４を用いて図２１及び図２２に示した動きベクトル補整方向情報フラグについて説明する。動きベクトル補整装置は動きベクトル補整方向情報フラグにより動きベクトルの進行方向に対して、再検索サーチウィンドウのサイズを設定する。まず、図２３Ａに示すように変換前のＭＰＥＧ２動きベクトルが整数画素であり変換後のＭＰＥＧ４動きベクトルも整数画素値である場合は、同位相の画素が存在し、動きベクトルの画素値に歪みが生じないため、動きベクトル補整のサーチウィンドウは動きベクトルの進行方向に対して対称に設定する。図２３Ｂに示すように変換前のＭＰＥＧ２動きベクトルが整数画素値であり、変換後のＭＰＥＧ４動きベクトルが半画素精度である場合、動きベクトルの進行方向に対し、繰り上げにより近似のＭＰＥＧ４の整数画素値に修正するため、サーチウィンドウは動きベクトルの進行方向に対し、逆方向に大きくとることにより検索処理数を削減することが可能となる。例えば、動きベクトルと逆方向に２整数画素値、順方向に▲１▼整数画素値で検索する。勿論、動きベクトル変換時にＭＰＥＧ４の動きベクトルを繰り下げにより近似のＭＰＥＧ４の整数画素値とした場合、サーチウィンドウの設定は動きベクトルの進行方向に対して順方向に大きく設定する。
【００６８】
図２４Ａ、Ｂの場合も同様に変換前のＭＰＥＧ２動きベクトルが半画素精度を示し、ＭＰＥＧ４動きベクトルに変換する際に最も近いＭＰＥＧ４の整数画素値に修正するため、図２３Ｂのケースと同様に歪みが生じる方向を基にＭＰＥＧ４の動きベクトル補整装置のサーチウィンドウを動きベクトルの進行方向に対し、順方向または逆方向に大きく設定することが出来る。これにより、動きベクトル再検索の処理数を減少させるため、動きベクトルの歪みの方向を動きベクトル装置６より出力し、動きベクトル補整装置に入力し、動きベクトルの補整検索を行うのに、最適なサーチウィンドウの大きさを設定することが出来る。
【００６９】
ＭＰＥＧ４の画像符号化装置７では、解像度フレームレート変換装置５からの出力画像を受け取り、動きベクトル変換装置６から出力されたＭＰＥＧ４の動きベクトルを用いて、ＭＰＥＧ４の画像符号化方式により符号化を行い、ＭＰＥＧ４の画像圧縮情報を示すビットストリームを出力する。
【００７０】
以下に、本発明者らが発明した動きベクトル変換方法及び変換装置（本願出願時未公知）について説明する。
【００７１】
図２５にＭＰＥＧ２ストリームからＭＰＥＧ４ストリームへのピクチャタイプとＶＯＰ(Video Object Plane)タイプの対応概念図を示す。ＧＯＰ（画面グルーブ）構造がＮ１５Ｍ３である毎秒３０フレームのＭＰＥＧ２のストリームをＧＯＰ構造Ｎ５Ｍ１である毎秒５フレームのＭＰＥＧ４のストリームに変換する場合、Ｉ及びＰフレーム（Ｉ−frame 、Ｐ−frame ）を一枚置きにＭＰＥＧ４に変換する。図２５に示すようＭＰＥＧ２のストリームのＮ１５Ｍ１の２ＧＯＰにＭＰＥＧ４のストリームのＮ５Ｍ１の１ＧＯＶが対応するため、ＭＰＥＧ２からＭＰＥＧ４への変換の際にＰフレームを破棄する場合とＩフレームを破棄する場合とがある。
【００７２】
まず、Ｉフレームを破棄する場合について、図２６の概念図について説明する。ＰフレームＰn-2 及びＰn-1 間のＩフレームＩn-1 においては動きベクトルが存在しないため、当該マクロブロックの動きベクトルＭＶn に捨てられたＩフレームの動きベクトルを足し合わせて動きベクトルを合成することはできない。そこで、当該マクロブロックにおいては、先行例の技術で説明した方式に基づき、当該マクロブロックの動きベクトルＭＶn をスケーリングにより空間・時間補整を施し、次に捨てられたＰフレームの前のＩまたはＰフレームより変換されたＭＰＥＧ４のＶＯＰを参照するように時間方向の動きベクトルＭＶn の長さを２倍に伸張して、動きベクトル２＊ＭＶn を得る。これにより、当該Ｐ−ＶＯＰの動きベクトルが捨てられたフレームの直前のＩまたはＰフレームより変換されたＶＯＰを参照する。このようにして、空間・時間補整によるスケーリングを行い、その後に時間方向に２倍に伸張された動きベクトルを生成し、８×８の動きベクトルとして出力する。
【００７３】
次に、Ｐフレームを破棄する場合について、図２７、図２８、図２９及び図３０を参照して説明する。まず、図２７にＰフレームを破棄する場合の処理の概念図を示す。ＩフレームＩn-1 及びＰフレームＰn 間の破棄されるＰフレームＰn- 1 は動きベクトルＭＶn-1 を有しているため、当該マクロブロックの動きベクトルＭＶｎに、破棄されるＰフレームの動きベクトルＭＶn-1 を足し合わせて、破棄されるＰフレームの前のフレームを参照する動きベクトル（ＭＶn-1 ＋ＭＶｎ）を生成する。
【００７４】
図２８に示すように、当該マクロブロックの動きベクトルは破棄されるフレームを参照するが、このとき参照する画素は複数のマクロブロックに重なる。
【００７５】
図２９に参照画素（ＭＢ0 ）がどのように複数のマクロブロックに重なるかを示す。図からわかるように、参照画素（ＭＢ0 ）は、１つ、または２つ、または４つのマクロブロック（ＭＢ）に重なる(Overlap) 場合がある。その参照画素（ＭＢ0 ）のマクロブロックＭＢと重なった部分を、 refＭＢ＃0 、 refＭＢ＃1 、 refＭＢ＃2 、 refＭＢ＃3 として示す。破棄される（Dropped)Ｐフレームの動きベクトル及び、マクロブロックモード並びに予測モードまたはビット数、または量子化スケールは後に動きベクトルの足し合わせの合成を行うため、動きベクトル及びマクロブロック情報バッファにフレーム単位で格納する。ＭＰＥＧ２からＭＰＥＧ４への動きベクトル変換を行う当該マクロブックにおいて、まず破棄されたＰフレーム上で当該動きベクトルが参照する座標を計算する。図２９に示すように、当該動きベクトルが参照する座標によっては参照画素（ＭＢ0 ）が破棄される参照Ｐフレームの１つ、または２つまたは４つのマクロブロック（ＭＢ）と重なる場合がある。複数のマクロブロックに重なる場合には予め定めたパラメータＸに基づいて、マクロブロックの符号化効率の順番を降順に並べ換える。
【００７６】
すなわち、第１の方法では、パラメータＸを「マクロブロックに重なっている画素数」とし、第２の方法では、パラメータＸを「マクロブロックの重なっている画素数／マクロブロックのビット数」とし、第３の方法では、パラメータＸを「マクロブロックの重なっている画素数／Ｑ−スケール」（Ｑ−スケールは、マクロブロック量子化スケールを意味する）とし、第４の方法では、パラメータＸを「マクロブロックの重なっている画素数／（マクロブロックのビット数×Ｑ−スケール）とし、第５の方法では、パラメータＸを（１／マクロブロックのビット数）とし、第６の方法では、パラメータＸを（１／Ｑ−スケール）とし、第７の方法では、Ｘを１／（マクロブロックのビット数×Ｑ−スケール）とする。そして、パラメータＸの最も大きいものを最大値とし、パラメータＸの最も小さいものを最小値とする。図２８では、第１〜第４の方法におけるパラメータＸを示している。図２８において、ＭＢ overlapped areaは、マクロブロックに重なっている画素数を示す。Ｃoef bitsは、マクロブロックのビット数を示す。Ｑ-scaleは、マクロブロック量子化スケールを示す。
【００７７】
図３０にＰフレームを破棄する場合の動きベクトル合成アルゴリズムのフローチャートを示し、以下これについて説明する。まず、当該マクロブロックのＭＰＥＧ２動きベクトルが参照する画素に重複する（重なる）、マクロブロックを構成する１つまたは２つまたは４つのマクロブロック（ＭＢ）のうち、マクロブロック（ＭＢ）モードがNot Coded （ＤＣＴ係数が符号化されていない）であり、且つ、重複する（重なる）画素値が閾値Ｔ以上であるマクロブロックを検索する（ステップＳＴ−２１）。閾値Ｔは例えば１００画素とする。重複するマクロブロックのうち一つでもNot Coded のマクロブロック（ＭＶ）が含まれていれば、そのマクロブロック（ＭＶ）アドレスが最も若いNot Coded のマクロブロックの動きベクトルＭＶn-1 を選択する（ステップＳＴ−２２）。
【００７８】
当該マクロブロックのＭＰＥＧ２動きベクトルが参照する画素に重複する、マクロブロックを構成する１つまたは２つまたは４つのマクロブロックのうちNot Coded （ＤＣＴ係数が符号化されていない）のマクロブロックが存在しない場合には、次に、マクロブロックモードが No MC（動き補償なし）であり、且つ、重複する画素値が閾値Ｔ以上であるマクロブロックを検索する（ステップＳＴ−２３）。閾値Ｔは例えば１００画素とする。重複するマクロブロックのうち、一つでもNo MC のマクロブロックが含まれていれば、そのマクロブロックアドレスが最も若いNot Coded のマクロブロックの動きベクトルＭＶn-1 を選択する（ステップＳＴ−２４）。
【００７９】
当該マクロブロックのＭＰＥＧ２動きベクトルが参照する画素に重複する（重なる）、マクロブロックを構成する１つまたは２つまたは４つのマクロブロックのうち重複するマクロブロックにNot Coded ＤＣＴ係数が符号化されていない）及びNo MC （動き補償なし）が存在しない場合には、次に、上述したパラメータＸが最も大きいマクロブロックより順番にマクロブロック（ＭＢ）モードがイントラマクロブロック（ＭＢ）であるかを判別する（ステップＳＴ−２５）。若し、参照マクロブロックがイントラマクロブロックであれば、次にパラメータＸが大きいマクロブロックがイントラマクロブロックであるかを判別し、当該マクロブロックが参照する画素に重複するマクロブロック全てがイントラマクロブロックであるかを判別する（ステップＳＴ−２６）。当該マクロブロックが参照する画素に重複するマクロブロック全てがイントラマクロブロックであれば、ゼロの動きベクトル（ＭＶ）を選択する（ステップＳＴ−２７）。
【００８０】
ステップＳＴ−２５で、イントラマクロブロックでないマクロブロックを検索した場合には、次の判別ルーチンに移る。すなわち、イントラマクロブロックでないマクロブロックにおいて、予測モードが、第２フィールドを参照するフィールド予測であるかを判別する（ステップＳＴ−２８）。第２フィールドを参照するフィールド予測である場合、パラメータＸが次に大きい参照マクロブロックにおいて同様の判別を行う（ステップＳＴ−２９）。Ｎ（イントラマクロブロックの個数）個の参照マクロブロックが第２フィールドを参照するフィールド予測である場合には、最も大きなパラメータＸをもった参照マクロブロック（ＭＢ）の動きベクトルＭＶn-1 を選択する（ステップＳＴ−３０）。Ｎは予め定めた数であり、１〜４の値を持つ。第２フィールドを参照するフィールド予測でないマクロブロックを検索した場合には、そのマクロブロックの動きベクトルＭＶn-1 を選択する（ステップＳＴ−３１）。このようにして当該マクロブロックの動きベクトルに足し合わせる動きベクトルを選択する。
【００８１】
図３１に動きベクトルの第２フィールドを参照する動きベクトルの時間補整を示す。足し合わせた動きベクトルのスケーリング方法は先行例の技術で述べた動きベクトルの空間・時間補整を施すスケーリング方法と同様の方法で行う。よって、足し合わせたベクトルが参照フレームの第２フィールドを参照する場合は、動きベクトルの垂直成分に対し、フィールド補整を行い、さらに時間方向のベクトル補整として１フィールド間隔分動きベクトルを伸張する。図に示すように当該フィールドと参照する第２フィールドのフィールド間隔がａであり、よって１フィールド分の時間補整を施すのに動きベクトルに（ａ＋１）／ａを掛ける。このようにして８×８の動きベクトルを求めて出力する。
【００８２】
図３２にＩフレームを破棄する場合の動きベクトル変換装置の構成ブロック図を示す。動きベクトル変換装置は図２の動きベクトル変換装置６に示したのと同様である。まず、ＭＰＥＧ２の動きベクトルを動きベクトル空間・時間補整装置３２１に入力して、上述と同様に、動きベクトルの空間・時間補整を行い８×８の動きベクトルを生成する。次に８×８の動きベクトルを８×８ＭＶ再検索装置３２２に入力して、先行例の技術で説明したように、８×８の動きベクトルの再検索処理を行う。例えば、生成された８×８の動きベクトルの参照先を中心に、検索サーチウィンドウを整数画素で縦横２画素ずつで検索を行う。これにより８×８の動きベクトルの予測精度を向上させることが可能である。次に一つのマクロブロックを構成する４つの８×８の動きベクトルそれぞれに対して再検索された予測誤差及び、再検索処理を施した８×８の動きベクトルを８×８ＭＶ→１６×１６ＭＶ変換装置３２３に入力する。
【００８３】
８×８ＭＶ→１６×１６ＭＶ変換装置３２３では、４つの８×８の動きベクトルのうち、最も予測誤差が少ない動きベクトルを判別し、１６×１６の動きベクトルに割り当てる。次に生成された１６×１６の動きベクトルを、１６×１６ＭＶ再検索装置３２４に入力して、先行例の技術で述べたのと同様に再検索処理を行い、１６×１６の動きベクトルの予測精度を向上させる。これによりＭＰＥＧ４の８×８の動きベクトル及び、１６×１６の動きベクトルが生成されて出力される。
【００８４】
次に、図３３にＰフレームを破棄する場合の動きベクトル変換装置の更に他の例の構成ブロック図を示す。図３３の動きベクトル変換装置は図２の動きベクトル変換装置６に示したのと同様である。まず、ＭＰＥＧ２の動きベクトルが入力される切換えスイッチ３５１は、破棄するＰフレームの情報が来た場合には、ＭＶ及びＭＢ情報バッファ３５２側に切換えられ、それの以外Ｐフレームの情報が来た場合には、参照ＭＢアドレス計算装置３５４及び動きベクトル伸長空間・時間補整装置３５７側に切換えられる。
【００８５】
ＭＶ及びＭＢ情報バッファ３５２では、破棄するＰフレームの動きベクトル情報及びマクロブロック予測モードをフレーム単位で格納し、場合によってはマクロブロック毎のビット量及び量子化スケールをも格納する。参照ＭＢアドレス計算装置３５４においては、破棄するＰフレームの次のＰフレームの動きベクトルを入力とし、その当該動きベクトルの参照位置を計算する。動きベクトルの参照位置は足し合わせ動きベクトル判定装置３５３に入力され、参照位置を基に、参照画素に重なる破棄するＰフレームのマクロブロックを算出する。足し合わせ動きベクトル判定装置３５３では、この情報を利用し、上述した足し合わせる動きベクトルを選択する手法に基づき処理を行い、足し合わせる動きベクトルを出力する。出力された動きベクトルは当該マクロブロックの動きベクトルと足し合わせ、合成された動きベクトルを生成する。
【００８６】
次に、合成された動きベクトルは、動きベクトル空間・時間補整装置３５５に入力され、先行例の技術及び上段に述べた空間・時間の補整スケーリングにより変換を行って動きベクトルを生成する。動きベクトル伸長空間・時間補整装置３５７及び動きベクトル再検索装置３５８は、動きベクトルを伸張方式により求める手法であり、それぞれ動きベクトル空間・時間補整装置３２１及び８×８の動きベクトル再検索装置３２２と同様の処理を行う。これにより動きベクトルを生成する。動きベクトル再検索装置３５６及び動きベクトル再検索装置３５８より出力された動きベクトルは、それぞれ８×８の動きベクトル選択装置３５９に入力され、８×８の動きベクトル選択装置３５９において２つの動きベクトルより予測残差の少ない動きベクトルを８×８の動きベクトルとして出力する。８×８ＭＶ→１６×１６ＭＶ動きベクトル変換装置３６０及び１６×１６の動きベクトル再検索装置３６１の処理は、図３２の動きベクトル変換装置における８×８ＭＶ→１６×１６ＭＶ動きベクトル変換装置３２３及び１６×１６の動きベクトル再検索装置３２４と同様の処理を施して、１６×１６の動きベクトルを生成する。これによりＭＰＥＧ４の８×８の動きベクトル及び１６×１６の動きベクトルを生成して出力する。
【００８７】
このようにＰフレームを破棄する場合には一つのマクロブロックを構成する４つのブロックそれぞれにおいて動きベクトルの伸張により求められた動きベクトル、及び動きベクトルの足し合わせにより求められた動きベクトルの２つが存在する。それぞれの動きベクトルに対し、次の再検索処理を施し、予測残差が少ないものをＭＰＥＧ４の８×８の動きベクトルとして出力する。再検索の方法は先行例の技術で述べた方法と同様で例えばサーチウィンドウの検索範囲は縦横２整数画素とする。これにより、一つのマクロブロックを構成する４つのブロックそれぞれにおいて２つの動きベクトルを再検索により求めることが出来る。
【００８８】
次に、一つのブロックにおいて、これら２つの動きベクトルの予測残差を比較し、予測残差の少ないものをＭＰＥＧ４の８×８の動きベクトルとして出力する。このように、動きベクトルの伸張をする方式と動きベクトルの足し合わせを行う方式のうち、最も符号化効率の高い動きベクトルを選択し、８×８の動きベクトルを生成することが可能である。次に、一つのマクロブロックにおいて、４つのＭＰＥＧ４ ８×８の動きベクトル再検索より求められる予測誤差を比較し、最も予測誤差の少ない８×８の動きベクトルを判定する。この最も予測誤差が少ない８×８の動きベクトルを１６×１６の動きベクトルに割り当てる。次に選択された１６×１６の動きベクトルにおいても、上述に述べた８×８の動きベクトル再検索方法と同様に再検索を行い、１６×１６の動きベクトルの符号化効率を最適化する。
【００８９】
このように、ＭＰＥＧ２の画像情報圧縮情報を入力とし、ＭＰＥＧ４の８×８及び１６×１６の動きベクトルを求める手順において、動きベクトル変換装置により、動きベクトルを伸張または足し合わせ、さらにスケーリングされた動きベクトル情報を、動きベクトルを中心とした、再検索による動きベクトル補整を行うことにより、ＭＰＥＧ４画像符号化装置における符号化効率の低減を最小にすることが可能である。
【００９０】
次に、図３４に動きベクトル変換装置の他の例の構成ブロック図を示す。図３４の動きベクトル変換装置は図２の動きベクトル変換装置６に示したものと同様である。まず、ＭＰＥＧ２→ＭＰＥＧ４の８×８ＭＶ変換装置２７１では上述した動きベクトルの空間・時間補整を行い８×８の動きベクトルを生成する。次に、動きベクトル整数画素検索装装置２７２において、８×８の動きベクトルに先行例の技術で説明したように、８×８の動きベクトルの再検索処理を行う。例えば、生成された８×８の動きベクトルの参照先を中心に、検索サーチウィンドウを整数画素で縦横２画素ずつで検索を行う。これにより８×８の動きベクトルの予測精度を向上させることが可能である。次に一つのマクロブロックを構成する４つの８×８の動きベクトルそれぞれに対して再検索された予測誤差及び、再検索処理を施した８×８の動きベクトルを、８×８の動きベクトル→１６×１６の動きベクトル変換装置２７３へ入力する。
【００９１】
８×８の動きベクトル→１６×１６の動きベクトル変換装置２７３では、４つの８×８の動きベクトルのうち、８×８の動きベクトル再検索時に求められた予測残差のうち、最も予測誤差が少ない動きベクトルを判定し、１６×１６の動きベクトルに割り当てる。次に生成された１６×１６の動きベクトルを先行例の技術で述べたのと同様に、動きベクトル整数画素検索装置２７４において再検索処理を行い、１６×１６の動きベクトルの予測精度を向上させる。これによりＭＰＥＧ４の８×８の動きベクトル及び、１６×１６の動きベクトルを生成して出力する。
【００９２】
出力された８×８の動きベクトル及び１６×１６の動きベクトルをそれぞれ半画素検索装置２７５に入力され、半画素精度で８×８及び１６×１６の動きベクトルが出力される。
【００９３】
このように、ＭＰＥＧ２画像情報圧縮情報を入力とし、ＭＰＥＧ４の８×８及び１６×１６の動きのベクトルを求める手順において、動きベクトル変換装置により、動きベクトルを伸張または足し合わせ、さらにスケーリングされた動きベクトル情報を、動きベクトルを中心とした、再検索による動きベクトル補整を行うことにより、ＭＰＥＧ４画像符号化装置における符号化効率の低減を最小にすることが可能である。
【００９４】
【発明が解決しようとする課題】
上述した図３４の動きベクトル変換装置では、ＭＰＥＧ２の動きベクトルを変換し、ＭＰＥＧ４の動きベクトルが生成されている。しかしながら、ＭＰＥＧ２のイントラフレームの動きベクトルをＭＰＥＧ４に変換する際に、動きベクトル情報を生成せずに、ＭＰＥＧ４のＩ−ＶＯＰ（ＭＰＥＧ４でイントラモードで符号化されるフレームを意味する）として変換され、ＭＰＥＧ４のビットストリームのＩ−ＶＯＰ間隔が狭く、ＭＰＥＧ４の画像圧縮情報（ビットストリーム）に変換された後に符号化効率が低下するという問題点を有している。
【００９５】
かかる点に鑑み、本発明は、飛び越し走査のＭＰＥＧ２の画像圧縮情報を示すビットストリームを入力とし、順次走査のＭＰＥＧ４の画像圧縮情報を示すビットストリームを出力とする画像情報変換方法における動きベクトル変換方法において、画像情報変換方法におけるＭＰＥＧ４の画像符号化の符号化効率を一層高くすることのできるものを提案しようとするものである。
【００９６】
又、本発明は、飛び越し走査のＭＰＥＧ２の画像圧縮情報を示すビットストリームを入力とし、順次走査のＭＰＥＧ４の画像圧縮情報を示すビットストリームを出力とする画像情報変換装置における動きベクトル変換装置において、画像情報変換装置におけるＭＰＥＧ４の画像符号化装置の符号化効率を一層高くすることのできるものを提案しようとするものである。
【００９７】
【課題を解決するための手段】
本発明は、ビットストリームを復号して画像データを生成し、復号により生成された画像データのＰピクチャを一枚置きに破棄し、復号により生成された画像データのＩピクチャを対象ピクチャとして、該対象ピクチャをＰピクチャとして符号化する場合に、対象ピクチャの直前にある破棄されるＰピクチャが参照する参照ピクチャに対する動きベクトルの時間方向の長さを伸張することにより、対象ピクチャが参照ピクチャを参照する参照動きベクトルを生成し、生成された参照動きベクトルを利用して、所定間隔でＰピクチャが破棄された画像データを符号化するようにしたものである。なお、復号により生成された映像データにおいては、破棄の対象とならないＰピクチャがＩピクチャの直前に存在していないようにしている。
【０１０４】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態の動きベクトル変換方法及び変換装置の例を説明する。図３５を参照して、イントラフレームから変換されるＶＯＰをＰ−ＶＯＰに変換する方法を説明する。当該フレームがイントラフレームである場合、動きベクトルを所有しないため、画像符号化に動き補償予測を利用できず、符号化効率が下がる。そこで、動き補償予測用に動きベクトルを生成するために、破棄する直前のＰフレームの動きベクトルをバッファに格納し、上述した空間・時間補整用のスケーリングを行い、当該フレームの同位置のマクロブロックにそれぞれ複製する。次に、直前のＰフレームは破棄されるため、参照フレームとの時間間隔が２倍になる。よって、複製した動きベクトルを時間方向に２倍に伸張し、破棄するＰフレームの直前のＰフレームを参照するように補整を行う。
【０１０５】
図３６に動きベクトル変換装置のブロック構成図を示す。図２の動きベクトル変換装置６に相当する動きベクトル変換装置部を示したものが図３６のブロック図である。スイッチ３６１はＩ→Ｐ−ＶＯＰ動きベクトル（ＭＶ）変換フラグにより動作し、ＭＰＥＧ４に変換するＭＰＥＧ２イントラフレーム及びその直前のＭＰＥＧ２がＰフレームの時には、Ｉ→Ｐ−ＶＯＰ動きベクトル変換装置３６２側に切り換えられ、それ以外のフレームでは、Ｐ→Ｐ−ＶＯＰ動きベクトル変換装置３６３側に切り換えられる。
【０１０６】
Ｉ→Ｐ−ＶＯＰ変換装置３６２については、後に説明する。Ｐ→Ｐ−ＶＯＰ変換装置３６３は、図１の従来の技術で説明した動きベクトル変換装置と同様の処理を行う。
【０１０７】
図３７にＩ→Ｐ−ＶＯＰ動きベクトル変換装置の構成ブロック図を示す。まず、ＭＰＥＧ２の動きベクトルバッファ３７１にＩフレームの破棄する直前のＰフレームの動きベクトルを格納する。Ｉフレームのマクロブロックにそれぞれ破棄するＰフレーム内の同位置のマクロブロックの動きベクトルを複製する。ＭＰＥＧ２→ＭＰＥＧ４の８×８のＭＶ変換装置３７２においては、上述の技術で述べた動きベクトルの空間・時間補整を行った後に、Ｐフレームの破棄する直前のＰフレームを参照するように時間方向に動きベクトルを２倍に伸張する。変換されたＭＰＥＧ４の８×８動きベクトルは、０ＭＶと予測誤差の比較装置３７３に入力され、動きベクトルが０の予測と、予測残差とを比較し、０動きベクトルの予測残差が生成した８×８の動きベクトルの予測残差より小さい場合には、８×８の動きベクトルを０に置き換える。これにより出力された８×８の動きベクトルは、動きベクトル整数画素検索装置３７４において、上述の技術で説明した方法と同様に、整数画素値で指定された任意のサーチウィンドウ内で再検索を行い、動きベクトルの予測精度を向上させる。
【０１０８】
そして、８×８ＭＶ→１６×１６ＭＶ変換装置３７５において、生成された８×８動きベクトル及びそれぞれの予測残差を入力とし、一つのマクロブロックを構成する４つのブロックのうち、最も予測残差が少なかった８×８の動きベクトルを１６×１６の動きベクトルに割り当てて出力する。０ＭＶと予測誤差の比較装置３７６は、生成された１６×１６の動きベクトルを入力とし、０動きベクトルの予測残差と比較し、０動きベクトルの予測残差が生成された１６×１６の動きベクトルより予測残差が少なければ、１６×１６の動きベクトルを０に置き換える。これにより生成された１６×１６の動きベクトルを動きベクトル整数画素検索装置３７７の入力とし、動きベクトル整数画素検索装置３７７では１６×１６の動きベクトルを上述の技術で説明した方法に基づいて、整数画素で再検索を行って出力する。整数画素値で求められた８×８及び１６×１６の動きベクトルは、それぞれ動きベクトル半画素検索装置３７８に入力され、半画素精度でＭＰＥＧ４の８×８及び１６×１６の動きベクトルを出力する。
【０１０９】
以上、入力としてＭＰＥＧ２の画像圧縮情報を示すビットストリームを、出力としてＭＰＥＧ４の画像圧縮情報を示すビットストリームを対象としてきたが、入力、出力ともこれに限らず、例えばＭＰＥＧ−１やＨ．２６３などの画像圧縮情報（ビットストリーム）でも良い。
【０１１０】
【発明の効果】
本発明は、ビットストリームを復号して画像データを生成し、復号により生成された画像データのＰピクチャを一枚置きに破棄し、復号により生成された画像データのＩピクチャを対象ピクチャとして、該対象ピクチャをＰピクチャとして符号化する場合に、対象ピクチャの直前にあって破棄されるＰピクチャが参照する参照ピクチャに対する動きベクトルの時間方向の長さを伸張することにより、対象ピクチャが参照ピクチャを参照する参照動きベクトルを生成し、生成された参照動きベクトルを利用して、所定間隔でＰピクチャが破棄された画像データを符号化するようにしたものである。
【０１１７】
本発明によれば、画像符号化の符号化効率を一層高くすることのできる画像処理装置及び画像処理方法を得ることができる。
【図面の簡単な説明】
【図１】ＭＰＥＧ２の画像圧縮情報を示すビットストリームからＭＰＥＧ４の画像情報圧縮装置を示すビットストリームへの変換を実現する画像情報変換装置の従来例を示すブロック線図である。
【図２】筆者らの発明によるＭＰＥＧ２の圧縮画像情報を示すビットストリームからＭＰＥＧ４の圧縮画像情報を示すビットストリームへの変換を実現する画像情報変換装置（先行例）の構成を示すブロック線図である。
【図３】ＭＰＥＧ２の画像圧縮情報を示すビットストリーム中の動きベクトルと、ＭＰＥＧ４の画像圧縮情報を示すビットストリーム中の動きベクトルの相関を示す説明図である。
【図４】図２の画像情報変換装置における解像度フレームレート変換装置５における動作原理を示す説明図である。
【図５】図２の画像情報変換装置における画枠サイズ調整フラグに応じた解像度フレームレート変換装置５における画素の補填或いは除去の動作原理を示す説明図である。
【図６】図２の画像情報変換装置における動きベクトル変換装置６における動きベクトル変換方法を示す説明図である。
【図７】図２の画像情報変換装置における動きベクトル変換装置６の具体構成を示すブロック線図である。
【図８】図２の画像情報変換装置におけるＭＰＥＧ２の１６×１６の動きベクトル→ＭＰＥＧ４の８×８の動きベクトル変換装置８における動作原理を示すフローチャートである。
【図９】図７の動きベクトル変換装置におけるＭＰＥＧ２の１６×１６の動きベクトル→ＭＰＥＧ４の８×８の動きベクトル変換装置８でのフレーム構造、フレーム予測の場合の動きベクトル変換の概念を示す説明図である。
【図１０】図９におけるＭＰＥＧ２の画像圧縮情報を示すビットストリーム中の半画素精度の動きベクトルの、ＭＰＥＧ４の８×８の動きベクトルへの変換後の取り扱いを示す表図である。
【図１１】図９における画像がフレーム構造で、第一フィールド予測であるときの動きベクトル変換の概念を示す説明図である。
【図１２】図９における画像がフレーム構造で、第二フィールド予測であるときについての動きベクトル変換の概念を示す説明図である。
【図１３】図９における画像がフレーム構造で、第二フィールド予測であるときについての動きベクトル変換の概念を示す説明図である。
【図１４】図７の動きベクトル変換装置における画像サイズ調整フラグによる動きベクトル調整器９の動作を示すフローチャートである。
【図１５】図７の動きベクトルにおけるＭＰＥＧ２のイントラマクロブロックに対する動きベクトル補整器１１の動作原理を示すブロック線図である。
【図１６】図２の画像情報変換装置における動きベクトル変換装置６の具体構成を示すブロック線図である。
【図１７】図７の動きベクトル変換装置における動きベクトル再検索を行うＭＰＥＧ２の１６×１６の動きベクトル→ＭＰＥＧ４の８×８の動きベクトル変換装置８でのフレーム構造、フレーム予測の場合の動きベクトル変換の概念を示す説明図である。
【図１８】図７の動きベクトル変換装置における動きベクトル再検索を行う場合のＭＰＥＧ２の画像圧縮情報を示すビットストリーム中の半画素精度の動きベクトルの、ＭＰＥＧ４ ８×８の動きベクトルへの変換後の取り扱いを示した表図である。
【図１９】図７の動きベクトル変換装置における動きベクトル再検索を行う場合の画像がフレーム構造で、第一フィールド予測である時について動きベクトル変換の概念を示す説明図である。
【図２０】図７の動きベクトル変換装置における動きベクトル再検索を行う場合の画像がフレーム構造で、第二フィールド予測であるときの動きベクトル変換の概念を示す説明図である。
【図２１】動きベクトル補整装置を示すブロック線図である。
【図２２】８×８動を動きベクトルに施し、予測残差に基づき１６×１６の動きベクトルを生成する方式の動きベクトル再検索装置を示すブロック線図である。
【図２３】空間補整による動きベクトルの歪を示す説明図である。
【図２４】空間補整による動きベクトルの歪を示す説明図である。
【図２５】フレーム破棄の説明図である。
【図２６】Ｉフレーム破棄の説明図である。
【図２７】Ｐフレーム破棄の説明図である。
【図２８】Ｐフレーム破棄の説明図である。
【図２９】参照画素がどのように複数のマクロブロックに重なるかを示す説明図である。
【図３０】Ｐフレームを破棄する場合の動きベクトル合成アルゴリズムを示すフローチャートである。
【図３１】動きベクトルの第２フィールドを参照する動きベクトルの時間補整の説明図である。
【図３２】動きベクトル変換装置を示すブロック線図である。
【図３３】動きベクトル変換装置を示すブロック線図である。
【図３４】動きベクトル変換装置を示すブロック線図である。
【図３５】本発明の実施の形態の動きベクトル変換方法の例のイントラフレームから変換されるＶＯＰをＰ−ＶＯＰに変換する方法を示す説明図である。
【図３６】本発明の実施の形態の動きベクトル変換装置の例を示すブロック線図である。
【図３７】本発明の実施の形態のＩ→Ｐ動きベクトル変換装置の例を示すブロック線図である。
【符号の説明】
３６１ 切り換えスイッチ、３６２ Ｉ→Ｐ−ＶＯＰ動きベクトル変換装置、３６３ Ｐ→Ｐ−ＶＯＰ動きベクトル変換装置、３７１ ＭＰＥＧ２動きベクトルバッファ、３７２ ＭＰＥＧ２→ＭＰＥＧ４ ８×８ＭＶ変換装置、３７３ ０ＭＶと予測誤差の比較装置、３７４ 動きベクトル整数画素検索装置、３７５８×８ＭＶ→１６×１６ＭＶ変換装置、３７６ ０ＭＶと予測誤差の比較装置、３７７ 動きベクトル整数画素検索装置、３７８ 動きベクトル半画素検索装置。
Claims (11)
- ビットストリームを復号して画像データを生成する復号手段と、
上記復号手段により生成された画像データのＰピクチャを一枚置きに破棄する破棄手段と、
上記復号手段により生成された画像データのＩピクチャを対象ピクチャとして、該対象ピクチャをＰピクチャとして符号化する場合に、上記対象ピクチャの直前にあって上記破棄手段により破棄されるＰピクチャが参照する参照ピクチャに対する動きベクトルの時間方向の長さを伸張することにより、上記対象ピクチャが上記参照ピクチャを参照する参照動きベクトルを生成する生成手段と、
上記生成手段により生成された参照動きベクトルを利用して、上記破棄手段により所定間隔でＰピクチャが破棄された画像データを符号化する符号化手段と、を有し、
上記復号手段により生成された画像データにおいて、上記破棄手段による破棄の対象とならないＰピクチャがＩピクチャの直前に存在しないようにする
画像処理装置。 - 上記参照ピクチャに対する動きベクトルを格納する格納手段を更に有し、
上記生成手段は、上記格納手段により格納された参照ピクチャに対する動きベクトルの時間方向の長さを伸張することにより、上記対象ピクチャが上記参照ピクチャを参照する参照動きベクトルを生成する
請求項１に記載の画像処理装置。 - 上記ビットストリームはＭＰＥＧ規格に従って符号化されたデータである
請求項１に記載の画像処理装置。 - 上記符号化手段は、ＭＰＥＧ規格に従って符号化する
請求項１に記載の画像処理装置。 - ビットストリームを復号して画像データを生成する復号ステップと、
上記復号ステップにより生成された画像データのＰピクチャを一枚置きに破棄する破棄ステップと、
上記復号ステップにより生成された画像データのＩピクチャを対象ピクチャとして、該対象ピクチャをＰピクチャとして符号化する場合に、上記対象ピクチャの直前にあって上記破棄ステップにより破棄されるＰピクチャが参照する参照ピクチャに対する動きベクトルの時間方向の長さを伸張することにより、上記対象ピクチャが上記参照ピクチャを参照する参照動きベクトルを生成する生成ステップと、
上記生成ステップにより生成された参照動きベクトルを利用して、上記破棄ステップにより所定間隔でＰピクチャが破棄された画像データを符号化する符号化ステップと、を含み、
上記復号ステップにて生成された画像データにおいて、上記破棄ステップにて破棄の対象とならないＰピクチャがＩピクチャの直前に存在しないようにする
画像処理方法。 - ビットストリームを復号して得られる画像データを符号化する画像処理装置において、
Ｐピクチャが一枚置きに破棄された画像データと、破棄されるＰピクチャが参照する参照ピクチャに対する動きベクトルを受け取る受け取り手段と、
Ｐピクチャが一枚置きに破棄される前の画像データにおいて、上記破棄されるＰピクチャの直後にある上記ビットストリームのＩピクチャを対象ピクチャとして、該対象ピクチャをＰピクチャとして符号化する場合に、上記受け取り手段により受け取られた動きベクトルの時間方向の長さを伸張することにより、上記対象ピクチャが上記参照ピクチャを参照する参照動きベクトルを生成する生成手段と、
上記生成手段により生成された参照動きベクトルを利用して、上記受け取り手段により受け取られた画像データを符号化する符号化手段と、を有し、
上記Ｐピクチャが一枚置きに破棄される前の画像データにおいて、該破棄の対象となっていないＰピクチャがＩピクチャの直前に存在しないようにする
画像処理装置。 - 上記参照ピクチャに対する動きベクトルを格納する格納手段を更に有し、
上記生成手段は、上記格納手段により格納された参照ピクチャに対する動きベクトルの時間方向の長さを伸張することにより、上記対象ピクチャが上記参照ピクチャを参照する参照動きベクトルを生成する
請求項６に記載の画像処理装置。 - ビットストリームを復号して得られる画像データを符号化する画像処理方法において、
Ｐピクチャが一枚置きに破棄された画像データと、破棄されるＰピクチャが参照する参照ピクチャに対する動きベクトルを受け取る受け取りステップと、
Ｐピクチャが一枚置きに破棄される前の画像データにおいて、上記破棄されるＰピクチャの直後にある上記ビットストリームのＩピクチャを対象ピクチャとして、該対象ピクチャをＰピクチャとして符号化する場合に、上記受け取りステップにより受け取られた動きベクトルの時間方向の長さを伸張することにより、上記対象ピクチャが上記参照ピクチャを参照する参照動きベクトルを生成する生成ステップと、
上記生成ステップにより生成された参照動きベクトルを利用して、上記受け取りステップにより受け取られた画像データを符号化する符号化ステップと、を含み、
上記Ｐピクチャが一枚置きに破棄される前の画像データにおいて、該破棄の対象となっていないＰピクチャがＩピクチャの直前に存在しないようにする
画像処理方法。 - 第１のビットストリームを第２のビットストリームに変換する画像処理装置において、
上記第１のビットストリームのＰピクチャを一枚置きに破棄する破棄手段と、
上記第１のビットストリームのＩピクチャを対象ピクチャとして、該対象ピクチャをＰ
ピクチャとして変換する場合に、上記対象ピクチャの直前にあって上記破棄手段により破棄されるＰピクチャが参照する参照ピクチャに対する動きベクトルの時間方向の長さを伸張することにより、上記対象ピクチャが上記参照ピクチャを参照する参照動きベクトルを生成する生成手段と、
上記生成手段により生成された参照動きベクトルを利用して、上記破棄手段により所定間隔でＰピクチャが破棄された第１のビットストリームを上記第２のビットストリームに変換する変換手段と、を有し、
上記第１のビットストリームにおいて、上記破棄手段による破棄の対象とならないＰピクチャがＩピクチャの直前に存在しないようにする
画像処理装置。 - 上記破棄手段により破棄されるＰピクチャが参照する参照ピクチャに対する動きベクトルを格納する格納手段を更に有し、
上記生成手段は、上記格納手段により格納された参照ピクチャに対する動きベクトルの時間方向の長さを伸張することにより、上記対象ピクチャが参照する参照動きベクトルを生成する
請求項９に記載の画像処理装置。 - 第１のビットストリームを第２のビットストリームに変換する画像処理方法において、
上記第１のビットストリームのＰピクチャを一枚置きに破棄する破棄ステップと、
上記第１のビットストリームのＩピクチャを対象ピクチャとして、該対象ピクチャをＰピクチャとして変換する場合に、上記対象ピクチャの直前にあって上記破棄ステップにより破棄されるＰピクチャが参照する参照ピクチャに対する動きベクトルの時間方向の長さを伸張することにより、上記対象ピクチャが上記参照ピクチャを参照する参照動きベクトルを生成する生成ステップと、
上記生成ステップにより生成された参照動きベクトルを利用して、上記破棄ステップにより所定間隔でＰピクチャが破棄された第１のビットストリームを上記第２のビットストリームに変換する変換ステップと、を含み、
上記第１のビットストリームにおいて、上記破棄ステップにて破棄の対象とならないＰピクチャがＩピクチャの直前に存在しないようにする
画像処理方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000312309A JP4682410B2 (ja) | 2000-10-12 | 2000-10-12 | 画像処理装置及び画像処理方法 |
| US09/973,749 US6826231B2 (en) | 2000-10-12 | 2001-10-11 | Motion vector conversion of interlaced MPEG-2 to progressive MPEG-4 |
| US10/947,197 US7224732B2 (en) | 2000-10-12 | 2004-09-23 | Motion vector conversion method and conversion apparatus of interlaced MPEG-2 to progressive MPEG-4 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000312309A JP4682410B2 (ja) | 2000-10-12 | 2000-10-12 | 画像処理装置及び画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002125236A JP2002125236A (ja) | 2002-04-26 |
| JP4682410B2 true JP4682410B2 (ja) | 2011-05-11 |
Family
ID=18791929
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000312309A Expired - Fee Related JP4682410B2 (ja) | 2000-10-12 | 2000-10-12 | 画像処理装置及び画像処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US6826231B2 (ja) |
| JP (1) | JP4682410B2 (ja) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4378824B2 (ja) * | 2000-02-22 | 2009-12-09 | ソニー株式会社 | 画像処理装置及び方法 |
| JP4622077B2 (ja) | 2000-10-11 | 2011-02-02 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| JP2002247588A (ja) * | 2001-02-21 | 2002-08-30 | Sony Corp | 動きベクトル変換方法及び変換装置 |
| GB2369952B (en) * | 2001-03-10 | 2002-12-04 | Ericsson Telefon Ab L M | Transcoding of video signals |
| US7003035B2 (en) | 2002-01-25 | 2006-02-21 | Microsoft Corporation | Video coding methods and apparatuses |
| US20040001546A1 (en) | 2002-06-03 | 2004-01-01 | Alexandros Tourapis | Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation |
| US7154952B2 (en) | 2002-07-19 | 2006-12-26 | Microsoft Corporation | Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures |
| US7463686B2 (en) * | 2002-10-16 | 2008-12-09 | Lg Electronics Inc. | Method for determining motion vector and macroblock type |
| US7558323B2 (en) * | 2002-11-27 | 2009-07-07 | Hitachi Kokusai Electric Inc. | Video data transmission method for changing transmission data amounts in accordance with a transmission speed and a transmission system therefor |
| US20050013498A1 (en) | 2003-07-18 | 2005-01-20 | Microsoft Corporation | Coding of motion vector information |
| US7567617B2 (en) | 2003-09-07 | 2009-07-28 | Microsoft Corporation | Predicting motion vectors for fields of forward-predicted interlaced video frames |
| US8064520B2 (en) * | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
| CN1301015C (zh) * | 2003-12-15 | 2007-02-14 | 财团法人资讯工业策进会 | 适应性降低画面速率视讯转换编码系统 |
| US7394939B2 (en) * | 2003-12-17 | 2008-07-01 | Microsoft Corporation | Managing file stream generation |
| KR20050062836A (ko) * | 2003-12-18 | 2005-06-28 | 학교법인 대양학원 | 트랜스코딩 방법 및 장치 |
| KR100681252B1 (ko) * | 2004-10-02 | 2007-02-09 | 삼성전자주식회사 | 트랜스코딩을 위해 출력 매크로블록 모드와 출력움직임벡터를 추정하는 방법 및 이를 이용한 트랜스코더 |
| JP2007110348A (ja) * | 2005-10-12 | 2007-04-26 | Ntt Docomo Inc | 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム、および動画像復号化プログラム |
| JP2007324830A (ja) * | 2006-05-31 | 2007-12-13 | Toshiba Corp | フレームレート変換装置及びフレームレート変換方法 |
| US8265157B2 (en) * | 2007-02-07 | 2012-09-11 | Lsi Corporation | Motion vector refinement for MPEG-2 to H.264 video transcoding |
| US8254455B2 (en) | 2007-06-30 | 2012-08-28 | Microsoft Corporation | Computing collocated macroblock information for direct mode macroblocks |
| CN102187678A (zh) * | 2008-10-29 | 2011-09-14 | 松下电器产业株式会社 | 动态图像压缩编码中的编码处理方法和编码处理装置 |
| US8189666B2 (en) | 2009-02-02 | 2012-05-29 | Microsoft Corporation | Local picture identifier and computation of co-located information |
| US9749657B2 (en) | 2011-01-21 | 2017-08-29 | Sharp Kabushiki Kaisha | Buffer compression for motion vector competition |
| US9055304B2 (en) * | 2011-07-01 | 2015-06-09 | Qualcomm Incorporated | Reduced resolution pixel interpolation |
| US11284133B2 (en) * | 2012-07-10 | 2022-03-22 | Avago Technologies International Sales Pte. Limited | Real-time video coding system of multiple temporally scaled video and of multiple profile and standards based on shared video coding information |
| US9693060B2 (en) | 2012-11-16 | 2017-06-27 | Qualcomm Incorporated | Device and method for scalable coding of video information |
| US9344218B1 (en) * | 2013-08-19 | 2016-05-17 | Zoom Video Communications, Inc. | Error resilience for interactive real-time multimedia applications |
| KR102264591B1 (ko) * | 2015-02-27 | 2021-06-15 | 삼성전자주식회사 | 영상 처리 방법 및 이를 지원하는 전자 장치 |
| US11496747B2 (en) * | 2017-03-22 | 2022-11-08 | Qualcomm Incorporated | Intra-prediction mode propagation |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10112865A (ja) * | 1996-10-04 | 1998-04-28 | Nippon Telegr & Teleph Corp <Ntt> | 復号信号の符号化方法 |
| JPH10336672A (ja) * | 1997-05-30 | 1998-12-18 | Oki Electric Ind Co Ltd | 符号化方式変換装置およびその動きベクトル検出方法 |
| JP2000244927A (ja) * | 1999-02-23 | 2000-09-08 | Matsushita Electric Ind Co Ltd | 動画変換装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000132915A (ja) | 1998-10-22 | 2000-05-12 | Matsushita Electric Ind Co Ltd | ディスク装置およびそのデータ処理方法 |
| JP3782243B2 (ja) | 1998-10-29 | 2006-06-07 | 株式会社曙ブレーキ中央技術研究所 | ブレーキ用摩擦材 |
| JP2000191616A (ja) | 1998-12-24 | 2000-07-11 | Senju Pharmaceut Co Ltd | 新規ジペプチジルアルデヒド誘導体およびそれを含有する医薬 |
| JP3789048B2 (ja) * | 1999-02-22 | 2006-06-21 | 株式会社東芝 | 動画像再符号化装置 |
| JP2000310836A (ja) | 1999-02-23 | 2000-11-07 | Fuji Photo Film Co Ltd | 熱現像感光材料の包装物 |
| EP1139669A1 (en) * | 2000-03-28 | 2001-10-04 | STMicroelectronics S.r.l. | Coprocessor for motion estimation in digitised video sequence encoders |
| US20030031179A1 (en) * | 2001-08-08 | 2003-02-13 | Jintae Oh | Self-updateable longest prefix matching method and apparatus |
| US6980596B2 (en) * | 2001-11-27 | 2005-12-27 | General Instrument Corporation | Macroblock level adaptive frame/field coding for digital video content |
-
2000
- 2000-10-12 JP JP2000312309A patent/JP4682410B2/ja not_active Expired - Fee Related
-
2001
- 2001-10-11 US US09/973,749 patent/US6826231B2/en not_active Expired - Fee Related
-
2004
- 2004-09-23 US US10/947,197 patent/US7224732B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10112865A (ja) * | 1996-10-04 | 1998-04-28 | Nippon Telegr & Teleph Corp <Ntt> | 復号信号の符号化方法 |
| JPH10336672A (ja) * | 1997-05-30 | 1998-12-18 | Oki Electric Ind Co Ltd | 符号化方式変換装置およびその動きベクトル検出方法 |
| JP2000244927A (ja) * | 1999-02-23 | 2000-09-08 | Matsushita Electric Ind Co Ltd | 動画変換装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20020122488A1 (en) | 2002-09-05 |
| US20050036552A1 (en) | 2005-02-17 |
| US6826231B2 (en) | 2004-11-30 |
| JP2002125236A (ja) | 2002-04-26 |
| US7224732B2 (en) | 2007-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4682410B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4542447B2 (ja) | 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法 | |
| JP4014263B2 (ja) | 映像信号変換装置及び映像信号変換方法 | |
| US20050053137A1 (en) | Predicting motion vectors for fields of forward-predicted interlaced video frames | |
| JP2003219426A (ja) | 画像情報符号化装置及び方法、画像情報復号装置及び方法、並びにプログラム | |
| JP2006279573A (ja) | 符号化装置と方法、ならびに復号装置と方法 | |
| JP2009089332A (ja) | 動き予測方法及び動き予測装置 | |
| WO2012098845A1 (ja) | 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置 | |
| JP4622077B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4616057B2 (ja) | 画像符号化装置及び画像符号化方法 | |
| JP4360093B2 (ja) | 画像処理装置および符号化装置とそれらの方法 | |
| JPH07212761A (ja) | 階層符号化装置及び階層復号化装置 | |
| JP2003169349A (ja) | 画像情報符号化方法及び装置、画像情報復号方法及び装置、並びにプログラム | |
| JP2002010267A (ja) | 動きベクトル変換装置及び方法 | |
| JP4529295B2 (ja) | 動きベクトル変換方法及び変換装置 | |
| JP4556286B2 (ja) | 動きベクトル変換装置及び方法 | |
| JP4779207B2 (ja) | 動きベクトル変換装置及び動きベクトル変換方法 | |
| JP2002044669A (ja) | 画像情報変換装置及び方法 | |
| JP6735370B2 (ja) | 復号化方法 | |
| JP6434172B2 (ja) | 復号化方法 | |
| JP2002199399A (ja) | 動きベクトル変換方法及び変換装置 | |
| JP6181242B2 (ja) | 画像復号化方法 | |
| JP5951915B2 (ja) | 画像復号化方法 | |
| JP5946980B1 (ja) | 画像復号化方法 | |
| JP2001309389A (ja) | 動きベクトル変換装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070308 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20090210 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090413 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100309 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100506 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110111 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110124 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140218 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140218 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |