JP4378824B2 - 画像処理装置及び方法 - Google Patents
画像処理装置及び方法 Download PDFInfo
- Publication number
- JP4378824B2 JP4378824B2 JP2000050524A JP2000050524A JP4378824B2 JP 4378824 B2 JP4378824 B2 JP 4378824B2 JP 2000050524 A JP2000050524 A JP 2000050524A JP 2000050524 A JP2000050524 A JP 2000050524A JP 4378824 B2 JP4378824 B2 JP 4378824B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion vector
- resolution
- conversion
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/46—Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N11/00—Colour television systems
- H04N11/06—Transmission systems characterised by the manner in which the individual colour picture signal components are combined
- H04N11/20—Conversion of the manner in which the individual colour picture signal components are combined, e.g. conversion of colour television standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置及び方法に関し、特に、例えば光磁気ディスクや磁気テープ、フラッシュメモリ等の記録媒体に記録し、もしくは衛星放送で伝送し、それを光磁気ディスクや磁気テープ、フラッシュメモリ等の記録媒体に再記録、あるいはテレビ会議システムやテレビ電話システム、インターネット、携帯電話等低ビットレート伝送路を介して送信側から受信側に伝送し、受信側において、必要に応じたフォーマット変換等を行い、これを表示、伝送する場合などに用いて好適な画像処理装置及び方法に関する。
【０００２】
【従来の技術】
入力された画像符号化ビットストリームを、異なる画像符号化フォーマットの画像符号化ビットストリームに変換する、従来の画像符号化フォーマット変換装置の概略構成を図１６に示す。なお、この図１６に例示した画像符号化フォーマット変換装置は、入力されたＭＰＥＧ２（Moving Picture image coding Experts Group：ＩＳＯ／ＩＥＣ１３８１８−２）画像符号化ビットストリームを、ＭＰＥＧ４（ＩＳＯ／ＩＥＣ１４４９６−２）画像符号化ビットストリームヘ変換する装置である。
【０００３】
この図１６に示す従来の画像符号化フォーマット変換装置において、入力されたＭＰＥＧ２画像符号化ビットストリームはＭＰＥＧ２画像復号化器２１０へ送られる。
【０００４】
ＭＰＥＧ２画像復号化器２１０は、入力されたＭＰＥＧ２画像符号化ビットストリームを、ＭＰＥＧ２画像復号化方式に従って復号して画像信号を復元する。当該復元された画像信号は解像度フレームレート変換器２１１に入力する。
【０００５】
解像度フレームレート変換器２１１は、上記復元された画像の解像度を任意の異なる解像度、フレームレートを持つ画像信号に変換し、その解像度変換後の画像信号をＭＰＥＧ４画像符号化器２１２に送る。なお、この例では、上記復元された画像の解像度を、例えば垂直方向及び水平方向共に二分の一に変換している。
【０００６】
ＭＰＥＧ４画像符号化器２１２は、上記解像度フレームレート変換器２１１から供給された画像信号をＭＰＥＧ４画像符号化方式に従って符号化し、ＭＰＥＧ４画像符号化ビットストリームを生成する。このＭＰＥＧ４画像符号化ビットストリームは、当該図１６の画像符号化フォーマット変換装置から出力される。
【０００７】
【発明が解決しようとする課題】
上述の従来の画像符号化フォーマット変換装置は、図１６に示したように、ＭＰＥＧ２画像復号化器２１０でＭＰＥＧ２画像復号化方式により復元された画像信号を、ＭＰＥＧ４画像符号化器２１２でＭＰＥＧ４画像符号化方式により符号化し、ＭＰＥＧ４画像符号化ビットストリームを出力するようになされている。すなわち、ＭＰＥＧ４画像符号化器２１２では、通常の符号化時と同様に、上記ＭＰＥＧ２画像復号化器２１０にて復元された画像信号から動きベクトルを検出し、動き予測を行って符号化することが行われる。
【０００８】
しかしながら、このような従来方法では、ＭＰＥＧ４画像符号化器２１２内において、入力された画像信号を符号化する際に、動きベクトルを検出するプロセスが全処理量の約６０〜７０パーセントを占めてしまう。そのため、画像のリアルタイムでの処理が困難となり、時間遅延が発生するという問題がある。また、装置が大規模になるという問題もある。
【０００９】
また、上述の従来の画像符号化フォーマット変換装置は、ＭＰＥＧ２画像復号化方式により復元された画像信号に対して、解像度フレームレート変換器２１１により解像度及びフレームレート変換処理を施し、この解像度及びフレームレート変換後の画像信号にＭＰＥＧ４画像符号化処理を施すようにしている。
【００１０】
このため、上記解像度フレームレート変換器２１１から出力された画像信号の解像度及びフレームレートが、例えばＭＰＥＧ４画像符号化処理に適さないものとなる恐れがあり、その場合、ＭＰＥＧ４画像符号化処理が適正に行えなくなる。
【００１１】
そこで、本発明は、このような実情に鑑みてなされたものであり、例えば、ＭＰＥＧ２画像符号化ビットストリームのような第１の信号に対して少なくとも解像度変換処理を施し、その解像度変換後の第２の信号から、ＭＰＥＧ４画像符号化ビットストリームのような第３の信号を生成する場合において、信号品質を劣化させずに、第１の信号から最終的に第３の信号を生成でき、また、第３の信号の生成処理の際の処理量を低減し、さらに装置構成の大規模化をも防止可能とする画像処理装置及び方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明の画像処理装置は、動き補償予測を行って符号化された符号化ストリームを復号して画像データを生成する復号手段と、上記復号手段により生成された画像データを解像度変換する画像変換手段と、上記符号化ストリームの動きベクトルが動き予測の予測画像を構成する整数画素の中間値位置を示している場合に、上記符号化ストリームの動きベクトルを、上記画像変換手段により解像度変換された画像データに対する動き予測の予測画像を構成する整数画素の中間値位置を示すように変換する動きベクトル変換手段と、上記動きベクトル変換手段により変換された動きベクトルを利用して、上記画像変換手段により解像度変換された画像信号を符号化する符号化手段とを備えることにより、上述した課題を解決する。
【００１３】
また、本発明の画像処理装置は、動き補償予測を行って符号化された符号化ストリームを復号した第１の画像データを解像度変換して得られる第２の画像データと上記符号化ストリームの動きベクトルとを受け取る受け取り手段と、上記受け取り手段により受け取られた動きベクトルが動き予測の予測画像を構成する整数画素の中間値位置を示している場合に、上記受け取り手段により受け取られた動きベクトルを、上記受け取り手段により受け取られた第２の画像データに対する動き予測の予測画像を構成する整数画素の中間値位置を示すように変換する動きベクトル変換手段と、上記動きベクトル変換手段により変換された動きベクトルを利用して、上記受け取り手段により受け取られた第２の画像データを符号化する符号化手段とを備えることにより、上述した課題を解決する。
【００１４】
また、本発明の画像処理装置は、動き補償予測を行って符号化された符号化ストリームを復号して画像データを生成する復号手段と、上記復号手段により生成された画像データを解像度変換する画像変換手段と、上記符号化ストリームの動きベクトルが動き予測の予測画像を構成する整数画素の中間値位置を示している場合に、上記符号化ストリームの動きベクトルを、上記画像変換手段により解像度変換された画像データに対する動き予測の予測画像を構成する整数画素の中間値位置を示すように変換する動きベクトル変換手段と、上記動きベクトル変換手段により変換された動きベクトルと上記画像変換手段により解像度変換された画像データとを伝送する伝送手段とを備えることにより、上述した課題を解決する。
【００１５】
次に、本発明の画像処理方法は、動き補償予測を行って符号化された符号化ストリームを復号して画像データを生成する復号工程と、上記復号工程により生成された画像データを解像度変換する画像変換工程と、上記符号化ストリームの動きベクトルが動き予測の予測画像を構成する整数画素の中間値位置を示している場合に、上記符号化ストリームの動きベクトルを、上記画像変換工程により解像度変換された画像データに対する動き予測の予測画像を構成する整数画素の中間値位置を示すように変換する動きベクトル変換工程と、上記動きベクトル変換工程により変換された動きベクトルを利用して、上記画像変換工程により解像度変換された画像信号を符号化する符号化工程とを備えることにより、上述した課題を解決する。
【００１６】
また、本発明の画像処理方法は、動き補償予測を行って符号化された符号化ストリームを復号した第１の画像データを解像度変換して得られる第２の画像データと上記符号化ストリームの動きベクトルとを受け取る受け取り工程と、上記受け取り工程により受け取られた動きベクトルが動き予測の予測画像を構成する整数画素の中間値位置を示している場合に、上記受け取り工程により受け取られた動きベクトルを、上記受け取り工程により受け取られた第２の画像データに対する動き予測の予測画像を構成する整数画素の中間値位置を示すように変換する動きベクトル変換工程と、上記動きベクトル変換工程により変換された動きベクトルを利用して、上記受け取り手段により受け取られた第２の画像データを符号化する符号化工程とを備えることにより、上述した課題を解決する。
【００１７】
また、本発明の画像処理方法は、動き補償予測を行って符号化された符号化ストリームを復号して画像データを生成する復号工程と、上記復号工程により生成された画像データを解像度変換する画像変換工程と、上記符号化ストリームの動きベクトルが動き予測の予測画像を構成する整数画素の中間値位置を示している場合に、上記符号化ストリームの動きベクトルを、上記画像変換工程により解像度変換された画像データに対する動き予測の予測画像を構成する整数画素の中間値位置を示すように変換する動きベクトル変換工程と、上記動きベクトル変換工程により変換された動きベクトルと上記画像変換工程により解像度変換された画像データとを伝送する伝送工程とを備えることにより、上述した課題を解決する。
【００１８】
【発明の実施の形態】
以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。
【００１９】
図１には、本発明にかかる第１の実施の形態の画像符号化フォーマット変換装置の概略構成を示す。
【００２０】
この図１に示す本発明の第１の実施の形態の画像符号化フォーマット変換装置において、入力されたＭＰＥＧ２画像符号化ビットストリームは、ＭＰＥＧ２画像復号化器３０へ送られる。
【００２１】
ＭＰＥＧ２画像復号化器３０は、入力されたＭＰＥＧ２画像符号化ビットストリームを、ＭＰＥＧ２画像復号化方式に従って復号して画像信号を復元する。当該復元された画像信号（インターレース画像信号）は解像度フレームレート変換器３１に入力する。
【００２２】
解像度フレームレート変換器３１は、上記復元された画像を、任意の解像度、フレームレートを持つ画像信号に変換し、さらに、外部から入力された画像サイズ調整フラグにより、後段でのＭＰＥＧ４画像符号化に適した解像度を持つ画像に調整した後、その画像信号をＭＰＥＧ４画像符号化器３３に送る。
【００２３】
ＭＰＥＧ４画像符号化器３３は、上記解像度フレームレート変換器３１より供給された画像信号から、ＭＰＥＧ４画像符号化ビットストリームを生成する。このＭＰＥＧ４画像符号化ビットストリームは、当該図１の画像符号化フォーマット変換装置から出力される。
【００２４】
以上は図１の構成の概略的な処理の流れであるが、本実施の形態の画像符号化フォーマット変換装置では、後述するように、解像度及びフレームレート変換する前と後の画像における動きベクトルの大きさ及び方向の相関が大きいことを利用し、ＭＰＥＧ２画像復号化器３０が復号化の際に使用したＭＰＥＧ２画像符号化方式の動きベクトル（以下、ＭＰＥＧ２動きベクトルと呼ぶ。）をＭＰＥＧ４画像符号化方式の動きベクトル（以下、ＭＰＥＧ４動きベクトルと呼ぶ。）に変換し、そのＭＰＥＧ４動きベクトルを用いてＭＰＥＧ４画像符号化器３３が符号化処理を行うことにより、当該ＭＰＥＧ４画像符号化器３３での動きベクトル検出処理を不要としている。
【００２５】
すなわち、本実施の形態の画像符号化フォーマット変換装置によれば、ＭＰＥＧ２画像復号化器３０が復号化の際に使用したＭＰＥＧ２動きベクトルを取り出して動きベクトル変換器３２に送り、当該動きベクトル変換器３２では、上記ＭＰＥＧ２動きベクトルをＭＰＥＧ４動きベクトルに変換してＭＰＥＧ４画像符号化器３３に送り、ＭＰＥＧ４画像符号化器３３では、解像度フレームレート変換後の画像信号を、上記動きベクトル変換器３２より供給されたＭＰＥＧ４動きベクトルを使用して符号化する。
【００２６】
このように、本実施の形態の画像符号化フォーマット変換装置によれば、ＭＰＥＧ４画像符号化器３３で動きベクトル検出を行わないため、全体の処理量を削減することができ、装置構成の大規模化をも防止可能となり、また、当該処理量の削減に伴って時間遅延が少なくなることにより、画像のリアルタイム処理も容易となっている。
【００２７】
また、本実施の形態の画像符号化フォーマット変換装置では、上記動きベクトル以外にも、ＭＰＥＧ２画像復号化器３０での復号に用いた画像サイズ、マクロブロックタイプ等のパラメータ、若しくは解像度及びフレームレート変換後のパラメータを、ＭＰＥＧ４画像符号化時に採用することにより、ＭＰＥＧ４画像符号化器３３での処理量を減らして符号化効率を更に向上させると共に、処理時間の短縮化をも可能としている。
【００２８】
図２を用いて、解像度変換前と後の画像における動きベクトルの相関について説明する。なお、図２の（ａ）は解像度変換前の現フレームの画像例を示し、図２の（ｂ）には図２の（ａ）の画像を解像度変換した後の現フレームの画像例を示す。また、図中のｄｍにて示す領域の位置は、現フレーム内のある画像部分ｏｂが前フレーム内において存在していた位置を表し、図中のＭＶにて示す矢印は前フレーム内の画像部分ｏｂと現フレーム内の画像部分ｏｂとの間の動きベクトルを表している。
【００２９】
ここで、画像の解像度変換後の前フレームでの位置ｄｍから現フレームでの画像部分ｏｂの位置への動きベクトルＭＶの水平成分は、解像度変換前の動きベクトルＭＶの水平成分と画像の水平方向の解像度変換レートによって求めることができる。また、解像度変換後の前フレームでの位置ｄｍから現フレームでの画像部分ｏｂの位置への動きベクトルＭＶの垂直成分は、解像度変換前の動きベクトルＭＶの垂直成分と画像の垂直方向の解像度変換レートによって求められる。すなわち、解像度変換前の動きベクトルＭＶと変換後の動きベクトルＭＶとは大きな相関を持っており、当該相関を利用すれば、解像度変換前の動きベクトルＭＶから変換後の動きベクトルＭＶを求めることができる。
【００３０】
このようなことから、本実施の形態の画像符号化フォーマット変換装置では、上記入力されたＭＰＥＧ２画像符号化ビットストリームをＭＰＥＧ４画像符号化ビットストリームヘ変換して出力する際に、上記ＭＰＥＧ２画像符号化ビットストリームに含まれるＭＰＥＧ２画像符号化方式におけるマクロブロックの動きベクトル（ＭＰＥＧ２動きベクトル）やマクロブロックタイプ等のパラメータを抽出して動きベクトル変換器３２に送り、当該動きベクトル変換器３２にてそれらをＭＰＥＧ４動きベクトルやマクロブロックタイプ等のパラメータに簡潔に変換するようにしている。
【００３１】
図１に戻り、本発明の第１の実施の形態の画像符号化フォーマット変換装置の詳細について説明する。
【００３２】
ＭＰＥＧ２画像復号化器３０は、供給されたＭＰＥＧ２画像符号化ビットストリームに対して可変長符号の復号化を行うことにより、インタレースの画像信号を復元する。この復元されたインタレース画像信号は、解像度フレームレート変換器３１に送られる。
【００３３】
解像度フレームレート変換器３１は、解像度及びフレームレート変換を行う解像度フレーム変換部３４と、画素の補間又は除去を行う画素補間／除去部３５とからなる。
【００３４】
上記解像度フレーム変換部３４は、ＭＰＥＧ２画像復号化器３０より入力された画像信号に対して解像度フレーム変換処理を施す。なお、本実施の形態では、解像度フレーム変換部３４での処理として、例えば垂直方向及び水平方向とも解像度を二分の一にする例を挙げる。
【００３５】
具体的に説明すると、解像度フレーム変換部３４では、図３に示すように、上記入力されたインタレース画像のトップフィールド（Top Field）若しくはボトムフィールド（Bottom Field）の何れか一方のみを抽出してプログレッシブ画像に変換することにより、画像の垂直方向の解像度を二分の一にする。さらに、解像度フレーム変換部３４は、ダウンサンプリング（down‐sampling）フィルタにより、画像の水平方向の解像度を二分の一に変換する。また、解像度フレーム変換部３４では、さらなる低ビットレート化を実現するために、上記解像度の変換による圧縮に加えて、Ｉ（画像内符号化画像）とＰピクチャ（前方予測符号化画像）、Ｂ（両方向予測符号化画像）ピクチャのうちＩピクチャとＰピクチャのみを抜き出し、時間方向での圧縮を行う（フレームレートを落とす）。なお、図３の例では、入力インタレース画像を構成するトップフィールドとボトムフィールドのうち、トップフィールドのみを抽出してプログレッシブ画像に変換することで画像の垂直方向の解像度を二分の一にし、それらトップフィールドから生成された各プログレッシブ画像をダウンサンプルした後、ＩピクチャとＰピクチャのみを抜き出すことでフレームレートを落とす様子を表している。なお、ダウンサンプルはフレームレートを落とした後に行っても良い。これのように、図３に示したＭＰＥＧ２のＩ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，・・・の各ピクチャからなる入力画像信号は、当該解像度フレーム変換部３４での解像度フレーム変換により、Ｉ，Ｐ，Ｐ，Ｐ，Ｐ，・・・のトップフィールドのみからなる画像信号になされる。上記解像度フレーム変換部３４からの出力は、画素補間／除去部３５に送られる。
【００３６】
この画素補間／除去部３５は、後段のＭＰＥＧ４画像符号化器３３がＭＰＥＧ４画像符号化方式により符号化を行えるようにするために、上記解像度フレーム変換を行った後の画像を、垂直方向及び水平方向の画素数がともに１６の倍数になるように調整する。そのため、画素補間／除去部３５では、外部から入力される画像サイズ調整フラグに基づいて、画素の補填あるいは画素の除去の何れかを行う。なお、画像サイズ調整フラグは、解像度フレームレート変換器３１の外部から入力されて画素補間／除去部３５に供給されるものであり、上記変換後の画像の垂直方向及び水平方向の画素数が１６の倍数でない場合に、画素補間／除去部３５に対して画素補填もしくは除去の何れかの処理を行わせるための指示フラグである。従って、画像サイズ調整フラグが画素補填若しくは除去の何れかの処理を指示する値であるとき、画素補間／除去部３５は、その指示（画像サイズ調整フラグの値）に応じて、画素補填若しくは除去の何れかの処理を行い、垂直方向及び水平方向の画素数が１６の倍数となる画像を生成する。
【００３７】
図４を用いて、上記画素補間／除去部３５が、上記画像サイズ調整フラグに基づいて行う、画素補填或いは除去処理について説明する。
【００３８】
上記ＭＰＥＧ２画像復号化器３０から出力された画像Ｇ１の解像度がｍ画像×ｎ画素であるとすると、上記ｍ，ｎは共に１６の倍数となっているが、上記解像度フレーム変換部３４にて垂直方向及び水平方向ともに二分の一に解像度変換がなされた後の画像の画素数、すなわちｍ／２画素とｎ／２画素は、１６の整数倍又は１６で割って８画素の余りがあるものとなる。
【００３９】
ここで、上記解像度変換後の画像の上記ｍ／２画素，ｎ／２画素が共に１６の倍数である場合（画像Ｇ２）には、後段にて行われるＭＰＥＧ４符号化方式に適する画像になっているため、当該画像Ｇ２に対して画素補填或いは除去の処理を行う必要はない。一方、それ以外の場合（ｍ／２画素若しくはｎ／２画素を１６で割ると８画素余る場合）、その画像はＭＰＥＧ４符号化方式に適していないことになるため、その画素数を１６の倍数にするための画素補填或いは画素の除去の何れかの処理が必要となる。
【００４０】
このため、画素補填／除去部３５には、上記画像サイズ調整フラグとして、画素の補填と除去の二つの選択肢のうちの何れを行うかを選択（ＳＷ１）するための値が外部から入力されており、上記解像度フレーム変換部３４にて変換された後の画像のｍ／２画素とｎ／２画素が共に１６の整数倍であるか、或いは１６で割って８画素の余りがあるのかを判定（Ｊ１）し、その判定（Ｊ１）の結果に基づいて、上記外部から入力されている画像サイズ調整フラグを使用するか否かを判断している。
【００４１】
上記解像度フレーム変換部３４での変換後の画像のｍ／２画素或いはｎ／２画素が１６で割って８画素が余ると判定（判定処理Ｊ１にてＮｏ）されている場合において、例えば上記画像サイズ調整フラグとして画素の除去を選択する値が入力されているときには、上記画素補填／除去部３５では、上記ｍ／２画素若しくはｎ／２画素を１６で割って余った８画素を、水平或いは垂直方向における先頭画素列、若しくは水平或いは垂直方向における後部画素列から除去する。これにより、当該画素除去後の画像Ｇ３は、その画素数が（ｍ／２−８）画素若しくは（ｎ／２−８）画素の画像となる。
【００４２】
一方、上記解像度フレーム変換部３４での変換後の画像のｍ／２画素或いはｎ／２画素が１６で割って８画素が余ると判定（判定処理Ｊ１にてＮｏ）されている場合において、例えば上記画像サイズ調整フラグとして画素の補填を選択する値が入力されているときには、上記画素補填／除去部３５では、新たに作成した８画素又は元の画像から複製した８画素又は画像に適した８画素を、水平或いは垂直方向における先頭画素列、若しくは水平或いは垂直方向における後部画素列に付け加える。これにより、当該補填後の画像Ｇ４は、その画素数が（ｍ／２＋８）画素若しくは（ｎ／２＋８）画素の画像となる。
【００４３】
これらの結果として、画素補填／除去部３５から出力される画像は、垂直方向及び水平方向共に画素数が１６の倍数となり、後段で行われるＭＰＥＧ４符号化方式に適したサイズを持つ画像となる。
【００４４】
以上のように、上記解像度フレームレート変換器３１において解像度フレーム変換処理と画素補填／除去処理がなされた後の画像信号は、ＭＰＥＧ４画像符号化器３３に入力する。
【００４５】
また、上記ＭＰＥＧ２画像復号化器３０がＭＰＥＧ２画像復号化方式を行うことにより得られたＰピクチャのみのマクロブロックの動きベクトルやマクロブロックタイプ等のパラメータは、動きベクトル変換器３２に送られる。
【００４６】
当該動きベクトル変換器３２は、ＭＰＥＧ２画像復号化器３０から供給されたＭＰＥＧ２動きベクトルやマクロブロックタイプ等のパラメータを、ＭＰＥＧ４動きベクトルやマクロブロックタイプ等のパラメータに変換する。
【００４７】
上記動きベクトル変換器３２における動きベクトル変換の動作原理を図５を用いて説明する。
【００４８】
なお、図５の（ａ）の画像Ｇ１及び図５の（ｂ）の画像Ｇ２において、実線で区切られている各正方格子の一つ一つはマクロブロックを示している。また、図５の（ａ）の画像Ｇ１は、ＭＰＥＧ２画像復号化器３０より出力された画像（すなわち解像度変換前の画像）であり、図５の（ｂ）の画像Ｇ２は、図５の（ａ）の画像Ｇ１を解像度フレームレート変換器３１により垂直方向及び水平方向の解像度とも二分の一に変換した画像である。
【００４９】
ここで、解像度変換前の図５の（ａ）の画像Ｇ１のうち、例えば左上の１６画素×１６画素のマクロブロックは、解像度変換後には図５の（ｂ）の画像Ｇ２内の左上の８画素×８画素のブロックになる。すなわち、解像度がｍ画像×ｎ画素（ｍ，ｎは共に１６の倍数）の図５の（ａ）に示す画像Ｇ１を、上記解像度フレームレート変換器３１にて垂直方向及び水平方向共に二分の一に解像度を落とすことにより、図５の（ｂ）に示すｍ／２画素×ｎ／２画素の画像Ｇ２に変換した場合、解像度変換前の画像Ｇ１内の４つの１６画素×１６画素のマクロブロックＭＢ１〜ＭＢ４は、画像Ｇ２内の４つの８画素×８画素のブロックｂ１〜ｂ４に変換されることになる。また、これら解像度変換後の画像Ｇ２内の４つのブロックｂ１〜ｂ４により一つのマクロブロックＭＢTが構成されることになる。
【００５０】
このとき、上記解像度変換前の画像Ｇ１内の４つの１６画素×１６画素のマクロブロックＭＢ１〜ＭＢ４の各動きベクトルＭＶ１〜ＭＶ４と、解像度変換後の画像Ｇ２内の４つの８画素×８画素のブロックｂ１〜ｂ４の各動きベクトルｍｖ１〜ｍ４は相関が大きい。このため、動きベクトル変換器３２では、動きベクトル変換処理Ｔ１として、上記画像Ｇ１内の４つのマクロブロックＭＢ１〜ＭＢ４の各動きベクトルＭＶ１〜ＭＶ４から、上記画像Ｇ２の４つのブロックｂ１〜ｂ４の各動きベクトルｍｖ１〜ｍｖ４を求めることができ、さらにこれら４つのブロックｂ１〜ｂ４からなる１６画素×１６画素のマクロブロックＭＢTの動きベクトルＭＶTをも、上記４つのブロックｂ１〜ｂ４の動きベクトルｍｖ１〜ｍｖ４から求めることができる。
【００５１】
以下、図６以降の各図を用いて、上述したような動きベクトル変換処理を行う動きベクトル変換器３２の詳細な構成及び動作について説明する。
【００５２】
図６において、ベクトル変換部７０には、ＭＰＥＧ２画像復号化器３０から出力されたＭＰＥＧ２画像符号化方式に対応した１６画素×１６画素の画マクロブロックＭＢの動きベクトルＭＶと、画像サイズ、マクロブロックタイプなどのパラメータが入力する。
【００５３】
ベクトル変換部７０では、上記入力された１６画素×１６画素の各マクロブロックＭＢの動きベクトルＭＶと、画像サイズ、マクロブロックタイプなどのパラメータから、解像度フレームレート変換後の８画素×８画素の各ブロックｂのそれぞれに対応する動きベクトルｍｖを生成する。
【００５４】
図７を用いて、当該ベクトル変換部７０の詳細な動作について説明する。すなわち、上記入力された１６画素×１６画素の各マクロブロックＭＢの動きベクトルＭＶと、画像サイズ、マクロブロックタイプなどのパラメータに対し、ベクトル変換器７０は、次のように動作する。なお、ＭＰＥＧ２画像符号化方式には、フレーム構造が多く使われているため、ここではフレーム構造の場合についての処理のみの変換方法を説明する。
【００５５】
先ず、ベクトル変換部７０は、ステップＳ１の処理として、入力された動きベクトルＭＶが、イントラ（Intra）マクロブロック（画像内符号化がなされたマクロブロック）か、或いはインター（Inter）マクロブロック（非画像内符号化がなされたマクロブロック）か、或いはスキップマクロブロックか、Ｎｏ ＭＣマクロブロックの何れのマクロブロックに対応する動きベクトルであるのかを、例えばマクロブロックタイプに基づいて判定する。
【００５６】
当該ステップＳ１の判定において、イントラマクロブロックの動きベクトルであると判定した場合、ベクトル変換部７０は、ステップＳ４の処理に進む。ステップＳ４の処理に進むと、ベクトル変換部７０は、先ず、解像度変換後の８画素×８画素のブロックの動きベクトルｍｖの値を０に設定し、さらに後段の動きベクトル補正部７３による処理を行うために、イントラモードフラグを設ける。なお、ＭＰＥＧ２画像符号化方式の場合、イントラマクロブロックであるときにはイントラモードフラグが立てられる。
【００５７】
一方、ステップＳ１の判定において、スキップマクロブロックの動きベクトルであると判定した場合、ベクトル変換部７０は、ステップＳ５の処理に進み、解像度変換後の８画素×８画素のブロックの動きベクトルｍｖの値を０に設定する。
【００５８】
また、ステップＳ１の判定において、Ｎｏ ＭＣマクロブロックの動きベクトルであると判定した場合、ベクトル変換部７０は、ステップＳ９の処理に進み、解像度変換後の８画素×８画素のブロックの動きベクトルｍｖの値を０に設定する。
【００５９】
また、ステップＳ１の判定において、インターマクロブロックの動きベクトルであると判定された場合、ベクトル変換部７０は、ステップＳ２の処理に進む。
【００６０】
ステップＳ２の処理に進むと、ベクトル変換部７０は、当該動きベクトルに対応する１６画素×１６画素のインターマクロブロックが、フレーム構造で且つフレーム予測のマクロブロックであるか、或いはフレーム構造でフィールド予測のマクロブロックであるかの判定を行う。
【００６１】
このステップＳ２の判定において、フレーム構造でフレーム予測のマクロブロックであると判定された場合、ベクトル変換部７０は、ステップＳ６の処理に進み、以下のようなことを行って、フレーム予測に適した動きベクトルへの変換を行う。
【００６２】
図８には、上記インターマクロブロックがフレーム構造でフレーム予測のマクロブロックであると判定した場合の、ベクトル変換部７０における動きベクトル変換の概念図を示す。図８の（ａ）は解像度変換前を、図８の（ｂ）は解像度変換後を表している。なお、この図８中のｐｘｉは解像度変換前の整数画素を表し、ｈｐは解像度変換前の半画素を、ｈｐｄは解像度変換後の半画素を表している。また、図８では、整数画素ｐｘｉの中間値（halr pel position、半画素）の間隔に対応して、動きベクトルＭＶの水平及び垂直方向の大きさ成分を「１」として表している。以下、動きベクトルの水平方向の大きさ成分を水平成分、垂直方向の大きさ成分を垂直成分と呼ぶことにする。
【００６３】
ここで、前述の図２で説明したように、解像度変換後の動きベクトルの水平成分は、解像度変換前の動きベクトルの水平成分と、画像の水平方向の解像度変換レートとから求められる。また、解像度変換後の動きベクトルの垂直成分は、解像度変換前の動きベクトルの垂直成分と、画像の垂直方向の解像度変換レートとから求められる。すなわち、画像の水平方向の解像度が二分の一に変換された場合、その解像度変換後の動きベクトルの水平成分も、変換前の二分の一になる。また、画像の垂直方向の解像度が二分の一に変換された場合、その解像度変換後の動きベクトルの垂直成分も、変換前の二分の一になる。図８の例の場合、解像度変換後の前フレームでの位置ｄｍから現フレームでの画像部分ｏｂの位置への動きベクトルは、解像度変換前の動きベクトルＭＶの水平成分が「８」で、垂直成分が「１２」となっていたものが、解像度変換後の動きベクトルＭＶ’（ｍｖ）は水平成分が「４’」で垂直成分が「６’」となる。
【００６４】
ここで、この図８から判るように、動きベクトルの大きさ成分が、解像度変換前に整数画素の位置で表されていたものは、解像度変換後も、整数画素若しくは半画素の位置で表すことができるが、解像度変換前に半画素の位置で表されていたものは、解像度変換後に対応する画素が無くなる。
【００６５】
このため、動きベクトルの大きさの成分として、解像度変換前に半画素の位置で表されていたものについては、解像度変換後は予測画像の半画素位置で示すようにする。なお、本来、復号された画像信号には、量子化による歪みが含まれているため、これをそのまま予測画像として使用すると予測効率が低下し、画質劣化を引き起こす場合がある。一方、参照画面での各画素間を１：１で直線補間した半画素精度を選択すれば、画質劣化を避けることができる。したがって、ＭＰＥＧ２動きベクトルの大きさの成分が半画素の位置を示している場合は、当該ＭＰＥＧ２動きベクトルをＭＰＥＧ４動きベクトルに変換する際に、そのＭＰＥＧ４動きベクトルの大きさの成分が半画素の位置を示すように変換する。これにより、予測効率を向上させることができ、画質劣化を防ぐことができる。
【００６６】
上記動きベクトル変換器３２での変換前と変換後の動きベクトルの大きさの成分は、以下の表１に示すようになる。
【００６７】
【表１】
【００６８】
なお、この表１において、[ＭＶ／２]は、動きベクトルを２で割つた整数部分を示す。
【００６９】
図７に戻り、ステップＳ２の判定において、フレーム構造でフィールド予測のマクロブロックであると判定された場合、ベクトル変換部７０は、ステップＳ３の処理に進む。
【００７０】
ステップＳ３の処理に進むと、ベクトル変換部７０は、上記フィールド予測がトップフィールド予測であるか、或いはボトムフィールド予測であるかの判定を行う。
【００７１】
このステップＳ３の判定において、トップフィールド予測であると判定した場合、ベクトル変換部７０は、ステップＳ７の処理に進み、以下のようなことを行って、フィールド予測のトップフィールド予測に適した動きベクトルへの変換を行う。
【００７２】
図９には、上記ステップＳ３にてトップフィールド予測であると判定したの、ベクトル変換部７０における動きベクトル変換の概念図を示す。なお、図９の（ａ）は解像度変換前を、図９の（ｂ）は解像度変換後を表している。この図９中のｐｘｉは解像度変換前の整数画素を表し、ｈｐは解像度変換前の半画素を、ｈｐｄは解像度変換後の半画素を表している。また、図９では、整数画素ｐｘｉの中間値（半画素）の間隔に対応して、動きベクトルＭＶの水平及び垂直成分を「１」として表している。
【００７３】
ここで、動きベクトルの水平成分は、表１と同様に変換される。一方、解像度変換時にはトップフィールドのみを抽出して解像度を二分の一に変換するようになされ、また、ここでの予測はトップフィールド予測が行われているため、動きベクトルの垂直成分については、変換前の動きベクトルの垂直成分をそのまま変換後の動きベクトルの垂直成分として使用する。
【００７４】
また、ステップＳ３の判定において、ボトムフィールド予測であると判定した場合、ベクトル変換部７０は、ステップＳ８の処理に進み、以下のようなことを行って、フィールド予測のボトムフィールド予測に適した動きベクトルへの変換を行う。
【００７５】
図１０には、上記ステップＳ３にてボトムフィールド予測であると判定したの、ベクトル変換部７０における動きベクトル変換の概念図を示す。なお、図１０の（ａ）は解像度変換前を、図１０の（ｂ）は解像度変換後を表している。この図１０中のｐｘｉは解像度変換前の整数画素を表し、ｈｐは解像度変換前の半画素を、ｈｐｄは解像度変換後の半画素を表している。図１０では、整数画素ｐｘｉの中間値（半画素）の間隔に対応して、動きベクトルＭＶの水平及び垂直成分を「１」として表している。
【００７６】
ここで、解像度変換では、前述したように、トップフィールドのみが抽出されるため、変換後はトップフィールドを参照画像として用いることになる。そのため、ＭＰＥＧ２画像符号化において予測画像として用いたボトムフィールドを、解像度変換後のトップフィールド予測に変換するように、動きベクトルの時空間補正を行う必要がある。図１０の例では、ボトムフィールド予測から近似にトップフィールド予測に変換するための空間的な補正を行っている。すなわち、動きベクトルの垂直成分に「１」を足す。この図１０からわかるように、ボトムフィールド予測で求めた動きベクトルの垂直成分に「１」を足すと、垂直方向に１列（１行）分繰り上げられることになり、これにより、ボトムフィールドがトップフィールドと同様の空間位置に達し、空間上ではトップフィールド予測で求めた動きベクトルのようになる。式（１）には、当該空間補正により、トップフィールドと同様な空間位置に達したボトムフィールド、すなわち近似トップフィールドを予測画像とした時の動きベクトルＭＶtopの垂直成分を表している。
【００７７】
垂直成分：近似ＭＶtop＝ＭＶbottom＋１ （１）
なお、動きベクトルの水平成分については、上述のような空間的補正は行う必要がなく、トップフィールド予測と同様な変換処理を行う。
【００７８】
また、ＭＰＥＧ２画像符号化におけるインタレース画像のトップフィールドとボトムフィールドとの間には、時間的なずれがある。そのため、ボトムフィールドから近似されたトップフィールドと、実際のトップフィールドとの時間ずれを無くすには、時間的な補正を行う必要がある。
【００７９】
図１１には、各フィールドの時間的位置関係を示している。
【００８０】
図１１において、トップフィールドとボトムフィールドとの時間間隔を１とし、図中ａはＩピクチャのボトムフィールドとＰピクチャのトップフィールドの間隔を表している。ａの間隔は１，３，５，７，・・・のような奇数になる。なお、ａが１の場合は、ピクチャの構成がＩ，Ｐ，Ｐ，Ｐ，・・・となる。時間補正したときの動きベクトルＭＶ’の垂直成分は、式（２）に示しようになる。
【００８１】
垂直成分：ＭＶ’＝（ａ＋１）・近似ＭＶtop／ａ （２）
ここで、式（１）を式（２）に代入すると、変換後の動きベクトルの垂直成分は式（３）のようになる。
【００８２】
垂直成分：ＭＶ’＝（ａ＋１）（ＭＶbottom＋１）／ａ （３）
なお、変換後の動きベクトルの水平成分は、変換前の動きベクトルに（ａ＋１）／ａをかけ、時間的な補正を行った後、表１の計算に従って求められる。
【００８３】
上述の説明では、動きベクトルの垂直成分に対して空間的補正を行った後に時間的補正を行う例を述べたが、場合によっては、動きベクトルの垂直成分に対して時間的補正を行った後、空間的な補正を行うようにしてもよい。この場合、動きベクトルＭＶ’の垂直成分は、式（４）に示すようになる。なお、動きベクトルの水平成分は、空間的補正を行ってから時間的補正を行う場合と、時間的補正を行ってから空間的補正を行う場合とで同様な値となる。
【００８４】
垂直成分：ＭＶ’＝ ｛（ａ＋１）／ａ｝ＭＶbottom＋１ （４）
ここで、式（３）と式（４）の差、すなわち空間的補正を行ってから時間的補正を行った場合と、時間的補正を行ってから空間的補正を行った場合の動きベクトルの垂直成分の差は、１／ａになる。したがって、ａの値によってその差による影響が異なることになる。
【００８５】
以下、ａが１の場合と、１より大きい場合、すなわちａが３，５，７，・・・の場合の２つにおける補正方法について説明する。
【００８６】
先ず、ａが１の場合における補正方法について説明する。
【００８７】
前記式（３）のａに１を代入すると、動きベクトルの垂直成分は式（５）のようになる。
【００８８】
垂直成分：ＭＶ’＝２ｘ(ＭＶbottom＋１） （５）
また、前記式（４）のａに１を代入すると、動きベクトルの垂直成分は式（６）のようになる。
【００８９】
垂直成分：ＭＶ’＝２ｘ(ＭＶbottom＋１）−１ （６）
その結果、変換前の動きベクトルＭＶbottomが０，１，２，・・・であると、式（５）による値は２，４，６，・・・のような偶数になる。すなわち、空間的補正を行ってから時間的補正を行うと、変換前の動きベクトルの大きさ成分が整数画素の位置で表されていても、また半画素の位置で表されていても、変換後はすべて整数画素の位置で表されることになる。
【００９０】
また、変換前の動きベクトルＭＶbottomが０，１，２，・・・であると、式（６）による値は１，３，５，・・・のような奇数になる。すなわち、時間的補正を行ってから空間的補正を行うと、変換前の動きベクトルの大きさ成分が整数画素の位置で表されていても、また半画素の位置で表されていても、変換後はすべて半画素の位置で表されることになる。
【００９１】
従って、大きさ成分が変換前に整数画素の位置で表されていた動きベクトルについて、変換後も整数画素の位置で表すようにする場合には、空間的補正を行ってから時間的補正を行うようにする。
【００９２】
一方、大きさ成分が変換前に半画素の位置で表されていた動きベクトルについて、変換後も半画素の位置で表すようにする場合には、時間的補正を行ってから空間的補正を行うようにする。
【００９３】
すなわち、ａが１の場合（ａ＝１）における補正方法では、例えば、変換前の動きベクトルに対し、空間的補正と時間的補正を交互に使用して解像度変換後の動きベクトルに変換するか、若しくは、変換前の動きベクトルに対してすべて時間的補正を行ってから空間的補正を行うか、若しくは、変換前の動きベクトルに対してすべて空間的補正を行ってから時間的補正を行う。
【００９４】
次に、ａが１より大きい場合（ａ≠１）、すなわちａが３，５，７，・・・の場合における補正方法について説明する。
【００９５】
ａは１でない場合、すなわちａが３，５，７，・・・の場合は、時間的補正を行ってから空間的補正を行う場合と、空間的補正を行ってから時間的補正を行う場合の差である１／ａは、０に近似することができる。この場合、空間的補正を行ってから時間的補正を行っても、または、時間的補正を行ってから空間的補正を行うようにしても良い。
【００９６】
図６に戻り、ベクトル変換部７０では、入力された１６画素×１６画素の各マクロブロックＭＢの動きベクトルＭＶに対して、以上説明したような動きベクトル変換処理が終了した後、その動きベクトル変換処理により得られた８画素×８画素の各ブロックｂのそれぞれに対応する動きベクトルｍｖを、動きベクトル調整器７１に送る。
【００９７】
動きベクトル調整部７１は、外部から入力される前記画像サイズ調整フラグに基づいて、それら８画素×８画素のブロックｂの動きベクトルｍｖを画像サイズに適した動きベクトルに調整し、動きベクトル補正部７３及び演算部７２に出力する。
【００９８】
すなわち、動きベクトル調整部７１は、外部から入力される画像サイズ調整フラグに基づいて、前記解像度フレームレート変換器３１の画素補填／除去部３５における画素の補填或いは画素の除去に対応するように、上記８画素×８画素のブロックｂの動きベクトルｍｖを調整して出力する。
【００９９】
図１２を用いて、当該動きベクトル調整部７１の詳細な動作について説明する。
【０１００】
動きベクトル調整部７１は、先ずステップＳ１１の処理として、入力された画像サイズの情報に基づいて、前記ＭＰＥＧ２画像復号化器３０から出力された画像の解像度がｍ画像×ｎ画素であり、また前記解像度フレームレート変換器３１による垂直方向及び水平方向ともに二分の一の解像度変換後のｍ／２画素×ｎ／２画素が、共に１６の倍数であるか否か判定する。このステップＳ１１の処理において、１６の倍数であると判定した場合は、切換部ＳＷ３をオンして、前記動きベクトル変換器３２から供給されたＭＰＥＧ４動きベクトルｍｖ（補正前のＭＰＥＧ４動きベクトルｍｖ）をそのまま出力する。一方、１６の倍数になっていないと判定（１６で割って８画素の余りがあると判定）した場合、ステップＳ１２の処理に進む。
【０１０１】
動きベクトル調整部７１は、ステップＳ１２の処理に進むと、外部から入力された前記画像サイズ調整フラグに基づき、前記解像度フレームレート変換器３１において上記１６で割った余りの８画素分の除去が行われたのか否か判定し、画素の除去が行われたと判定した場合は、切換部ＳＷ４を制御することにより、前記動きベクトル変換器３２から出力されたＭＰＥＧ４動きベクトルｍｖのうち、上記除去された８画素に対応する各ブロックｂの動きベクトルｍｖを除いた残りの各ブロックｂの動きベクトルｍｖのみを出力する。一方、ステップＳ１２にて画素の除去は行われていないと判定（８画素が補填されたと判定）した場合、動きベクトル調整部７１の処理はステップＳ１３に進む。
【０１０２】
動きベクトル調整部７１は、ステップＳ１３の処理に進むと、画像サイズ調整フラグに基づき、切換部ＳＷ５を制御することにより、前記解像度フレームレート変換器３１において補填された８画素に対応する各ブロックｂについての動きベクトルを”０”に設定（切換部ＳＷ５を０側に倒す）して当該”０”の動きベクトルを出力すると共に、それ以外の各ブロックｂの動きベクトルｍｖについては入力された動きベクトルｍｖを出力する。
【０１０３】
図６に戻り、上記動きベクトル調整部７１により、上述したように画像サイズに合うように調整された動きベクトルｍｖは、演算部７２と動きベクトル補正部７３に送られる。
【０１０４】
演算部７２では、供給された動きベクトルｍｖを用い、下記式（７）の演算を行うことにより、８画素×８画素のブロックｂの４つの動きベクトルｍｖ１〜ｍｖ４よりなる１６画素×１６画素のマクロブロックＭＢTのＭＰＥＧ４動きベクトルＭＶTを求める。なお、式（７）中のｉは１〜４である。
【０１０５】
【数１】
【０１０６】
すなわち、演算部７２では、式（７）により、ＭＰＥＧ２のマクロブロックＭＢから変換された４つのブロックの内、イントラでないマクロブロックＭＢから変換された４つのブロックｂ１〜ｂ４の動きベクトルｍｖ１〜ｍｖ４の和を、同じくイントラでないマクロブロックＭＢから変換されたブロックの数で割った平均を、ＭＰＥＧ４画像符号化方式に対応する１６画素×１６画素のマクロブロックＭＢTの動きベクトルＭＶTとして出力する。なお、１６画素×１６画素のマクロブロックＭＢTのＭＰＥＧ４動きベクトルＭＶTは、変換後の８画素×８画素のブロックｂの動きベクトルｍｖのＤＣＴ係数などにおける重み付け平均の処理により決定してもよい。
【０１０７】
上記演算部７２から出力されたＭＰＥＧ４動きベクトルＭＶTは、動きベクトル補正部７３に送られる。
【０１０８】
動きベクトル補正部７３は、前記動きベクトル調整部７１から供給された８画素×８画素のブロックｂの各動きベクトルｍｖのうち、ＭＰＥＧ２画像符号化方式におけるイントラマクロブロックに対応した動きベクトルを、上記演算部７２で求めた１６画素×１６画素のマクロブロックＭＢTの動きベクトルＭＶTに置き換える。
【０１０９】
図１３には、上記動きベクトル補正部７３の詳細な構成を示す。
【０１１０】
図１３に示す動きベクトル補正部７３において、前記動きベクトル調整器７１より出力された画像サイズに適した８画素×８画素のブロックｂの動きベクトルｍｖは、イントラモードフラグに応じて被切換端子ａ，ｂの何れかに切り換えられる切換スイッチＳＷ２に入力する。
【０１１１】
切換スイッチＳＷ２は、イントラモードフラグが立っている場合、すなわち入力した動きベクトルｍｖがＭＰＥＧ２画像符号化方式におけるイントラマクロブロックに対応する動きベクトルである場合、被切換端子ａ側に切り換えられ、ベクトル置き換え部８０に送られる。
【０１１２】
当該ベクトル置き換え部８０は、上記ＭＰＥＧ２のイントラマクロブロックから変換された８画素×８画素の４つのブロックｂ１〜ｂ４の動きベクトルｍｖ１〜ｍｖ４を、上記動きベクトル変換器３２の演算部７２により求められたＭＰＥＧ４画像符号化方式における１６画素×１６画素のマクロブロックＭＢTの動きベクトルＭＶTに置き換えて出力する。なお、当該置き換える動きベクトルは、上記イントラマクロブロックの周辺のインターマクロブロックの動きベクトルから変換された動きベクトル、若しくは、上記イントラマクロブロックに一番近いインターマクロブロックの動きベクトルから変換された動きベクトルを使用してもよい。また、動きベクトルを”０”にしてもよい。なお、８画素×８画素の４つのブロックｂ１〜ｂ４が共にイントラマクロブロックから変換されたものである場合は、それら４つのブロックｂ１〜ｂ４の４つの動きベクトルｍｖ１〜ｍｖ４が”０”となり、前記式（７）によって求められる１６画素×１６画素のマクロブロックＭＢTの動きベクトルＭＶTも”０”となるため、ＭＰＥＧ４画像符号化に用いる動きベクトルは０となり、マクロブロックタイプがイントラとなる。
【０１１３】
また、イントラモードフラグが立たない場合、すなわちＭＰＥＧ２画像符号化方式におけるイントラマクロブロックでない場合、切換スイッチＳＷ２は被切換端子ｂ側に切り換えられる。これにより、入力された８画素×８画素のブロックｂの動きベクトルｍｖがそのまま出力されることになる。
【０１１４】
図６に戻り、上述したようにして動きベクトル補正部７３から出力された動き８画素×８画素のブロックｂ１〜ｂ４の動きベクトルｍｖ１〜ｍｖ４は、上記演算器７２により求められた８画素×８画素のブロックｂ１〜ｂ４からなるマクロブロックＭＢTの動きベクトルＭＶTと共に出力され、図１のＭＰＥＧ４画像符号化器３３に送られる。
【０１１５】
図１のＭＰＥＧ４画像符号化器３３では、解像度フレームレート変換器３１からの出力画像と、動きベクトル変換器３２から出力されたＭＰＥＧ４動きベクトルを用いて、ＭＰＥＧ４画像符号化方式により符号化を行い、ＭＰＥＧ４画像符号化ビットストリームを出力する。
【０１１６】
上述した本発明の第１の実施の形態では、ＭＰＥＧ２画像符号化ビットストリームをＭＰＥＧ４画像符号化ビットストリームに変換する例を説明したが、本発明は第１の実施の形態に示した画像符号化フォーマット変換例に限定されるものではなく、本発明は、変換前と後の画像符号化方式若しくはフォーマットが同一の場合も適用可能である。また、本発明は、入力された信号の解像度、フレームレートを、それとは異なる解像度、フレームレートを持つ信号へ変換する場合にも広く適用可能である。
【０１１７】
図１４には、本発明の第２の実施の形態の画像符号化フォーマット変換装置の概略構成を示す。なお、図１と同じ構成要素には同一の指示符号を付して、それらの詳細な説明は省略する。
【０１１８】
この図１４に示す第２の実施の形態の画像符号化フォーマット変換装置の基本的な構成は、前記図１に示した第１の実施の形態の構成と略々同じであり、入力されたＭＰＥＧ２画像符号化ビットストリームに対し、ＭＰＥＧ２画像復号化器３０内で、可変長符号の復号化を行った後、ＰピクチャのみのＭＰＥＧ２動きベクトルやマクロブロックタイプなどのパラメータを抽出し、それらを動きベクトル変換器３２へ伝送する動作は、図１に示した第１の実施の形態の装置と同様であるが、当該第２の実施の形態の装置構成の場合は、動きベクトル変換器３２の後段に、切換スイッチＳＷ６と、フレームメモリ１５４及び動き補償予測器１５５が加えられている。
【０１１９】
上記切換スイッチＳＷ６は、動きベクトル変換器３２より出力されたＭＰＥＧ４画像符号化方式に対応する４つの８画素×８画素のブロックｂ１〜ｂ４の動きベクトルｍｖ１〜ｍｖ４が、全てＭＰＥＧ２画像符号化方式のイントラマクロブロックに対応している場合のみ、被切換端子ａ側に切り換えられる。なお、切換スイッチＳＷ６が被切換端子ｂ側に切り換えられた場合の動作は図１と同様である。
【０１２０】
上記切換スイッチＳＷ６が被切換端子ａ側に切り換えられた時、上記動きベクトル変換器３２から出力されたＭＰＥＧ４動きベクトルｍｖと、解像度フレームレート変換器３１より出力された画像信号と、ＭＰＥＧ４画像符号化器３３より出力されるＭＰＥＧ４画像符号化ビットストリームに対応する画像信号とがフレームメモリ１５４に蓄積される。
【０１２１】
ここで、本実施の形態では、１６画素×１６画素のマクロブロックの動きベクトルと８画素×８画素のブロックの動きベクトルを再検出してから、ＭＰＥＧ４符号化装置３３に送るようにするために、フレームメモリ１５４に蓄積された画像信号のうち、解像度フレームレート変換器３１から供給された画像信号は現フレーム画像とされ、ＭＰＥＧ４画像符号化器３３から供給された画像信号は予測参照フレーム画像となされ、動き補償予測器１５５において、それら現フレーム画像、予測参照フレーム画像を用いてフレーム間のＭＰＥＧ４動きベクトルを検出する。なお、予測参照フレーム画像として、解像度フレームレート変換器３１より出力された画像信号を用いてもよく、また、解像度フレームレート変換器３１より出力された画像信号を現フレーム画像、予測参照フレーム画像として交互に用いるようにしても良い。上記動き補償予測器１５５から出力されたＭＰＥＧ４動きベクトルがＭＰＥＧ４画像符号化器３３に送られる。
【０１２２】
図１５には、本発明の第３の実施の形態の画像符号化フォーマット変換装置の概略構成を示す。
【０１２３】
この図１５に示す第３の実施の形態の画像符号化フォーマット変換装置において、画像前処理フィルタ１６１には、例えばＣＣＤ（固体撮像素子）等を備えた画像撮影装置１６０やチューナ等の画像受信装置１６７から供給された画像信号が入力する。当該画像前処理フィルタ１６１は、必要に応じて、入力画像信号のノイズ除去など、符号化の前処理を行い、その前処理後の画像信号を動き補償器１６２、ＭＰＥＧ２画像符号化器１６３、解像度フレームレート変換器１６６に送る。なお、前処理が不要な場合には、当該画像前処理フィルタ１６１を省略する場合も可能である。
【０１２４】
動き補償器１６２は、画像前処理フィルタ１６１より供給された画像信号の各フレームに対し、外部より供給されたフレームレート解像度情報Ａを元に、動きベクトルを計算する。当該動きベクトルは、動きベクトル変換器１６４とＭＰＥＧ２画像符号化器１６３に送られる。
【０１２５】
ＭＰＥＧ２画像符号化器１６３は、画像前処理フィルタ１６１により供給された画像信号に対し、動き補償器１６２から出力された動きベクトルを元に符号化を施し、ＭＰＥＧ２画像符号化ビットストリームを生成して出力する。
【０１２６】
動きベクトル変換器１６４は、第１の実施の形態装置の動きベクトル変換器３２と同様に動作し、外部より供給されたフレームレート解像度情報Ａに合わせて、動きベクトルに変換処理を施し、その変換後の動きベクトルをＭＰＥＧ４画像符号化器１６５に送る。
【０１２７】
また、解像度フレームレコーダ変換器１６６は、第１の実施の形態装置の解像度フレームレート変換器３１と同様に動作し、画像前処理フィルタ１６１から出力された画像信号に対し、外部より入力されたフレームレート解像度情報Ａ、フレームレート解像度情報Ｂに基づく解像度及びフレームレート変換処理を施す。この解像度及びフレームレート変換後の画像信号は、ＭＰＥＧ４画像符号化器１６５に送られる。
【０１２８】
ＭＰＥＧ４画像符号化器１６５では、解像度フレームレート変換器１６６から出力される画像信号に対し、動きベクトル変換器１６４より出力された動きベクトルを元に符号化処理を施し、ＭＰＥＧ４画像符号化ビットストリームを生成して出力する。
【０１２９】
なお、本実施の形態は、一つの動き補償器１６２に対して、動きベクトル変換器１６４を用いることで、ＭＰＥＧ２画像符号化器１６３および、ＭＰＥＧ４画像符号化器１６５での符号化に用いる動きベクトルを作成できるため、従来のよように２つの動き補償器が必要であった場合よりも処理量が軽くなる。
【０１３０】
【発明の効果】
以上の説明からも明らかなように、本発明においては、第１の信号に対して少なくとも解像度変換を施して第２の信号を生成し、当該第２の信号から第３の信号を生成する場合に、第２の信号に対して所定の位置の信号要素の補填若しくは除去を行い、第３の信号の生成に適した信号に調整することにより、信号品質を劣化させずに、第１の信号を第３の信号に変換可能である。
【０１３１】
また、本発明においては、第１の信号に対して少なくとも解像度変換を施して第２の信号を生成し、当該第２の信号から第３の信号を生成する場合に、第１の信号に含まれる処理パラメータを、第３の信号の生成に必要となる全部若しくは一部の処理パラメータに変換することにより、信号品質を劣化させず、第２の信号から第３の信号を生成する際の処理量を低減し、さらに装置構成の大規模化をも防止可能である。
【０１３２】
また、本発明においては、第１の信号に対して少なくとも解像度変換を施して第２の信号を生成し、当該第２の信号から第３の信号を生成する場合に、第２の信号に対して所定の位置の信号要素の補填若しくは除去を行って第３の信号の生成に適した信号に調整し、第１の信号に含まれる処理パラメータを第３の信号の生成に必要となる全部若しくは一部の処理パラメータに変換することにより、信号品質を劣化させず、第１の信号を第３の信号に変換可能であり、また、第２の信号から第３の信号を生成する際の処理量を低減し、さらに装置構成の大規模化をも防止可能である。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の画像符号化フォーマット変換装置の概略構成を示すブロック回路図である。
【図２】解像度変換前と後の画像における動きベクトルの相関についての説明に用いる図である。
【図３】解像度及びフレームレート変換についての説明に用いる図である。
【図４】画像サイズ調整フラグに基づく画素補填或いは除去処理についての説明に用いる図である。
【図５】動きベクトル変換の動作原理の説明に用いる図である。
【図６】動きベクトル変換器の詳細な構成及び動作の説明に用いる図である。
【図７】ベクトル変換部の詳細な動作の説明に用いる図である。
【図８】インターマクロブロックがフレーム構造でフレーム予測のマクロブロックである場合の、ベクトル変換部における動きベクトル変換の概念説明に用いる図である。
【図９】トップフィールド予測である場合のベクトル変換部における動きベクトル変換の概念説明に用いる図である。
【図１０】ボトムフィールド予測である場合のベクトル変換部における動きベクトル変換の概念説明に用いる図である。
【図１１】各フィールドの時間的位置関係説明に用いる図である。
【図１２】動きベクトル調整部の詳細な動作説明に用いる図である。
【図１３】動きベクトル補正部の詳細な動作説明に用いる図である。
【図１４】第２の実施の形態の装置の概略構成を示すブロック回路図である。
【図１５】第３の実施の形態の装置の概略構成を示すブロック回路図である。
【図１６】従来の画像符号化フォーマット変換装置の概略構成を示すブロック回路図である。
【符号の説明】
３０ ＭＰＥＧ２画像復号化器、 ３１，１６６ 解像度フレームレート変換器、 ３２，１６４ 動きベクトル変換器、 ３３，１６５ ＭＰＥＧ４画像符号化器、 ３４ 解像度フレーム変換部、 ３５ 画素補填／除去部、 １５４フレームメモリ、 １５５ 動き補償予測器、 １６１ 画像前処理フィルタ、 １６２ 動き補償器、 １６０ 画像撮影装置、 １６７ 画像受信装置
【発明の属する技術分野】
本発明は、画像処理装置及び方法に関し、特に、例えば光磁気ディスクや磁気テープ、フラッシュメモリ等の記録媒体に記録し、もしくは衛星放送で伝送し、それを光磁気ディスクや磁気テープ、フラッシュメモリ等の記録媒体に再記録、あるいはテレビ会議システムやテレビ電話システム、インターネット、携帯電話等低ビットレート伝送路を介して送信側から受信側に伝送し、受信側において、必要に応じたフォーマット変換等を行い、これを表示、伝送する場合などに用いて好適な画像処理装置及び方法に関する。
【０００２】
【従来の技術】
入力された画像符号化ビットストリームを、異なる画像符号化フォーマットの画像符号化ビットストリームに変換する、従来の画像符号化フォーマット変換装置の概略構成を図１６に示す。なお、この図１６に例示した画像符号化フォーマット変換装置は、入力されたＭＰＥＧ２（Moving Picture image coding Experts Group：ＩＳＯ／ＩＥＣ１３８１８−２）画像符号化ビットストリームを、ＭＰＥＧ４（ＩＳＯ／ＩＥＣ１４４９６−２）画像符号化ビットストリームヘ変換する装置である。
【０００３】
この図１６に示す従来の画像符号化フォーマット変換装置において、入力されたＭＰＥＧ２画像符号化ビットストリームはＭＰＥＧ２画像復号化器２１０へ送られる。
【０００４】
ＭＰＥＧ２画像復号化器２１０は、入力されたＭＰＥＧ２画像符号化ビットストリームを、ＭＰＥＧ２画像復号化方式に従って復号して画像信号を復元する。当該復元された画像信号は解像度フレームレート変換器２１１に入力する。
【０００５】
解像度フレームレート変換器２１１は、上記復元された画像の解像度を任意の異なる解像度、フレームレートを持つ画像信号に変換し、その解像度変換後の画像信号をＭＰＥＧ４画像符号化器２１２に送る。なお、この例では、上記復元された画像の解像度を、例えば垂直方向及び水平方向共に二分の一に変換している。
【０００６】
ＭＰＥＧ４画像符号化器２１２は、上記解像度フレームレート変換器２１１から供給された画像信号をＭＰＥＧ４画像符号化方式に従って符号化し、ＭＰＥＧ４画像符号化ビットストリームを生成する。このＭＰＥＧ４画像符号化ビットストリームは、当該図１６の画像符号化フォーマット変換装置から出力される。
【０００７】
【発明が解決しようとする課題】
上述の従来の画像符号化フォーマット変換装置は、図１６に示したように、ＭＰＥＧ２画像復号化器２１０でＭＰＥＧ２画像復号化方式により復元された画像信号を、ＭＰＥＧ４画像符号化器２１２でＭＰＥＧ４画像符号化方式により符号化し、ＭＰＥＧ４画像符号化ビットストリームを出力するようになされている。すなわち、ＭＰＥＧ４画像符号化器２１２では、通常の符号化時と同様に、上記ＭＰＥＧ２画像復号化器２１０にて復元された画像信号から動きベクトルを検出し、動き予測を行って符号化することが行われる。
【０００８】
しかしながら、このような従来方法では、ＭＰＥＧ４画像符号化器２１２内において、入力された画像信号を符号化する際に、動きベクトルを検出するプロセスが全処理量の約６０〜７０パーセントを占めてしまう。そのため、画像のリアルタイムでの処理が困難となり、時間遅延が発生するという問題がある。また、装置が大規模になるという問題もある。
【０００９】
また、上述の従来の画像符号化フォーマット変換装置は、ＭＰＥＧ２画像復号化方式により復元された画像信号に対して、解像度フレームレート変換器２１１により解像度及びフレームレート変換処理を施し、この解像度及びフレームレート変換後の画像信号にＭＰＥＧ４画像符号化処理を施すようにしている。
【００１０】
このため、上記解像度フレームレート変換器２１１から出力された画像信号の解像度及びフレームレートが、例えばＭＰＥＧ４画像符号化処理に適さないものとなる恐れがあり、その場合、ＭＰＥＧ４画像符号化処理が適正に行えなくなる。
【００１１】
そこで、本発明は、このような実情に鑑みてなされたものであり、例えば、ＭＰＥＧ２画像符号化ビットストリームのような第１の信号に対して少なくとも解像度変換処理を施し、その解像度変換後の第２の信号から、ＭＰＥＧ４画像符号化ビットストリームのような第３の信号を生成する場合において、信号品質を劣化させずに、第１の信号から最終的に第３の信号を生成でき、また、第３の信号の生成処理の際の処理量を低減し、さらに装置構成の大規模化をも防止可能とする画像処理装置及び方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明の画像処理装置は、動き補償予測を行って符号化された符号化ストリームを復号して画像データを生成する復号手段と、上記復号手段により生成された画像データを解像度変換する画像変換手段と、上記符号化ストリームの動きベクトルが動き予測の予測画像を構成する整数画素の中間値位置を示している場合に、上記符号化ストリームの動きベクトルを、上記画像変換手段により解像度変換された画像データに対する動き予測の予測画像を構成する整数画素の中間値位置を示すように変換する動きベクトル変換手段と、上記動きベクトル変換手段により変換された動きベクトルを利用して、上記画像変換手段により解像度変換された画像信号を符号化する符号化手段とを備えることにより、上述した課題を解決する。
【００１３】
また、本発明の画像処理装置は、動き補償予測を行って符号化された符号化ストリームを復号した第１の画像データを解像度変換して得られる第２の画像データと上記符号化ストリームの動きベクトルとを受け取る受け取り手段と、上記受け取り手段により受け取られた動きベクトルが動き予測の予測画像を構成する整数画素の中間値位置を示している場合に、上記受け取り手段により受け取られた動きベクトルを、上記受け取り手段により受け取られた第２の画像データに対する動き予測の予測画像を構成する整数画素の中間値位置を示すように変換する動きベクトル変換手段と、上記動きベクトル変換手段により変換された動きベクトルを利用して、上記受け取り手段により受け取られた第２の画像データを符号化する符号化手段とを備えることにより、上述した課題を解決する。
【００１４】
また、本発明の画像処理装置は、動き補償予測を行って符号化された符号化ストリームを復号して画像データを生成する復号手段と、上記復号手段により生成された画像データを解像度変換する画像変換手段と、上記符号化ストリームの動きベクトルが動き予測の予測画像を構成する整数画素の中間値位置を示している場合に、上記符号化ストリームの動きベクトルを、上記画像変換手段により解像度変換された画像データに対する動き予測の予測画像を構成する整数画素の中間値位置を示すように変換する動きベクトル変換手段と、上記動きベクトル変換手段により変換された動きベクトルと上記画像変換手段により解像度変換された画像データとを伝送する伝送手段とを備えることにより、上述した課題を解決する。
【００１５】
次に、本発明の画像処理方法は、動き補償予測を行って符号化された符号化ストリームを復号して画像データを生成する復号工程と、上記復号工程により生成された画像データを解像度変換する画像変換工程と、上記符号化ストリームの動きベクトルが動き予測の予測画像を構成する整数画素の中間値位置を示している場合に、上記符号化ストリームの動きベクトルを、上記画像変換工程により解像度変換された画像データに対する動き予測の予測画像を構成する整数画素の中間値位置を示すように変換する動きベクトル変換工程と、上記動きベクトル変換工程により変換された動きベクトルを利用して、上記画像変換工程により解像度変換された画像信号を符号化する符号化工程とを備えることにより、上述した課題を解決する。
【００１６】
また、本発明の画像処理方法は、動き補償予測を行って符号化された符号化ストリームを復号した第１の画像データを解像度変換して得られる第２の画像データと上記符号化ストリームの動きベクトルとを受け取る受け取り工程と、上記受け取り工程により受け取られた動きベクトルが動き予測の予測画像を構成する整数画素の中間値位置を示している場合に、上記受け取り工程により受け取られた動きベクトルを、上記受け取り工程により受け取られた第２の画像データに対する動き予測の予測画像を構成する整数画素の中間値位置を示すように変換する動きベクトル変換工程と、上記動きベクトル変換工程により変換された動きベクトルを利用して、上記受け取り手段により受け取られた第２の画像データを符号化する符号化工程とを備えることにより、上述した課題を解決する。
【００１７】
また、本発明の画像処理方法は、動き補償予測を行って符号化された符号化ストリームを復号して画像データを生成する復号工程と、上記復号工程により生成された画像データを解像度変換する画像変換工程と、上記符号化ストリームの動きベクトルが動き予測の予測画像を構成する整数画素の中間値位置を示している場合に、上記符号化ストリームの動きベクトルを、上記画像変換工程により解像度変換された画像データに対する動き予測の予測画像を構成する整数画素の中間値位置を示すように変換する動きベクトル変換工程と、上記動きベクトル変換工程により変換された動きベクトルと上記画像変換工程により解像度変換された画像データとを伝送する伝送工程とを備えることにより、上述した課題を解決する。
【００１８】
【発明の実施の形態】
以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。
【００１９】
図１には、本発明にかかる第１の実施の形態の画像符号化フォーマット変換装置の概略構成を示す。
【００２０】
この図１に示す本発明の第１の実施の形態の画像符号化フォーマット変換装置において、入力されたＭＰＥＧ２画像符号化ビットストリームは、ＭＰＥＧ２画像復号化器３０へ送られる。
【００２１】
ＭＰＥＧ２画像復号化器３０は、入力されたＭＰＥＧ２画像符号化ビットストリームを、ＭＰＥＧ２画像復号化方式に従って復号して画像信号を復元する。当該復元された画像信号（インターレース画像信号）は解像度フレームレート変換器３１に入力する。
【００２２】
解像度フレームレート変換器３１は、上記復元された画像を、任意の解像度、フレームレートを持つ画像信号に変換し、さらに、外部から入力された画像サイズ調整フラグにより、後段でのＭＰＥＧ４画像符号化に適した解像度を持つ画像に調整した後、その画像信号をＭＰＥＧ４画像符号化器３３に送る。
【００２３】
ＭＰＥＧ４画像符号化器３３は、上記解像度フレームレート変換器３１より供給された画像信号から、ＭＰＥＧ４画像符号化ビットストリームを生成する。このＭＰＥＧ４画像符号化ビットストリームは、当該図１の画像符号化フォーマット変換装置から出力される。
【００２４】
以上は図１の構成の概略的な処理の流れであるが、本実施の形態の画像符号化フォーマット変換装置では、後述するように、解像度及びフレームレート変換する前と後の画像における動きベクトルの大きさ及び方向の相関が大きいことを利用し、ＭＰＥＧ２画像復号化器３０が復号化の際に使用したＭＰＥＧ２画像符号化方式の動きベクトル（以下、ＭＰＥＧ２動きベクトルと呼ぶ。）をＭＰＥＧ４画像符号化方式の動きベクトル（以下、ＭＰＥＧ４動きベクトルと呼ぶ。）に変換し、そのＭＰＥＧ４動きベクトルを用いてＭＰＥＧ４画像符号化器３３が符号化処理を行うことにより、当該ＭＰＥＧ４画像符号化器３３での動きベクトル検出処理を不要としている。
【００２５】
すなわち、本実施の形態の画像符号化フォーマット変換装置によれば、ＭＰＥＧ２画像復号化器３０が復号化の際に使用したＭＰＥＧ２動きベクトルを取り出して動きベクトル変換器３２に送り、当該動きベクトル変換器３２では、上記ＭＰＥＧ２動きベクトルをＭＰＥＧ４動きベクトルに変換してＭＰＥＧ４画像符号化器３３に送り、ＭＰＥＧ４画像符号化器３３では、解像度フレームレート変換後の画像信号を、上記動きベクトル変換器３２より供給されたＭＰＥＧ４動きベクトルを使用して符号化する。
【００２６】
このように、本実施の形態の画像符号化フォーマット変換装置によれば、ＭＰＥＧ４画像符号化器３３で動きベクトル検出を行わないため、全体の処理量を削減することができ、装置構成の大規模化をも防止可能となり、また、当該処理量の削減に伴って時間遅延が少なくなることにより、画像のリアルタイム処理も容易となっている。
【００２７】
また、本実施の形態の画像符号化フォーマット変換装置では、上記動きベクトル以外にも、ＭＰＥＧ２画像復号化器３０での復号に用いた画像サイズ、マクロブロックタイプ等のパラメータ、若しくは解像度及びフレームレート変換後のパラメータを、ＭＰＥＧ４画像符号化時に採用することにより、ＭＰＥＧ４画像符号化器３３での処理量を減らして符号化効率を更に向上させると共に、処理時間の短縮化をも可能としている。
【００２８】
図２を用いて、解像度変換前と後の画像における動きベクトルの相関について説明する。なお、図２の（ａ）は解像度変換前の現フレームの画像例を示し、図２の（ｂ）には図２の（ａ）の画像を解像度変換した後の現フレームの画像例を示す。また、図中のｄｍにて示す領域の位置は、現フレーム内のある画像部分ｏｂが前フレーム内において存在していた位置を表し、図中のＭＶにて示す矢印は前フレーム内の画像部分ｏｂと現フレーム内の画像部分ｏｂとの間の動きベクトルを表している。
【００２９】
ここで、画像の解像度変換後の前フレームでの位置ｄｍから現フレームでの画像部分ｏｂの位置への動きベクトルＭＶの水平成分は、解像度変換前の動きベクトルＭＶの水平成分と画像の水平方向の解像度変換レートによって求めることができる。また、解像度変換後の前フレームでの位置ｄｍから現フレームでの画像部分ｏｂの位置への動きベクトルＭＶの垂直成分は、解像度変換前の動きベクトルＭＶの垂直成分と画像の垂直方向の解像度変換レートによって求められる。すなわち、解像度変換前の動きベクトルＭＶと変換後の動きベクトルＭＶとは大きな相関を持っており、当該相関を利用すれば、解像度変換前の動きベクトルＭＶから変換後の動きベクトルＭＶを求めることができる。
【００３０】
このようなことから、本実施の形態の画像符号化フォーマット変換装置では、上記入力されたＭＰＥＧ２画像符号化ビットストリームをＭＰＥＧ４画像符号化ビットストリームヘ変換して出力する際に、上記ＭＰＥＧ２画像符号化ビットストリームに含まれるＭＰＥＧ２画像符号化方式におけるマクロブロックの動きベクトル（ＭＰＥＧ２動きベクトル）やマクロブロックタイプ等のパラメータを抽出して動きベクトル変換器３２に送り、当該動きベクトル変換器３２にてそれらをＭＰＥＧ４動きベクトルやマクロブロックタイプ等のパラメータに簡潔に変換するようにしている。
【００３１】
図１に戻り、本発明の第１の実施の形態の画像符号化フォーマット変換装置の詳細について説明する。
【００３２】
ＭＰＥＧ２画像復号化器３０は、供給されたＭＰＥＧ２画像符号化ビットストリームに対して可変長符号の復号化を行うことにより、インタレースの画像信号を復元する。この復元されたインタレース画像信号は、解像度フレームレート変換器３１に送られる。
【００３３】
解像度フレームレート変換器３１は、解像度及びフレームレート変換を行う解像度フレーム変換部３４と、画素の補間又は除去を行う画素補間／除去部３５とからなる。
【００３４】
上記解像度フレーム変換部３４は、ＭＰＥＧ２画像復号化器３０より入力された画像信号に対して解像度フレーム変換処理を施す。なお、本実施の形態では、解像度フレーム変換部３４での処理として、例えば垂直方向及び水平方向とも解像度を二分の一にする例を挙げる。
【００３５】
具体的に説明すると、解像度フレーム変換部３４では、図３に示すように、上記入力されたインタレース画像のトップフィールド（Top Field）若しくはボトムフィールド（Bottom Field）の何れか一方のみを抽出してプログレッシブ画像に変換することにより、画像の垂直方向の解像度を二分の一にする。さらに、解像度フレーム変換部３４は、ダウンサンプリング（down‐sampling）フィルタにより、画像の水平方向の解像度を二分の一に変換する。また、解像度フレーム変換部３４では、さらなる低ビットレート化を実現するために、上記解像度の変換による圧縮に加えて、Ｉ（画像内符号化画像）とＰピクチャ（前方予測符号化画像）、Ｂ（両方向予測符号化画像）ピクチャのうちＩピクチャとＰピクチャのみを抜き出し、時間方向での圧縮を行う（フレームレートを落とす）。なお、図３の例では、入力インタレース画像を構成するトップフィールドとボトムフィールドのうち、トップフィールドのみを抽出してプログレッシブ画像に変換することで画像の垂直方向の解像度を二分の一にし、それらトップフィールドから生成された各プログレッシブ画像をダウンサンプルした後、ＩピクチャとＰピクチャのみを抜き出すことでフレームレートを落とす様子を表している。なお、ダウンサンプルはフレームレートを落とした後に行っても良い。これのように、図３に示したＭＰＥＧ２のＩ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，・・・の各ピクチャからなる入力画像信号は、当該解像度フレーム変換部３４での解像度フレーム変換により、Ｉ，Ｐ，Ｐ，Ｐ，Ｐ，・・・のトップフィールドのみからなる画像信号になされる。上記解像度フレーム変換部３４からの出力は、画素補間／除去部３５に送られる。
【００３６】
この画素補間／除去部３５は、後段のＭＰＥＧ４画像符号化器３３がＭＰＥＧ４画像符号化方式により符号化を行えるようにするために、上記解像度フレーム変換を行った後の画像を、垂直方向及び水平方向の画素数がともに１６の倍数になるように調整する。そのため、画素補間／除去部３５では、外部から入力される画像サイズ調整フラグに基づいて、画素の補填あるいは画素の除去の何れかを行う。なお、画像サイズ調整フラグは、解像度フレームレート変換器３１の外部から入力されて画素補間／除去部３５に供給されるものであり、上記変換後の画像の垂直方向及び水平方向の画素数が１６の倍数でない場合に、画素補間／除去部３５に対して画素補填もしくは除去の何れかの処理を行わせるための指示フラグである。従って、画像サイズ調整フラグが画素補填若しくは除去の何れかの処理を指示する値であるとき、画素補間／除去部３５は、その指示（画像サイズ調整フラグの値）に応じて、画素補填若しくは除去の何れかの処理を行い、垂直方向及び水平方向の画素数が１６の倍数となる画像を生成する。
【００３７】
図４を用いて、上記画素補間／除去部３５が、上記画像サイズ調整フラグに基づいて行う、画素補填或いは除去処理について説明する。
【００３８】
上記ＭＰＥＧ２画像復号化器３０から出力された画像Ｇ１の解像度がｍ画像×ｎ画素であるとすると、上記ｍ，ｎは共に１６の倍数となっているが、上記解像度フレーム変換部３４にて垂直方向及び水平方向ともに二分の一に解像度変換がなされた後の画像の画素数、すなわちｍ／２画素とｎ／２画素は、１６の整数倍又は１６で割って８画素の余りがあるものとなる。
【００３９】
ここで、上記解像度変換後の画像の上記ｍ／２画素，ｎ／２画素が共に１６の倍数である場合（画像Ｇ２）には、後段にて行われるＭＰＥＧ４符号化方式に適する画像になっているため、当該画像Ｇ２に対して画素補填或いは除去の処理を行う必要はない。一方、それ以外の場合（ｍ／２画素若しくはｎ／２画素を１６で割ると８画素余る場合）、その画像はＭＰＥＧ４符号化方式に適していないことになるため、その画素数を１６の倍数にするための画素補填或いは画素の除去の何れかの処理が必要となる。
【００４０】
このため、画素補填／除去部３５には、上記画像サイズ調整フラグとして、画素の補填と除去の二つの選択肢のうちの何れを行うかを選択（ＳＷ１）するための値が外部から入力されており、上記解像度フレーム変換部３４にて変換された後の画像のｍ／２画素とｎ／２画素が共に１６の整数倍であるか、或いは１６で割って８画素の余りがあるのかを判定（Ｊ１）し、その判定（Ｊ１）の結果に基づいて、上記外部から入力されている画像サイズ調整フラグを使用するか否かを判断している。
【００４１】
上記解像度フレーム変換部３４での変換後の画像のｍ／２画素或いはｎ／２画素が１６で割って８画素が余ると判定（判定処理Ｊ１にてＮｏ）されている場合において、例えば上記画像サイズ調整フラグとして画素の除去を選択する値が入力されているときには、上記画素補填／除去部３５では、上記ｍ／２画素若しくはｎ／２画素を１６で割って余った８画素を、水平或いは垂直方向における先頭画素列、若しくは水平或いは垂直方向における後部画素列から除去する。これにより、当該画素除去後の画像Ｇ３は、その画素数が（ｍ／２−８）画素若しくは（ｎ／２−８）画素の画像となる。
【００４２】
一方、上記解像度フレーム変換部３４での変換後の画像のｍ／２画素或いはｎ／２画素が１６で割って８画素が余ると判定（判定処理Ｊ１にてＮｏ）されている場合において、例えば上記画像サイズ調整フラグとして画素の補填を選択する値が入力されているときには、上記画素補填／除去部３５では、新たに作成した８画素又は元の画像から複製した８画素又は画像に適した８画素を、水平或いは垂直方向における先頭画素列、若しくは水平或いは垂直方向における後部画素列に付け加える。これにより、当該補填後の画像Ｇ４は、その画素数が（ｍ／２＋８）画素若しくは（ｎ／２＋８）画素の画像となる。
【００４３】
これらの結果として、画素補填／除去部３５から出力される画像は、垂直方向及び水平方向共に画素数が１６の倍数となり、後段で行われるＭＰＥＧ４符号化方式に適したサイズを持つ画像となる。
【００４４】
以上のように、上記解像度フレームレート変換器３１において解像度フレーム変換処理と画素補填／除去処理がなされた後の画像信号は、ＭＰＥＧ４画像符号化器３３に入力する。
【００４５】
また、上記ＭＰＥＧ２画像復号化器３０がＭＰＥＧ２画像復号化方式を行うことにより得られたＰピクチャのみのマクロブロックの動きベクトルやマクロブロックタイプ等のパラメータは、動きベクトル変換器３２に送られる。
【００４６】
当該動きベクトル変換器３２は、ＭＰＥＧ２画像復号化器３０から供給されたＭＰＥＧ２動きベクトルやマクロブロックタイプ等のパラメータを、ＭＰＥＧ４動きベクトルやマクロブロックタイプ等のパラメータに変換する。
【００４７】
上記動きベクトル変換器３２における動きベクトル変換の動作原理を図５を用いて説明する。
【００４８】
なお、図５の（ａ）の画像Ｇ１及び図５の（ｂ）の画像Ｇ２において、実線で区切られている各正方格子の一つ一つはマクロブロックを示している。また、図５の（ａ）の画像Ｇ１は、ＭＰＥＧ２画像復号化器３０より出力された画像（すなわち解像度変換前の画像）であり、図５の（ｂ）の画像Ｇ２は、図５の（ａ）の画像Ｇ１を解像度フレームレート変換器３１により垂直方向及び水平方向の解像度とも二分の一に変換した画像である。
【００４９】
ここで、解像度変換前の図５の（ａ）の画像Ｇ１のうち、例えば左上の１６画素×１６画素のマクロブロックは、解像度変換後には図５の（ｂ）の画像Ｇ２内の左上の８画素×８画素のブロックになる。すなわち、解像度がｍ画像×ｎ画素（ｍ，ｎは共に１６の倍数）の図５の（ａ）に示す画像Ｇ１を、上記解像度フレームレート変換器３１にて垂直方向及び水平方向共に二分の一に解像度を落とすことにより、図５の（ｂ）に示すｍ／２画素×ｎ／２画素の画像Ｇ２に変換した場合、解像度変換前の画像Ｇ１内の４つの１６画素×１６画素のマクロブロックＭＢ１〜ＭＢ４は、画像Ｇ２内の４つの８画素×８画素のブロックｂ１〜ｂ４に変換されることになる。また、これら解像度変換後の画像Ｇ２内の４つのブロックｂ１〜ｂ４により一つのマクロブロックＭＢTが構成されることになる。
【００５０】
このとき、上記解像度変換前の画像Ｇ１内の４つの１６画素×１６画素のマクロブロックＭＢ１〜ＭＢ４の各動きベクトルＭＶ１〜ＭＶ４と、解像度変換後の画像Ｇ２内の４つの８画素×８画素のブロックｂ１〜ｂ４の各動きベクトルｍｖ１〜ｍ４は相関が大きい。このため、動きベクトル変換器３２では、動きベクトル変換処理Ｔ１として、上記画像Ｇ１内の４つのマクロブロックＭＢ１〜ＭＢ４の各動きベクトルＭＶ１〜ＭＶ４から、上記画像Ｇ２の４つのブロックｂ１〜ｂ４の各動きベクトルｍｖ１〜ｍｖ４を求めることができ、さらにこれら４つのブロックｂ１〜ｂ４からなる１６画素×１６画素のマクロブロックＭＢTの動きベクトルＭＶTをも、上記４つのブロックｂ１〜ｂ４の動きベクトルｍｖ１〜ｍｖ４から求めることができる。
【００５１】
以下、図６以降の各図を用いて、上述したような動きベクトル変換処理を行う動きベクトル変換器３２の詳細な構成及び動作について説明する。
【００５２】
図６において、ベクトル変換部７０には、ＭＰＥＧ２画像復号化器３０から出力されたＭＰＥＧ２画像符号化方式に対応した１６画素×１６画素の画マクロブロックＭＢの動きベクトルＭＶと、画像サイズ、マクロブロックタイプなどのパラメータが入力する。
【００５３】
ベクトル変換部７０では、上記入力された１６画素×１６画素の各マクロブロックＭＢの動きベクトルＭＶと、画像サイズ、マクロブロックタイプなどのパラメータから、解像度フレームレート変換後の８画素×８画素の各ブロックｂのそれぞれに対応する動きベクトルｍｖを生成する。
【００５４】
図７を用いて、当該ベクトル変換部７０の詳細な動作について説明する。すなわち、上記入力された１６画素×１６画素の各マクロブロックＭＢの動きベクトルＭＶと、画像サイズ、マクロブロックタイプなどのパラメータに対し、ベクトル変換器７０は、次のように動作する。なお、ＭＰＥＧ２画像符号化方式には、フレーム構造が多く使われているため、ここではフレーム構造の場合についての処理のみの変換方法を説明する。
【００５５】
先ず、ベクトル変換部７０は、ステップＳ１の処理として、入力された動きベクトルＭＶが、イントラ（Intra）マクロブロック（画像内符号化がなされたマクロブロック）か、或いはインター（Inter）マクロブロック（非画像内符号化がなされたマクロブロック）か、或いはスキップマクロブロックか、Ｎｏ ＭＣマクロブロックの何れのマクロブロックに対応する動きベクトルであるのかを、例えばマクロブロックタイプに基づいて判定する。
【００５６】
当該ステップＳ１の判定において、イントラマクロブロックの動きベクトルであると判定した場合、ベクトル変換部７０は、ステップＳ４の処理に進む。ステップＳ４の処理に進むと、ベクトル変換部７０は、先ず、解像度変換後の８画素×８画素のブロックの動きベクトルｍｖの値を０に設定し、さらに後段の動きベクトル補正部７３による処理を行うために、イントラモードフラグを設ける。なお、ＭＰＥＧ２画像符号化方式の場合、イントラマクロブロックであるときにはイントラモードフラグが立てられる。
【００５７】
一方、ステップＳ１の判定において、スキップマクロブロックの動きベクトルであると判定した場合、ベクトル変換部７０は、ステップＳ５の処理に進み、解像度変換後の８画素×８画素のブロックの動きベクトルｍｖの値を０に設定する。
【００５８】
また、ステップＳ１の判定において、Ｎｏ ＭＣマクロブロックの動きベクトルであると判定した場合、ベクトル変換部７０は、ステップＳ９の処理に進み、解像度変換後の８画素×８画素のブロックの動きベクトルｍｖの値を０に設定する。
【００５９】
また、ステップＳ１の判定において、インターマクロブロックの動きベクトルであると判定された場合、ベクトル変換部７０は、ステップＳ２の処理に進む。
【００６０】
ステップＳ２の処理に進むと、ベクトル変換部７０は、当該動きベクトルに対応する１６画素×１６画素のインターマクロブロックが、フレーム構造で且つフレーム予測のマクロブロックであるか、或いはフレーム構造でフィールド予測のマクロブロックであるかの判定を行う。
【００６１】
このステップＳ２の判定において、フレーム構造でフレーム予測のマクロブロックであると判定された場合、ベクトル変換部７０は、ステップＳ６の処理に進み、以下のようなことを行って、フレーム予測に適した動きベクトルへの変換を行う。
【００６２】
図８には、上記インターマクロブロックがフレーム構造でフレーム予測のマクロブロックであると判定した場合の、ベクトル変換部７０における動きベクトル変換の概念図を示す。図８の（ａ）は解像度変換前を、図８の（ｂ）は解像度変換後を表している。なお、この図８中のｐｘｉは解像度変換前の整数画素を表し、ｈｐは解像度変換前の半画素を、ｈｐｄは解像度変換後の半画素を表している。また、図８では、整数画素ｐｘｉの中間値（halr pel position、半画素）の間隔に対応して、動きベクトルＭＶの水平及び垂直方向の大きさ成分を「１」として表している。以下、動きベクトルの水平方向の大きさ成分を水平成分、垂直方向の大きさ成分を垂直成分と呼ぶことにする。
【００６３】
ここで、前述の図２で説明したように、解像度変換後の動きベクトルの水平成分は、解像度変換前の動きベクトルの水平成分と、画像の水平方向の解像度変換レートとから求められる。また、解像度変換後の動きベクトルの垂直成分は、解像度変換前の動きベクトルの垂直成分と、画像の垂直方向の解像度変換レートとから求められる。すなわち、画像の水平方向の解像度が二分の一に変換された場合、その解像度変換後の動きベクトルの水平成分も、変換前の二分の一になる。また、画像の垂直方向の解像度が二分の一に変換された場合、その解像度変換後の動きベクトルの垂直成分も、変換前の二分の一になる。図８の例の場合、解像度変換後の前フレームでの位置ｄｍから現フレームでの画像部分ｏｂの位置への動きベクトルは、解像度変換前の動きベクトルＭＶの水平成分が「８」で、垂直成分が「１２」となっていたものが、解像度変換後の動きベクトルＭＶ’（ｍｖ）は水平成分が「４’」で垂直成分が「６’」となる。
【００６４】
ここで、この図８から判るように、動きベクトルの大きさ成分が、解像度変換前に整数画素の位置で表されていたものは、解像度変換後も、整数画素若しくは半画素の位置で表すことができるが、解像度変換前に半画素の位置で表されていたものは、解像度変換後に対応する画素が無くなる。
【００６５】
このため、動きベクトルの大きさの成分として、解像度変換前に半画素の位置で表されていたものについては、解像度変換後は予測画像の半画素位置で示すようにする。なお、本来、復号された画像信号には、量子化による歪みが含まれているため、これをそのまま予測画像として使用すると予測効率が低下し、画質劣化を引き起こす場合がある。一方、参照画面での各画素間を１：１で直線補間した半画素精度を選択すれば、画質劣化を避けることができる。したがって、ＭＰＥＧ２動きベクトルの大きさの成分が半画素の位置を示している場合は、当該ＭＰＥＧ２動きベクトルをＭＰＥＧ４動きベクトルに変換する際に、そのＭＰＥＧ４動きベクトルの大きさの成分が半画素の位置を示すように変換する。これにより、予測効率を向上させることができ、画質劣化を防ぐことができる。
【００６６】
上記動きベクトル変換器３２での変換前と変換後の動きベクトルの大きさの成分は、以下の表１に示すようになる。
【００６７】
【表１】
なお、この表１において、[ＭＶ／２]は、動きベクトルを２で割つた整数部分を示す。
【００６９】
図７に戻り、ステップＳ２の判定において、フレーム構造でフィールド予測のマクロブロックであると判定された場合、ベクトル変換部７０は、ステップＳ３の処理に進む。
【００７０】
ステップＳ３の処理に進むと、ベクトル変換部７０は、上記フィールド予測がトップフィールド予測であるか、或いはボトムフィールド予測であるかの判定を行う。
【００７１】
このステップＳ３の判定において、トップフィールド予測であると判定した場合、ベクトル変換部７０は、ステップＳ７の処理に進み、以下のようなことを行って、フィールド予測のトップフィールド予測に適した動きベクトルへの変換を行う。
【００７２】
図９には、上記ステップＳ３にてトップフィールド予測であると判定したの、ベクトル変換部７０における動きベクトル変換の概念図を示す。なお、図９の（ａ）は解像度変換前を、図９の（ｂ）は解像度変換後を表している。この図９中のｐｘｉは解像度変換前の整数画素を表し、ｈｐは解像度変換前の半画素を、ｈｐｄは解像度変換後の半画素を表している。また、図９では、整数画素ｐｘｉの中間値（半画素）の間隔に対応して、動きベクトルＭＶの水平及び垂直成分を「１」として表している。
【００７３】
ここで、動きベクトルの水平成分は、表１と同様に変換される。一方、解像度変換時にはトップフィールドのみを抽出して解像度を二分の一に変換するようになされ、また、ここでの予測はトップフィールド予測が行われているため、動きベクトルの垂直成分については、変換前の動きベクトルの垂直成分をそのまま変換後の動きベクトルの垂直成分として使用する。
【００７４】
また、ステップＳ３の判定において、ボトムフィールド予測であると判定した場合、ベクトル変換部７０は、ステップＳ８の処理に進み、以下のようなことを行って、フィールド予測のボトムフィールド予測に適した動きベクトルへの変換を行う。
【００７５】
図１０には、上記ステップＳ３にてボトムフィールド予測であると判定したの、ベクトル変換部７０における動きベクトル変換の概念図を示す。なお、図１０の（ａ）は解像度変換前を、図１０の（ｂ）は解像度変換後を表している。この図１０中のｐｘｉは解像度変換前の整数画素を表し、ｈｐは解像度変換前の半画素を、ｈｐｄは解像度変換後の半画素を表している。図１０では、整数画素ｐｘｉの中間値（半画素）の間隔に対応して、動きベクトルＭＶの水平及び垂直成分を「１」として表している。
【００７６】
ここで、解像度変換では、前述したように、トップフィールドのみが抽出されるため、変換後はトップフィールドを参照画像として用いることになる。そのため、ＭＰＥＧ２画像符号化において予測画像として用いたボトムフィールドを、解像度変換後のトップフィールド予測に変換するように、動きベクトルの時空間補正を行う必要がある。図１０の例では、ボトムフィールド予測から近似にトップフィールド予測に変換するための空間的な補正を行っている。すなわち、動きベクトルの垂直成分に「１」を足す。この図１０からわかるように、ボトムフィールド予測で求めた動きベクトルの垂直成分に「１」を足すと、垂直方向に１列（１行）分繰り上げられることになり、これにより、ボトムフィールドがトップフィールドと同様の空間位置に達し、空間上ではトップフィールド予測で求めた動きベクトルのようになる。式（１）には、当該空間補正により、トップフィールドと同様な空間位置に達したボトムフィールド、すなわち近似トップフィールドを予測画像とした時の動きベクトルＭＶtopの垂直成分を表している。
【００７７】
垂直成分：近似ＭＶtop＝ＭＶbottom＋１ （１）
なお、動きベクトルの水平成分については、上述のような空間的補正は行う必要がなく、トップフィールド予測と同様な変換処理を行う。
【００７８】
また、ＭＰＥＧ２画像符号化におけるインタレース画像のトップフィールドとボトムフィールドとの間には、時間的なずれがある。そのため、ボトムフィールドから近似されたトップフィールドと、実際のトップフィールドとの時間ずれを無くすには、時間的な補正を行う必要がある。
【００７９】
図１１には、各フィールドの時間的位置関係を示している。
【００８０】
図１１において、トップフィールドとボトムフィールドとの時間間隔を１とし、図中ａはＩピクチャのボトムフィールドとＰピクチャのトップフィールドの間隔を表している。ａの間隔は１，３，５，７，・・・のような奇数になる。なお、ａが１の場合は、ピクチャの構成がＩ，Ｐ，Ｐ，Ｐ，・・・となる。時間補正したときの動きベクトルＭＶ’の垂直成分は、式（２）に示しようになる。
【００８１】
垂直成分：ＭＶ’＝（ａ＋１）・近似ＭＶtop／ａ （２）
ここで、式（１）を式（２）に代入すると、変換後の動きベクトルの垂直成分は式（３）のようになる。
【００８２】
垂直成分：ＭＶ’＝（ａ＋１）（ＭＶbottom＋１）／ａ （３）
なお、変換後の動きベクトルの水平成分は、変換前の動きベクトルに（ａ＋１）／ａをかけ、時間的な補正を行った後、表１の計算に従って求められる。
【００８３】
上述の説明では、動きベクトルの垂直成分に対して空間的補正を行った後に時間的補正を行う例を述べたが、場合によっては、動きベクトルの垂直成分に対して時間的補正を行った後、空間的な補正を行うようにしてもよい。この場合、動きベクトルＭＶ’の垂直成分は、式（４）に示すようになる。なお、動きベクトルの水平成分は、空間的補正を行ってから時間的補正を行う場合と、時間的補正を行ってから空間的補正を行う場合とで同様な値となる。
【００８４】
垂直成分：ＭＶ’＝ ｛（ａ＋１）／ａ｝ＭＶbottom＋１ （４）
ここで、式（３）と式（４）の差、すなわち空間的補正を行ってから時間的補正を行った場合と、時間的補正を行ってから空間的補正を行った場合の動きベクトルの垂直成分の差は、１／ａになる。したがって、ａの値によってその差による影響が異なることになる。
【００８５】
以下、ａが１の場合と、１より大きい場合、すなわちａが３，５，７，・・・の場合の２つにおける補正方法について説明する。
【００８６】
先ず、ａが１の場合における補正方法について説明する。
【００８７】
前記式（３）のａに１を代入すると、動きベクトルの垂直成分は式（５）のようになる。
【００８８】
垂直成分：ＭＶ’＝２ｘ(ＭＶbottom＋１） （５）
また、前記式（４）のａに１を代入すると、動きベクトルの垂直成分は式（６）のようになる。
【００８９】
垂直成分：ＭＶ’＝２ｘ(ＭＶbottom＋１）−１ （６）
その結果、変換前の動きベクトルＭＶbottomが０，１，２，・・・であると、式（５）による値は２，４，６，・・・のような偶数になる。すなわち、空間的補正を行ってから時間的補正を行うと、変換前の動きベクトルの大きさ成分が整数画素の位置で表されていても、また半画素の位置で表されていても、変換後はすべて整数画素の位置で表されることになる。
【００９０】
また、変換前の動きベクトルＭＶbottomが０，１，２，・・・であると、式（６）による値は１，３，５，・・・のような奇数になる。すなわち、時間的補正を行ってから空間的補正を行うと、変換前の動きベクトルの大きさ成分が整数画素の位置で表されていても、また半画素の位置で表されていても、変換後はすべて半画素の位置で表されることになる。
【００９１】
従って、大きさ成分が変換前に整数画素の位置で表されていた動きベクトルについて、変換後も整数画素の位置で表すようにする場合には、空間的補正を行ってから時間的補正を行うようにする。
【００９２】
一方、大きさ成分が変換前に半画素の位置で表されていた動きベクトルについて、変換後も半画素の位置で表すようにする場合には、時間的補正を行ってから空間的補正を行うようにする。
【００９３】
すなわち、ａが１の場合（ａ＝１）における補正方法では、例えば、変換前の動きベクトルに対し、空間的補正と時間的補正を交互に使用して解像度変換後の動きベクトルに変換するか、若しくは、変換前の動きベクトルに対してすべて時間的補正を行ってから空間的補正を行うか、若しくは、変換前の動きベクトルに対してすべて空間的補正を行ってから時間的補正を行う。
【００９４】
次に、ａが１より大きい場合（ａ≠１）、すなわちａが３，５，７，・・・の場合における補正方法について説明する。
【００９５】
ａは１でない場合、すなわちａが３，５，７，・・・の場合は、時間的補正を行ってから空間的補正を行う場合と、空間的補正を行ってから時間的補正を行う場合の差である１／ａは、０に近似することができる。この場合、空間的補正を行ってから時間的補正を行っても、または、時間的補正を行ってから空間的補正を行うようにしても良い。
【００９６】
図６に戻り、ベクトル変換部７０では、入力された１６画素×１６画素の各マクロブロックＭＢの動きベクトルＭＶに対して、以上説明したような動きベクトル変換処理が終了した後、その動きベクトル変換処理により得られた８画素×８画素の各ブロックｂのそれぞれに対応する動きベクトルｍｖを、動きベクトル調整器７１に送る。
【００９７】
動きベクトル調整部７１は、外部から入力される前記画像サイズ調整フラグに基づいて、それら８画素×８画素のブロックｂの動きベクトルｍｖを画像サイズに適した動きベクトルに調整し、動きベクトル補正部７３及び演算部７２に出力する。
【００９８】
すなわち、動きベクトル調整部７１は、外部から入力される画像サイズ調整フラグに基づいて、前記解像度フレームレート変換器３１の画素補填／除去部３５における画素の補填或いは画素の除去に対応するように、上記８画素×８画素のブロックｂの動きベクトルｍｖを調整して出力する。
【００９９】
図１２を用いて、当該動きベクトル調整部７１の詳細な動作について説明する。
【０１００】
動きベクトル調整部７１は、先ずステップＳ１１の処理として、入力された画像サイズの情報に基づいて、前記ＭＰＥＧ２画像復号化器３０から出力された画像の解像度がｍ画像×ｎ画素であり、また前記解像度フレームレート変換器３１による垂直方向及び水平方向ともに二分の一の解像度変換後のｍ／２画素×ｎ／２画素が、共に１６の倍数であるか否か判定する。このステップＳ１１の処理において、１６の倍数であると判定した場合は、切換部ＳＷ３をオンして、前記動きベクトル変換器３２から供給されたＭＰＥＧ４動きベクトルｍｖ（補正前のＭＰＥＧ４動きベクトルｍｖ）をそのまま出力する。一方、１６の倍数になっていないと判定（１６で割って８画素の余りがあると判定）した場合、ステップＳ１２の処理に進む。
【０１０１】
動きベクトル調整部７１は、ステップＳ１２の処理に進むと、外部から入力された前記画像サイズ調整フラグに基づき、前記解像度フレームレート変換器３１において上記１６で割った余りの８画素分の除去が行われたのか否か判定し、画素の除去が行われたと判定した場合は、切換部ＳＷ４を制御することにより、前記動きベクトル変換器３２から出力されたＭＰＥＧ４動きベクトルｍｖのうち、上記除去された８画素に対応する各ブロックｂの動きベクトルｍｖを除いた残りの各ブロックｂの動きベクトルｍｖのみを出力する。一方、ステップＳ１２にて画素の除去は行われていないと判定（８画素が補填されたと判定）した場合、動きベクトル調整部７１の処理はステップＳ１３に進む。
【０１０２】
動きベクトル調整部７１は、ステップＳ１３の処理に進むと、画像サイズ調整フラグに基づき、切換部ＳＷ５を制御することにより、前記解像度フレームレート変換器３１において補填された８画素に対応する各ブロックｂについての動きベクトルを”０”に設定（切換部ＳＷ５を０側に倒す）して当該”０”の動きベクトルを出力すると共に、それ以外の各ブロックｂの動きベクトルｍｖについては入力された動きベクトルｍｖを出力する。
【０１０３】
図６に戻り、上記動きベクトル調整部７１により、上述したように画像サイズに合うように調整された動きベクトルｍｖは、演算部７２と動きベクトル補正部７３に送られる。
【０１０４】
演算部７２では、供給された動きベクトルｍｖを用い、下記式（７）の演算を行うことにより、８画素×８画素のブロックｂの４つの動きベクトルｍｖ１〜ｍｖ４よりなる１６画素×１６画素のマクロブロックＭＢTのＭＰＥＧ４動きベクトルＭＶTを求める。なお、式（７）中のｉは１〜４である。
【０１０５】
【数１】
すなわち、演算部７２では、式（７）により、ＭＰＥＧ２のマクロブロックＭＢから変換された４つのブロックの内、イントラでないマクロブロックＭＢから変換された４つのブロックｂ１〜ｂ４の動きベクトルｍｖ１〜ｍｖ４の和を、同じくイントラでないマクロブロックＭＢから変換されたブロックの数で割った平均を、ＭＰＥＧ４画像符号化方式に対応する１６画素×１６画素のマクロブロックＭＢTの動きベクトルＭＶTとして出力する。なお、１６画素×１６画素のマクロブロックＭＢTのＭＰＥＧ４動きベクトルＭＶTは、変換後の８画素×８画素のブロックｂの動きベクトルｍｖのＤＣＴ係数などにおける重み付け平均の処理により決定してもよい。
【０１０７】
上記演算部７２から出力されたＭＰＥＧ４動きベクトルＭＶTは、動きベクトル補正部７３に送られる。
【０１０８】
動きベクトル補正部７３は、前記動きベクトル調整部７１から供給された８画素×８画素のブロックｂの各動きベクトルｍｖのうち、ＭＰＥＧ２画像符号化方式におけるイントラマクロブロックに対応した動きベクトルを、上記演算部７２で求めた１６画素×１６画素のマクロブロックＭＢTの動きベクトルＭＶTに置き換える。
【０１０９】
図１３には、上記動きベクトル補正部７３の詳細な構成を示す。
【０１１０】
図１３に示す動きベクトル補正部７３において、前記動きベクトル調整器７１より出力された画像サイズに適した８画素×８画素のブロックｂの動きベクトルｍｖは、イントラモードフラグに応じて被切換端子ａ，ｂの何れかに切り換えられる切換スイッチＳＷ２に入力する。
【０１１１】
切換スイッチＳＷ２は、イントラモードフラグが立っている場合、すなわち入力した動きベクトルｍｖがＭＰＥＧ２画像符号化方式におけるイントラマクロブロックに対応する動きベクトルである場合、被切換端子ａ側に切り換えられ、ベクトル置き換え部８０に送られる。
【０１１２】
当該ベクトル置き換え部８０は、上記ＭＰＥＧ２のイントラマクロブロックから変換された８画素×８画素の４つのブロックｂ１〜ｂ４の動きベクトルｍｖ１〜ｍｖ４を、上記動きベクトル変換器３２の演算部７２により求められたＭＰＥＧ４画像符号化方式における１６画素×１６画素のマクロブロックＭＢTの動きベクトルＭＶTに置き換えて出力する。なお、当該置き換える動きベクトルは、上記イントラマクロブロックの周辺のインターマクロブロックの動きベクトルから変換された動きベクトル、若しくは、上記イントラマクロブロックに一番近いインターマクロブロックの動きベクトルから変換された動きベクトルを使用してもよい。また、動きベクトルを”０”にしてもよい。なお、８画素×８画素の４つのブロックｂ１〜ｂ４が共にイントラマクロブロックから変換されたものである場合は、それら４つのブロックｂ１〜ｂ４の４つの動きベクトルｍｖ１〜ｍｖ４が”０”となり、前記式（７）によって求められる１６画素×１６画素のマクロブロックＭＢTの動きベクトルＭＶTも”０”となるため、ＭＰＥＧ４画像符号化に用いる動きベクトルは０となり、マクロブロックタイプがイントラとなる。
【０１１３】
また、イントラモードフラグが立たない場合、すなわちＭＰＥＧ２画像符号化方式におけるイントラマクロブロックでない場合、切換スイッチＳＷ２は被切換端子ｂ側に切り換えられる。これにより、入力された８画素×８画素のブロックｂの動きベクトルｍｖがそのまま出力されることになる。
【０１１４】
図６に戻り、上述したようにして動きベクトル補正部７３から出力された動き８画素×８画素のブロックｂ１〜ｂ４の動きベクトルｍｖ１〜ｍｖ４は、上記演算器７２により求められた８画素×８画素のブロックｂ１〜ｂ４からなるマクロブロックＭＢTの動きベクトルＭＶTと共に出力され、図１のＭＰＥＧ４画像符号化器３３に送られる。
【０１１５】
図１のＭＰＥＧ４画像符号化器３３では、解像度フレームレート変換器３１からの出力画像と、動きベクトル変換器３２から出力されたＭＰＥＧ４動きベクトルを用いて、ＭＰＥＧ４画像符号化方式により符号化を行い、ＭＰＥＧ４画像符号化ビットストリームを出力する。
【０１１６】
上述した本発明の第１の実施の形態では、ＭＰＥＧ２画像符号化ビットストリームをＭＰＥＧ４画像符号化ビットストリームに変換する例を説明したが、本発明は第１の実施の形態に示した画像符号化フォーマット変換例に限定されるものではなく、本発明は、変換前と後の画像符号化方式若しくはフォーマットが同一の場合も適用可能である。また、本発明は、入力された信号の解像度、フレームレートを、それとは異なる解像度、フレームレートを持つ信号へ変換する場合にも広く適用可能である。
【０１１７】
図１４には、本発明の第２の実施の形態の画像符号化フォーマット変換装置の概略構成を示す。なお、図１と同じ構成要素には同一の指示符号を付して、それらの詳細な説明は省略する。
【０１１８】
この図１４に示す第２の実施の形態の画像符号化フォーマット変換装置の基本的な構成は、前記図１に示した第１の実施の形態の構成と略々同じであり、入力されたＭＰＥＧ２画像符号化ビットストリームに対し、ＭＰＥＧ２画像復号化器３０内で、可変長符号の復号化を行った後、ＰピクチャのみのＭＰＥＧ２動きベクトルやマクロブロックタイプなどのパラメータを抽出し、それらを動きベクトル変換器３２へ伝送する動作は、図１に示した第１の実施の形態の装置と同様であるが、当該第２の実施の形態の装置構成の場合は、動きベクトル変換器３２の後段に、切換スイッチＳＷ６と、フレームメモリ１５４及び動き補償予測器１５５が加えられている。
【０１１９】
上記切換スイッチＳＷ６は、動きベクトル変換器３２より出力されたＭＰＥＧ４画像符号化方式に対応する４つの８画素×８画素のブロックｂ１〜ｂ４の動きベクトルｍｖ１〜ｍｖ４が、全てＭＰＥＧ２画像符号化方式のイントラマクロブロックに対応している場合のみ、被切換端子ａ側に切り換えられる。なお、切換スイッチＳＷ６が被切換端子ｂ側に切り換えられた場合の動作は図１と同様である。
【０１２０】
上記切換スイッチＳＷ６が被切換端子ａ側に切り換えられた時、上記動きベクトル変換器３２から出力されたＭＰＥＧ４動きベクトルｍｖと、解像度フレームレート変換器３１より出力された画像信号と、ＭＰＥＧ４画像符号化器３３より出力されるＭＰＥＧ４画像符号化ビットストリームに対応する画像信号とがフレームメモリ１５４に蓄積される。
【０１２１】
ここで、本実施の形態では、１６画素×１６画素のマクロブロックの動きベクトルと８画素×８画素のブロックの動きベクトルを再検出してから、ＭＰＥＧ４符号化装置３３に送るようにするために、フレームメモリ１５４に蓄積された画像信号のうち、解像度フレームレート変換器３１から供給された画像信号は現フレーム画像とされ、ＭＰＥＧ４画像符号化器３３から供給された画像信号は予測参照フレーム画像となされ、動き補償予測器１５５において、それら現フレーム画像、予測参照フレーム画像を用いてフレーム間のＭＰＥＧ４動きベクトルを検出する。なお、予測参照フレーム画像として、解像度フレームレート変換器３１より出力された画像信号を用いてもよく、また、解像度フレームレート変換器３１より出力された画像信号を現フレーム画像、予測参照フレーム画像として交互に用いるようにしても良い。上記動き補償予測器１５５から出力されたＭＰＥＧ４動きベクトルがＭＰＥＧ４画像符号化器３３に送られる。
【０１２２】
図１５には、本発明の第３の実施の形態の画像符号化フォーマット変換装置の概略構成を示す。
【０１２３】
この図１５に示す第３の実施の形態の画像符号化フォーマット変換装置において、画像前処理フィルタ１６１には、例えばＣＣＤ（固体撮像素子）等を備えた画像撮影装置１６０やチューナ等の画像受信装置１６７から供給された画像信号が入力する。当該画像前処理フィルタ１６１は、必要に応じて、入力画像信号のノイズ除去など、符号化の前処理を行い、その前処理後の画像信号を動き補償器１６２、ＭＰＥＧ２画像符号化器１６３、解像度フレームレート変換器１６６に送る。なお、前処理が不要な場合には、当該画像前処理フィルタ１６１を省略する場合も可能である。
【０１２４】
動き補償器１６２は、画像前処理フィルタ１６１より供給された画像信号の各フレームに対し、外部より供給されたフレームレート解像度情報Ａを元に、動きベクトルを計算する。当該動きベクトルは、動きベクトル変換器１６４とＭＰＥＧ２画像符号化器１６３に送られる。
【０１２５】
ＭＰＥＧ２画像符号化器１６３は、画像前処理フィルタ１６１により供給された画像信号に対し、動き補償器１６２から出力された動きベクトルを元に符号化を施し、ＭＰＥＧ２画像符号化ビットストリームを生成して出力する。
【０１２６】
動きベクトル変換器１６４は、第１の実施の形態装置の動きベクトル変換器３２と同様に動作し、外部より供給されたフレームレート解像度情報Ａに合わせて、動きベクトルに変換処理を施し、その変換後の動きベクトルをＭＰＥＧ４画像符号化器１６５に送る。
【０１２７】
また、解像度フレームレコーダ変換器１６６は、第１の実施の形態装置の解像度フレームレート変換器３１と同様に動作し、画像前処理フィルタ１６１から出力された画像信号に対し、外部より入力されたフレームレート解像度情報Ａ、フレームレート解像度情報Ｂに基づく解像度及びフレームレート変換処理を施す。この解像度及びフレームレート変換後の画像信号は、ＭＰＥＧ４画像符号化器１６５に送られる。
【０１２８】
ＭＰＥＧ４画像符号化器１６５では、解像度フレームレート変換器１６６から出力される画像信号に対し、動きベクトル変換器１６４より出力された動きベクトルを元に符号化処理を施し、ＭＰＥＧ４画像符号化ビットストリームを生成して出力する。
【０１２９】
なお、本実施の形態は、一つの動き補償器１６２に対して、動きベクトル変換器１６４を用いることで、ＭＰＥＧ２画像符号化器１６３および、ＭＰＥＧ４画像符号化器１６５での符号化に用いる動きベクトルを作成できるため、従来のよように２つの動き補償器が必要であった場合よりも処理量が軽くなる。
【０１３０】
【発明の効果】
以上の説明からも明らかなように、本発明においては、第１の信号に対して少なくとも解像度変換を施して第２の信号を生成し、当該第２の信号から第３の信号を生成する場合に、第２の信号に対して所定の位置の信号要素の補填若しくは除去を行い、第３の信号の生成に適した信号に調整することにより、信号品質を劣化させずに、第１の信号を第３の信号に変換可能である。
【０１３１】
また、本発明においては、第１の信号に対して少なくとも解像度変換を施して第２の信号を生成し、当該第２の信号から第３の信号を生成する場合に、第１の信号に含まれる処理パラメータを、第３の信号の生成に必要となる全部若しくは一部の処理パラメータに変換することにより、信号品質を劣化させず、第２の信号から第３の信号を生成する際の処理量を低減し、さらに装置構成の大規模化をも防止可能である。
【０１３２】
また、本発明においては、第１の信号に対して少なくとも解像度変換を施して第２の信号を生成し、当該第２の信号から第３の信号を生成する場合に、第２の信号に対して所定の位置の信号要素の補填若しくは除去を行って第３の信号の生成に適した信号に調整し、第１の信号に含まれる処理パラメータを第３の信号の生成に必要となる全部若しくは一部の処理パラメータに変換することにより、信号品質を劣化させず、第１の信号を第３の信号に変換可能であり、また、第２の信号から第３の信号を生成する際の処理量を低減し、さらに装置構成の大規模化をも防止可能である。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の画像符号化フォーマット変換装置の概略構成を示すブロック回路図である。
【図２】解像度変換前と後の画像における動きベクトルの相関についての説明に用いる図である。
【図３】解像度及びフレームレート変換についての説明に用いる図である。
【図４】画像サイズ調整フラグに基づく画素補填或いは除去処理についての説明に用いる図である。
【図５】動きベクトル変換の動作原理の説明に用いる図である。
【図６】動きベクトル変換器の詳細な構成及び動作の説明に用いる図である。
【図７】ベクトル変換部の詳細な動作の説明に用いる図である。
【図８】インターマクロブロックがフレーム構造でフレーム予測のマクロブロックである場合の、ベクトル変換部における動きベクトル変換の概念説明に用いる図である。
【図９】トップフィールド予測である場合のベクトル変換部における動きベクトル変換の概念説明に用いる図である。
【図１０】ボトムフィールド予測である場合のベクトル変換部における動きベクトル変換の概念説明に用いる図である。
【図１１】各フィールドの時間的位置関係説明に用いる図である。
【図１２】動きベクトル調整部の詳細な動作説明に用いる図である。
【図１３】動きベクトル補正部の詳細な動作説明に用いる図である。
【図１４】第２の実施の形態の装置の概略構成を示すブロック回路図である。
【図１５】第３の実施の形態の装置の概略構成を示すブロック回路図である。
【図１６】従来の画像符号化フォーマット変換装置の概略構成を示すブロック回路図である。
【符号の説明】
３０ ＭＰＥＧ２画像復号化器、 ３１，１６６ 解像度フレームレート変換器、 ３２，１６４ 動きベクトル変換器、 ３３，１６５ ＭＰＥＧ４画像符号化器、 ３４ 解像度フレーム変換部、 ３５ 画素補填／除去部、 １５４フレームメモリ、 １５５ 動き補償予測器、 １６１ 画像前処理フィルタ、 １６２ 動き補償器、 １６０ 画像撮影装置、 １６７ 画像受信装置
Claims (13)
- 動き補償予測を行って符号化された符号化ストリームを復号して画像データを生成する復号手段と、
上記復号手段により生成された画像データを解像度変換する画像変換手段と、
上記符号化ストリームの動きベクトルが動き予測の予測画像を構成する整数画素の中間値位置を示している場合に、上記符号化ストリームの動きベクトルを、上記画像変換手段により解像度変換された画像データに対する動き予測の予測画像を構成する整数画素の中間値位置を示すように変換する動きベクトル変換手段と、
上記動きベクトル変換手段により変換された動きベクトルを利用して、上記画像変換手段により解像度変換された画像信号を符号化する符号化手段と
を備える画像処理装置。 - 上記画像データは、インタレース画像であり、
上記解像度変換手段は、上記インタレース画像のトップフィールド又はボトムフィールを選択してプログレッシブ画像に変換することにより、上記画像データの垂直方向の解像度を変換する請求項１記載の画像処理装置。 - 上記画像変換手段は、ダウンサンプリングフィルタにより画像データの水平方向の解像度を変換する請求項１記載の画像処理装置。
- 上記符号化手段は、ＭＰＥＧ４規格に従って符号化する請求項１記載の画像処理装置。
- 上記符号化ストリームは、ＭＰＥＧ２規格に従って符号化されたストリームである請求項１記載の画像処理装置。
- 上記解像度変換と共にレート変換を行い、上記符号化ストリームの動き補償予測に用いたフィールド又はフレーム画像が間引かれているとき、上記動きベクトル変換手段は、上記間引かれた後のフィールド又はフレーム画像に対する動きベクトルに時空間の補正を行うことにより、上記間引かれたフィールド又はフレーム画像に対応する動きベクトルを生成する請求項１記載の画像処理装置。
- 上記復号手段により生成された画像データを構成する複数の画素群と、上記解像度変換後の画像信号を構成する複数の画素群とが対応するとき、上記動きベクトル変換手段は、上記復号手段により生成された画像データを構成する複数の画素群に対応する各動きベクトルを、上記解像度変換後の画像信号を構成する複数の画素群に対応する各動きベクトルに変換すると共に、上記解像度変換後の画像信号を構成する複数の画素群を一つに纏めた画素群に対応する１つの動きベクトルを生成する請求項１記載の画像処理装置。
- 上記動きベクトル変換手段は、上記符号化ストリーム中の画像内符号化がなされた画像信号を復号化した画像データを上記解像度変換した画像信号を構成する複数の画素群の各動きベクトルを、上記符号化ストリーム中の画像内符号化以外の符号化がなされた画像信号を復号化した画像データを構成する複数の画素群に対応する各動きベクトルより求める請求項１記載の画像処理装置。
- 動き補償予測を行って符号化された符号化ストリームを復号して画像データを生成する復号工程と、
上記復号工程により生成された画像データを解像度変換する画像変換工程と、
上記符号化ストリームの動きベクトルが動き予測の予測画像を構成する整数画素の中間値位置を示している場合に、上記符号化ストリームの動きベクトルを、上記画像変換工程により解像度変換された画像データに対する動き予測の予測画像を構成する整数画素の中間値位置を示すように変換する動きベクトル変換工程と、
上記動きベクトル変換工程により変換された動きベクトルを利用して、上記画像変換工程により解像度変換された画像信号を符号化する符号化工程と
を備える画像処理方法。 - 動き補償予測を行って符号化された符号化ストリームを復号した第１の画像データを解像度変換して得られる第２の画像データと上記符号化ストリームの動きベクトルとを受け取る受け取り手段と、
上記受け取り手段により受け取られた動きベクトルが動き予測の予測画像を構成する整数画素の中間値位置を示している場合に、上記受け取り手段により受け取られた動きベクトルを、上記受け取り手段により受け取られた第２の画像データに対する動き予測の予測画像を構成する整数画素の中間値位置を示すように変換する動きベクトル変換手段と、
上記動きベクトル変換手段により変換された動きベクトルを利用して、上記受け取り手段により受け取られた第２の画像データを符号化する符号化手段と
を備える画像処理装置。 - 動き補償予測を行って符号化された符号化ストリームを復号した第１の画像データを解像度変換して得られる第２の画像データと上記符号化ストリームの動きベクトルとを受け取る受け取り工程と、
上記受け取り工程により受け取られた動きベクトルが動き予測の予測画像を構成する整数画素の中間値位置を示している場合に、上記受け取り工程により受け取られた動きベクトルを、上記受け取り工程により受け取られた第２の画像データに対する動き予測の予測画像を構成する整数画素の中間値位置を示すように変換する動きベクトル変換工程と、
上記動きベクトル変換工程により変換された動きベクトルを利用して、上記受け取り手段により受け取られた第２の画像データを符号化する符号化工程と
を備える画像処理方法。 - 動き補償予測を行って符号化された符号化ストリームを復号して画像データを生成する復号手段と、
上記復号手段により生成された画像データを解像度変換する画像変換手段と、
上記符号化ストリームの動きベクトルが動き予測の予測画像を構成する整数画素の中間値位置を示している場合に、上記符号化ストリームの動きベクトルを、上記画像変換手段により解像度変換された画像データに対する動き予測の予測画像を構成する整数画素の中間値位置を示すように変換する動きベクトル変換手段と、
上記動きベクトル変換手段により変換された動きベクトルと上記画像変換手段により解像度変換された画像データとを伝送する伝送手段と
を備える画像処理装置。 - 動き補償予測を行って符号化された符号化ストリームを復号して画像データを生成する復号工程と、
上記復号工程により生成された画像データを解像度変換する画像変換工程と、
上記符号化ストリームの動きベクトルが動き予測の予測画像を構成する整数画素の中間値位置を示している場合に、上記符号化ストリームの動きベクトルを、上記画像変換工程により解像度変換された画像データに対する動き予測の予測画像を構成する整数画素の中間値位置を示すように変換する動きベクトル変換工程と、
上記動きベクトル変換工程により変換された動きベクトルと上記画像変換工程により解像度変換された画像データとを伝送する伝送工程と
を備える画像処理方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000050524A JP4378824B2 (ja) | 2000-02-22 | 2000-02-22 | 画像処理装置及び方法 |
| US09/791,013 US6983019B2 (en) | 2000-02-22 | 2001-02-22 | Apparatus and method for converting signals |
| US11/193,244 US7711050B2 (en) | 2000-02-22 | 2005-07-29 | Apparatus and method for converting signals |
| US12/754,902 US20100195735A1 (en) | 2000-02-22 | 2010-04-06 | Apparatus and method for converting signals |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000050524A JP4378824B2 (ja) | 2000-02-22 | 2000-02-22 | 画像処理装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001238218A JP2001238218A (ja) | 2001-08-31 |
| JP4378824B2 true JP4378824B2 (ja) | 2009-12-09 |
Family
ID=18572294
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000050524A Expired - Lifetime JP4378824B2 (ja) | 2000-02-22 | 2000-02-22 | 画像処理装置及び方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (3) | US6983019B2 (ja) |
| JP (1) | JP4378824B2 (ja) |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4378824B2 (ja) * | 2000-02-22 | 2009-12-09 | ソニー株式会社 | 画像処理装置及び方法 |
| JP3921680B2 (ja) | 2001-01-24 | 2007-05-30 | ソニー株式会社 | 記録再生装置および方法、プログラム格納媒体、並びにプログラム |
| JP4457506B2 (ja) * | 2001-02-27 | 2010-04-28 | ソニー株式会社 | パケット化装置およびパケット化方法 |
| JP4574090B2 (ja) * | 2001-09-21 | 2010-11-04 | 三菱電機株式会社 | 動画データ変換装置および動画データ変換プログラム |
| JP2003116104A (ja) * | 2001-10-02 | 2003-04-18 | Sony Corp | 情報処理装置及び情報処理方法 |
| US20040105589A1 (en) * | 2001-12-25 | 2004-06-03 | Makoto Kawaharada | Moving picture compression/coding apparatus and motion vector detection method |
| US7170936B2 (en) * | 2002-03-28 | 2007-01-30 | Intel Corporation | Transcoding apparatus, system, and method |
| US7469012B2 (en) * | 2002-05-14 | 2008-12-23 | Broadcom Corporation | System and method for transcoding entropy-coded bitstreams |
| JP4346868B2 (ja) | 2002-06-17 | 2009-10-21 | 株式会社日立製作所 | 動画符号化装置、及び動画記録再生装置、及び動画再生装置、及び動画符号化方法ならびに動画記録再生方法 |
| US7009655B2 (en) * | 2002-07-23 | 2006-03-07 | Mediostream, Inc. | Method and system for direct recording of video information onto a disk medium |
| JP2004072694A (ja) * | 2002-08-09 | 2004-03-04 | Sony Corp | 情報提供システムおよび方法、情報提供装置および方法、記録媒体、並びにプログラム |
| JP3893350B2 (ja) | 2002-11-29 | 2007-03-14 | キヤノン株式会社 | 符号化データ変換装置及びその方法 |
| JP3937223B2 (ja) | 2003-01-21 | 2007-06-27 | ソニー株式会社 | 記録装置、再生装置、記録方法及び再生方法 |
| WO2004073313A1 (en) * | 2003-02-13 | 2004-08-26 | Koninklijke Philips Electronics N.V. | Spatio-temporal up-conversion |
| EP1618744B1 (en) * | 2003-04-17 | 2007-09-05 | Koninklijke Philips Electronics N.V. | Video transcoding |
| FR2857205B1 (fr) * | 2003-07-04 | 2005-09-23 | Nextream France | Dispositif et procede de codage de donnees video |
| US8064520B2 (en) | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
| US7961786B2 (en) * | 2003-09-07 | 2011-06-14 | Microsoft Corporation | Signaling field type information |
| US8107531B2 (en) | 2003-09-07 | 2012-01-31 | Microsoft Corporation | Signaling and repeat padding for skip frames |
| US7724827B2 (en) * | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
| US7554602B2 (en) * | 2004-07-12 | 2009-06-30 | Canon Kabushiki Kaisha | Processing interlaced video in a frame based rendering system |
| ITTO20040780A1 (it) * | 2004-11-09 | 2005-02-09 | St Microelectronics Srl | Procedimento e sistema per il trattamento di segnali a descrizioni multiple, relativo prodotto informatico |
| JP4925697B2 (ja) | 2006-03-23 | 2012-05-09 | ソニー株式会社 | ネットワーク伝送用の映像信号符号化システム及び映像信号符号化方法，信号変換装置 |
| JP5188033B2 (ja) * | 2006-04-24 | 2013-04-24 | 株式会社日立製作所 | 記録再生装置、送出装置及び伝送システム。 |
| JP4777185B2 (ja) * | 2006-08-08 | 2011-09-21 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体、及び、画像符号化装置 |
| US8195008B2 (en) * | 2007-06-28 | 2012-06-05 | Broadcom Corporation | Method and system for processing video data in a multipixel memory to memory compositor |
| JP2009027446A (ja) * | 2007-07-19 | 2009-02-05 | Olympus Corp | 画像処理方法および画像処理装置 |
| JP4642055B2 (ja) * | 2007-10-01 | 2011-03-02 | 株式会社日立製作所 | 動画符号化装置、及び動画記録再生装置 |
| US8965183B1 (en) * | 2008-01-30 | 2015-02-24 | Dominic M. Kotab | Systems and methods for creating and storing reduced quality video data |
| US9232174B1 (en) | 2008-06-25 | 2016-01-05 | Dominic M. Kotab | Methods for receiving and sending video to a handheld device |
| JPWO2012111325A1 (ja) * | 2011-02-17 | 2014-07-03 | パナソニック株式会社 | 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム |
| KR101954192B1 (ko) * | 2012-11-15 | 2019-03-05 | 엘지전자 주식회사 | 어레이 카메라, 휴대 단말기 및 그 동작 방법 |
| US10382512B2 (en) * | 2013-03-14 | 2019-08-13 | Microsoft Technology Licensing, Llc | Distributed fragment timestamp synchronization |
| US9275434B2 (en) | 2014-03-11 | 2016-03-01 | Qualcomm Incorporated | Phase control multi-tap downscale filter |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06178270A (ja) | 1992-12-01 | 1994-06-24 | Matsushita Electric Ind Co Ltd | 映像再生装置 |
| US5796439A (en) * | 1995-12-21 | 1998-08-18 | Siemens Medical Systems, Inc. | Video format conversion process and apparatus |
| EP1134983B1 (en) * | 1996-03-15 | 2003-07-02 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for encoding and decoding images |
| JP3773585B2 (ja) * | 1996-03-29 | 2006-05-10 | 富士通株式会社 | 画像符号化装置 |
| JPH1051766A (ja) * | 1996-08-05 | 1998-02-20 | Mitsubishi Electric Corp | 画像符号化データ変換装置 |
| JP3774954B2 (ja) | 1996-10-30 | 2006-05-17 | 株式会社日立製作所 | 動画像の符号化方法 |
| US6614846B1 (en) * | 1996-12-06 | 2003-09-02 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for transmitting, encoding and decoding video signal and recording/reproducing method of optical disc |
| JP2933561B2 (ja) | 1997-03-26 | 1999-08-16 | 日本電気通信システム株式会社 | 動画符号変換装置 |
| JP3844844B2 (ja) * | 1997-06-06 | 2006-11-15 | 富士通株式会社 | 動画像符号化装置及び動画像符号化方法 |
| JPH11275592A (ja) * | 1998-01-22 | 1999-10-08 | Victor Co Of Japan Ltd | 動画像符号列変換装置及びその方法 |
| JP4123567B2 (ja) * | 1998-04-30 | 2008-07-23 | ソニー株式会社 | 画像信号処理装置及び方法 |
| US6584154B1 (en) * | 1998-11-26 | 2003-06-24 | Oki Electric Industry Co., Ltd. | Moving-picture coding and decoding method and apparatus with reduced computational cost |
| JP4378824B2 (ja) * | 2000-02-22 | 2009-12-09 | ソニー株式会社 | 画像処理装置及び方法 |
| JP4622077B2 (ja) * | 2000-10-11 | 2011-02-02 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| JP4682410B2 (ja) * | 2000-10-12 | 2011-05-11 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
-
2000
- 2000-02-22 JP JP2000050524A patent/JP4378824B2/ja not_active Expired - Lifetime
-
2001
- 2001-02-22 US US09/791,013 patent/US6983019B2/en not_active Expired - Fee Related
-
2005
- 2005-07-29 US US11/193,244 patent/US7711050B2/en not_active Expired - Fee Related
-
2010
- 2010-04-06 US US12/754,902 patent/US20100195735A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20050265457A1 (en) | 2005-12-01 |
| US20020001348A1 (en) | 2002-01-03 |
| JP2001238218A (ja) | 2001-08-31 |
| US7711050B2 (en) | 2010-05-04 |
| US20100195735A1 (en) | 2010-08-05 |
| US6983019B2 (en) | 2006-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4378824B2 (ja) | 画像処理装置及び方法 | |
| KR101176903B1 (ko) | 서브 픽셀값 보간 방법 | |
| JP4682410B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3861698B2 (ja) | 画像情報符号化装置及び方法、画像情報復号装置及び方法、並びにプログラム | |
| US20100086048A1 (en) | System and Method for Video Image Processing | |
| WO2011121942A1 (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、ならびに動画像復号装置、動画像復号方法及び動画像復号プログラム | |
| JPH06189281A (ja) | 適応的フレーム／フィールドフォーマット圧縮を用いた映像信号符号化装置 | |
| JP2006518568A (ja) | ビデオ符号化 | |
| JP2001145113A (ja) | 画像情報変換装置及び方法 | |
| JP3855522B2 (ja) | 動画変換装置 | |
| JP4470431B2 (ja) | データ処理装置およびその方法 | |
| JP4360093B2 (ja) | 画像処理装置および符号化装置とそれらの方法 | |
| JPH07212761A (ja) | 階層符号化装置及び階層復号化装置 | |
| JP4622077B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3086585B2 (ja) | ステレオ画像符号化装置 | |
| JP2002010267A (ja) | 動きベクトル変換装置及び方法 | |
| JP4422629B2 (ja) | 動画像符号化装置、復号化装置、動画像記録装置および動画像再生装置 | |
| JP2002044669A (ja) | 画像情報変換装置及び方法 | |
| JP4556286B2 (ja) | 動きベクトル変換装置及び方法 | |
| JP4779207B2 (ja) | 動きベクトル変換装置及び動きベクトル変換方法 | |
| JP3416505B2 (ja) | 動画像復号化方法 | |
| GB2379820A (en) | Interpolating values for sub-pixels | |
| JP2630022B2 (ja) | 動き補償フレーム間符号化装置 | |
| JPH10126749A (ja) | 順次走査変換装置 | |
| JP3481118B2 (ja) | 動画像復号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070126 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081125 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090113 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090825 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090907 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |