JP4193406B2 - 映像データ変換装置および映像データ変換方法 - Google Patents

映像データ変換装置および映像データ変換方法 Download PDF

Info

Publication number
JP4193406B2
JP4193406B2 JP2002112860A JP2002112860A JP4193406B2 JP 4193406 B2 JP4193406 B2 JP 4193406B2 JP 2002112860 A JP2002112860 A JP 2002112860A JP 2002112860 A JP2002112860 A JP 2002112860A JP 4193406 B2 JP4193406 B2 JP 4193406B2
Authority
JP
Japan
Prior art keywords
encoding
motion vector
video
mode
predetermined partial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002112860A
Other languages
English (en)
Other versions
JP2003309851A (ja
Inventor
俊一 関口
悦久 山田
文伸 小川
光太郎 浅井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2002112860A priority Critical patent/JP4193406B2/ja
Priority to KR20047016448A priority patent/KR100719647B1/ko
Priority to PCT/JP2003/004529 priority patent/WO2003088676A1/ja
Priority to EP03746441A priority patent/EP1475971A4/en
Priority to US10/501,897 priority patent/US7526027B2/en
Priority to CNB038055872A priority patent/CN100353769C/zh
Publication of JP2003309851A publication Critical patent/JP2003309851A/ja
Application granted granted Critical
Publication of JP4193406B2 publication Critical patent/JP4193406B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Description

【０００１】
【発明の属する技術分野】
本発明は、各種国際標準の映像圧縮・伸長方式に準拠したビデオ圧縮データの各種変換を行なう映像データ変換装置および映像データ変換方法の技術に関する。
【０００２】
【従来の技術】
現在、デジタル放送(衛星、地上波、ケーブル)、DVD、ビデオCD、インターネット、モバイルなど、放送・通信・パッケージにまたがる多様なアプリケーションにおいて、MPEGやITU-T H.26xなどの国際標準映像符号化方式が活用されている。これらの符号化方式で圧縮された映像コンテンツを、サポートする符号化方式、伝送ビットレート、空間解像度(フレームサイズ)、時間解像度(フレームレート)などの条件が異なるプラットフォームで再利用する要求が高まっており、これを背景として映像トランスコーディング技術の研究開発が盛んに行われている。
【０００３】
特に、MPEGやITU-T H.26xなどの標準映像符号化方式は、一貫して、動き補償予測(Motion Compensation、以下MC)による時間方向の信号冗長度削減、離散コサイン変換(Discrete Cosine Transform、以下DCT)による空間方向の信号冗長度削減を基本としているため、符号化データの構文(シンタックス)がある程度共通化されており、このことを利用したビットストリームレベルでの変換を考えることにより、上記標準映像符号化方式を対象として演算負荷を低減したトランスコーディング技術が主に検討されてきている。
【０００４】
中でも、NTSC解像度(704×480画素フレーム、30frames/sec)のMPEG-2ビデオを、SIF(35２×２40画素)の低フレームレートMPEG-4もしくはH.263ビデオへ変換する問題は、既存MPEG-2コンテンツの有効活用の観点から実用化要求が高く、ホットトピックとなっている(例えば、Wang Xing Guo, Zheng Wei Guo, and Ishfaq Ahmad, "MPEG-2 To MPEG-4 Transcoding", Workshop and Exhibition on MPEG-4
(WEMP) 2001.など)。
【０００５】
このような映像トランスコーディング技術においては、トランスコーダ入力のMPEG-2ビデオストリームに含まれる動きベクトルを、MPEG-4符号化に利用可能な動きベクトルへ変換する処理が重要となる。縦横1/2の解像度変換が行われるため、入力MPEG-2ストリームの４つのマクロブロック領域が、ちょうどMPEG-4符号化時の１マクロブロックの領域に対応する。この問題は、もとの最大４本の動きベクトルから、解像度変換後の動きベクトルを推定する問題であり、これまで多くの検討報告がなされている。例えば、B.Shen他、"Adaptive Motion-Vector Resampling for Compressed Video Downsampling", IEEE Transactions on Circuits And Systems for Video Technology, vol.9, no.6, Sep.1999では、入力圧縮データにおいて予測残差が大きい動きベクトルに大きな重みをかけて４つの動きベクトルの重み付け平均をとる手法を報告している。これはいわば、入力圧縮データ中の予測残差信号を判断基準として、そのアクティビティ値に基づいて変換すべき動きベクトルの値を決定する手法であり、M.R.Hashemi他、"Compressed Domain Motion Vector Resampling for Downscaling of MPEG Video", IEEE International Conference on Image Processing, Kobe, Japan, Oct.1999においてもその変形が報告されている。
【０００６】
【発明が解決しようとする課題】
しかし、これらの技術はいずれも、変換すべき動きベクトルが１本のケースに適用が限定されるほか、変換後の動きベクトルの符号化性能の意味での最適性を保証するものではない、という課題があった。
【０００７】
そこで、本発明は、従来技術に述べた第１映像符号化方式から第２の映像符号化方式へのトランスコーディングの際に、従来技術では十分に検討されなかった第２の映像符号化方式へのインパクトを考慮した動きベクトル再利用や符号化モード判定を行なうことのできる映像データ変換装置および映像データ変換方法を提供することを目的とする。
【０００８】
また、インタレース信号からプログレッシブ信号への変換に際して、フィールド単位の動きベクトルからプログレッシブフレーム単位の動きベクトルに変換するための工夫も併せて提供する。
【０００９】
なお、本発明は、MC+DCT映像符号化方式を対象とするトランスコーディング全般について適用可能である。
【００１０】
【課題を解決するための手段】
上記課題を解決するため、映像信号の各フレームを所定部分領域に分割し、この分割された所定部分領域単位で動きベクトル、動き予測モードおよび符号化モードを選択して符号化を行う第１の映像符号化方式に従う第１の映像符号化データを入力して、第１の映像符号化データを復号し、この復号された映像信号の各フレームを所定部分領域に分割し、この分割された所定部分領域単位で動きベクトルおよび符号化モードを選択して符号化を行う第２の映像符号化方式に従う第２の映像符号化データへの変換を行う映像データ変換装置において、前記第１の映像符号化方式における所定部分領域単位の動きベクトルと動き予測モードとに基づいて、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる動きベクトルの候補を生成する動きベクトルマッピング部と、前記第１の映像符号化方式に従う映像符号化データから得られる符号化モードの分布に基づいて、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる符号化モードを一意に推定できるか否かを判断するとともに、一意に推定できる場合には符号化モードを推定する符号化モード推定部と、前記動きベクトルマッピング部によって生成される動きベクトルの候補と、前記符号化モード推定部から得られる符号化モードの候補、および前記第１の映像符号化方式に従う第１の映像符号化データを復号した復号画像とに基づいて、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる動きベクトルおよび符号化モードを決定する符号化パラメータ判定部と、前記符号化パラメータ判定部によって決定される動きベクトルおよび符号化モードに基づいて、前記第１の映像符号化方式に従う第１の映像符号化データを復号した復号画像を前記第２の映像符号化方式に従って第２の映像符号化データへ符号化し、この符号化の過程で生成される復号画像をフレームメモリに記憶するエンコーダとを備え、前記動きベクトルマッピング部は、前記第２の映像符号化方式における複数の符号化モードに対応して所定部分領域内で一つの動きベクトルが割り当てられるベクトル割当領域の大きさごとに、前記第１の映像符号化方式における所定部分領域単位の動きベクトルと動き予測モードに基づく前記ベクトル割当領域への動きベクトルのマッピング方法を切替えて生成対象となる動きベクトルの候補を生成し、前記符号化パラメータ判定部は、前記符号化モード推定部が符号化モードを一意に推定できると判断した場合には、該符号化モード推定部が推定した符号化モードを、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる符号化モードとして決定し、前記符号化モード推定部が符号化モードを一意に推定できないと判断した場合には、動きベクトルをゼロとして前記フレームメモリに記憶された復号画像から第１の予測画像候補を得る符号化モードを使用して、得られた第１の予測画像候補と前記第１の映像符号化データを復号した復号画像の所定部分領域との誤差量を第１の予測誤差量として求め、前記動きベクトルマッピング部で生成される動きベクトルの候補を前記フレームメモリに記憶された復号画像に適用して第２の予測画像候補を得る前記複数の符号化モードを使用して、得られた複数の第２の予測画像候補のそれぞれと前記第１の映像符号化データを復号した復号画像の所定部分領域との誤差量をそれぞれ第２の予測誤差量として求め、前記第１の映像符号化データを復号した復号画像の前記所定部分領域内のフレーム内信号の平均値で与えられる第３の予測画像候補を得る符号化モードを使用して、得られた第３の予測画像候補と前記第１の映像符号化データを復号した復号画像の所定部分領域との誤差量を第３の予測誤差量として求め、これら第１から第３の予測誤差量に重み付けを行い、重み付けられたそれぞれの予測誤差量と動きベクトルの符号量から求められる評価値に基づいて、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる動きベクトルおよび上記第１ないし第３の予測画像候補を得るために使用した符号化モードのうち、いずれかの符号化モードを決定することを特徴とする。
【００１８】
【発明の実施の形態】
実施の形態１．
本実施の形態１では、MPEG-2ビデオデータを入力とし、空間解像度が縦横1/2にダウンサンプリングされたMPEG-4ビデオデータを出力する映像トランスコーダについて説明する。以下の説明では、MPEG-4はMPEG-4シンプルプロファイルに準拠する符号化方式とする。
【００１９】
図１に、本実施の形態１におけるトランスコーダの内部構成を示す。本トランスコーダは、MPEG-2デコーダ部２、MPEG-4エンコーダ部１０が、空間解像度変換部としての解像度変換部６、動きベクトルマッピング部７、符号化モード推定部８を介してカスケード接続された構成であらわされる。
【００２０】
MPEG-2デコーダ部２において一旦復号画像を生成し、解像度変換部６において画素領域で縦横1/2のサイズへ解像度変換を行った後、MPEG-4エンコーダ部１０で符号化を行う。この際、MPEG-4エンコーダ部１０の動きベクトル検出処理を省略するため、動きベクトルマッピング部７において、MPEG-2ビデオストリームから取り出した動きベクトルを、MPEG-4符号化に利用可能な動きベクトルへ変換する。さらに、符号化モード推定部８において、MPEG-2ビデオストリームから取り出した符号化モード情報から、MPEG-4符号化で利用すべき符号化モード情報に関する方針を決定する。
【００２１】
以下、図１に基づいて本トランスコーダの動作を詳しく説明する。
▲１▼．入力 MPEG-2 ビデオストリームの復号処理
まず、MPEG-2準拠の符号化方式で圧縮された入力圧縮データ１がMPEG-2デコーダ部２に入力される。MPEG-2デコーダ部２では、可変長復号部２AにおいてMPEG-2規格に従い入力圧縮データ１のシンタックス解析が行われ、符号化モード情報３、および動きベクトル情報４、予測残差信号符号化データ２Bが生成される。予測残差信号符号化データ２Bは、逆量子化部２C、逆DCT部２Dを経て、予測残差信号復号値２Eに復号される。
【００２２】
動きベクトル情報４は、動きベクトル値そのものだけでなく、フレーム予測かフィールド予測かを示すフラグなど、MCに関わるすべての情報を含むものとする。これは動き補償部２Fへ入力され、フレームメモリ２G中に格納される参照画像データ２Hと動きベクトルとに従い、予測画像２Iが生成される。予測残差信号復号値２Eと予測画像２Iが加算されて、復号画像５が生成される。復号画像５は、MPEG-2デコーダ部２の出力として、解像度変換部６へ出力されるとともに、以後のフレームの動き補償に参照画像として用いるため、フレームメモリ２Gに格納される。
【００２３】
▲２▼．解像度変換処理
MPEG-2復号画像５は、空間解像度変換部としての解像度変換部６において、所定のダウンサンプルフィルタに基づいた画素間引きにより、例えば縦横1/2の空間解像度へ縮小される。この結果がMPEG-4エンコーダ部１０への入力画像９となる。なお、本実施の形態１では、時間方向の解像度変換は、例えば、S.J.Wee他, "Field-to-frame Transcoding with Spatial And Temporal Downsampling", IEEE International Conference on Image Processing, Kobe, Japan, Oct.1999で開示されるように、MPEG-2ストリーム中にBフレーム(両方向予測フレーム)が存在する場合に、Bフレームを間引くことでフレームレートを削減する処理のみを許容する。これは、Bフレームは、I(イントラ)またはP(片方向予測)フレームとは異なり、それ自身を別のフレームの予測に使用されないため、これを間引くことによって他のフレームの品質に影響が及ぶことがないからである。例えば、I(イントラ)またはP(片方向予測)フレームの間にBフレームを２フレーム挿入する符号化パターンがよく用いられているが、この場合、Bフレームをすべて間引くことによって、フレームレートを1/3に低減することが可能である。また、本実施の形態１では、MPEG-2のI(イントラ)フレームはMPEG-4でもI(イントラ)フレームのままとし、同じくMPEG-2のP(片方向予測)フレームはMPEG-4でもP(片方向予測)フレームとして変換を行うものとする。
【００２４】
▲３▼．動きベクトルマッピングおよび符号化モード選択処理
以下、本発明のポイントである、動きベクトルマッピング処理ならびに符号化モード選択処理について説明する。なお、本プロセスは、図１における動きベクトルマッピング部７、符号化モード推定部８、およびMPEG-4エンコーダ部１０の構成要素である符号化パラメータ判定部１０Bとの連携によって実行される。
【００２５】
図２に、本プロセスに関する動作フローチャートを示す。
MPEG-2復号画像５と、MPEG-4エンコーダ部入力信号９とは、空間解像度が縦横1/2であるので、以下説明する処理手順は、MPEG-2の２×２個のマクロブロック、すなわちMPEG-4の１マクロブロックを単位として実行されるものとする。
【００２６】
図３に、この様子を示す。
MPEG-4では、マクロブロックに対して１本もしくは４本の動きベクトルを割り当てられるため、動きベクトルのマッピングの方法としては、図３(A)のように、４本のMPEG-2動きベクトルから１本のMPEG-4動きベクトルへの変換する場合と、図３(B)のように、４本のMPEG-2動きベクトルから４本のMPEG-4動きベクトルへの変換の２通りがある。
【００２７】
1) 事前の強制符号化モード判定 ( ステップ S0)
まず、符号化モード推定部８において、図３に示すMPEG-2の２×２マクロブロック内の符号化モード分布の様子を調べる。４つのマクロブロックすべてがINTRAモードである場合、および４つのマクロブロックすべてがSKIPモードである場合は、それぞれMPEG-4符号化で用いるべき変換後の符号化モードは強制的にINTRA、SKIPとする。この場合には、動きベクトルはすべてゼロとし、以降のステップをスキップする。
【００２８】
なお、INTRAモードとは、動き予測を用いずフレーム内で符号化するモード、SKIPモードとは、参照画像中の同一位置の画像データをそのままコピーするモードで、符号化情報を伝送しないモードのことである。
【００２９】
この結果、４つのマクロブロックのいずれかに動き予測モードを含んでいるケースについてのみ、INTERモード、すなわち動きベクトルを用いて動き予測を行うモードを採用することで符号化効率がよくなる可能性が含まれるケースとみなされる。ただし、この場合、以下の手順2)以降のプロセスに従い、とりうるMPEG-4符号化モードのうち符号化効率の意味で最適なモードを再度決定する。
【００３０】
したがって、符号化モード推定部８の出力１２には、強制的にINTRA、強制的にSKIP、もしくはINTERモードの可能性がある、という3ケースの選択肢が出力される。
【００３１】
2) 動きベクトル候補の選定
上記1)においてINTERモードの利用価値があると判断された場合は、MPEG-2デコーダ部２内の可変長復号部２Aから出力される２×２マクロブロック分のMPEG-2の動きベクトルから、MPEG-4エンコーダ部１０にて用いる動きベクトルの候補を定める。本プロセスは、動きベクトルマッピング部７において実施される。MPEG-2はインタレース信号の圧縮符号化をサポートし、フレームを符号化単位とするフレーム構造符号化、フィールドを符号化単位とするフィールド構造符号化の2つの符号化モードのいずれかを選択できる。フレーム構造符号化では、１６×１６画素からなるマクロブロックをフレーム画像領域で構成し、フィールド構造符号化ではフィールド画像領域でマクロブロックを構成する。フレームは、トップフィールド(上部ラインを構成するフィールド)と、ボトムフィールド(下部ラインを構成するフィールド)をくし状に組合せた画像データとして定義されるため、フィールド構造符号化におけるマクロブロックは、フレーム画像領域におけるマクロブロックに対して、垂直方向をカバーする領域が2倍になる。
【００３２】
図４は、MPEG-2のPフレームにおける動き予測モードと対応する動きベクトルの様子を示したものである。図４(A)はフレーム構造符号化時に利用可能な動き予測モードで、同図(B)はフィールド構造符号化時に利用可能な動き予測モードである。図４(A)において、フレーム予測は、フレーム画像からなるマクロブロックを1本の動きベクトルvfrで予測する。フィールド予測は、フレーム画像からなるマクロブロックの個々のフィールド領域に対して、個別の動きベクトルvtfおよびvbfで予測を行う。このとき、参照するフィールドがトップフィールドかボトムフィールドかを選択することが可能である。デュアルプライム予測は、1本のフィールドベクトルvで同一フィールド位置から第1の予測画像を生成する(トップフィールドの予測はトップフィールドを参照、ボトムフィールドの予測はボトムフィールドを参照)とともに、別フィールド位置からはベクトルvをフィールド間距離に基づいてスケーリングした結果に微小ベクトルdmvを加算した動きベクトルで第2の予測画像を生成して、第1および第2の予測画像の加算平均を個々のフィールドの予測画像として用いるものである。
【００３３】
図４（B）において、フィールド予測は、フィールド画像からなるマクロブロックを1本の動きベクトルvfiで予測する。１６×８予測は、フィールド画像からなるマクロブロックを上下１６×８の２つの領域に分割し、それぞれを個別の動きベクトルvfi,upperおよびvfi,lowerで予測する。デュアルプライム予測は、フレーム構造符号化の場合のルールをフィールドに適用した予測を行う。
【００３４】
動きベクトルマッピング部７では、以上のMPEG-2動き予測モードに対応して、MPEG-4符号化のための動きベクトルを生成する。本実施の形態１では、MPEG-4符号化に利用する動きベクトルは、以下の手順で選定する。
【００３５】
2-1) INTER4V モード用動きベクトル候補の選定 ( ステップ S1)
MPEG-2のマクロブロックの単位に定義される動きベクトルを、その予測の性質に応じて解像度変換後の動きベクトルのスケールにダウンスケールし、MPEG-2の２×２マクロブロックの領域に対応する４本の動きベクトルを一意に定め、それら動きベクトルを、MPEG-4のINTER4Vモードのための動きベクトル候補とする。INTER4Vモードとは、フレーム画像領域で定義される１６×１６画素からなるマクロブロック領域を４つの８×８画素ブロックに分割し、それぞれ個別の動きベクトルで予測するモードのことである。図３(B)のケースに該当する。本ステップについては、以下のルールに基づいてINTER4Vモードのための動きベクトル候補を選定する。
【００３６】
○フレーム構造符号化の場合
[フレーム予測の場合]
動きベクトルvfrを水平垂直各1/2した動きベクトルを候補とする。
【００３７】
[フィールド予測の場合]
トップフィールドの動きベクトルvtfを、水平方向1/2した動きベクトルを候補とする。
【００３８】
[デュアルプライム予測の場合]
トップフィールドのための動きベクトルvおよびαv+dmvの平均値を、水平方向1/2した動きベクトルを候補とする。
【００３９】
○フィールド構造符号化の場合
以下、トップフィールドの予測に用いるベクトルについてのみ抽出を行う。
[フィールド予測の場合]
動きベクトルvfiを水平方向に1/2、垂直方向に1/4した動きベクトルを候補とする。
【００４０】
[１６×８予測の場合]
動きベクトルvfi,upperとvfi,lowerを平均し、水平垂直各1/2した動きベクトルを候補とする。
【００４１】
[デュアルプライム予測の場合]
動きベクトルvおよびαv+dmvの平均値を、水平方向に1/2、垂直方向に1/4した動きベクトルを候補とする。
【００４２】
2-2) INTER モード対応動きベクトル候補の選定 ( ステップ S2)
上記定められた４本の動きベクトルから、MPEG-4のINTERモードのための動きベクトルを定める。INTERモードとは、フレーム画像領域で定義される１６×１６画素からなるマクロブロック領域を１本の動きベクトルで予測するモードのことである。図３の(A)のケースに該当する。これは、例えば、B.Shen他、"Adaptive Motion-Vector Resampling for Compressed Video Downsampling", IEEE Transactions on Circuits And Systems for Video Technology, vol.9, no.6, Sep.1999に開示される方法で決定することが考えられる。
【００４３】
以上2-1), 2-2)で選定されるINTER用、INTER4V用動きベクトル候補は、動きベクトルマッピング情報１１として、MPEG-4エンコーダ部１０へ入力される。
【００４４】
3) 符号化モード判定
上記2)により、MPEG-4のINTERおよびINTER4Vで利用すべき動きベクトルの候補が選定されたため、残る符号化モードの可能性としてINTRA、SKIPのうち、最も符号化効率のよいモードを選択する。この結果として、最終的な符号化モードと動きベクトルが決定される。この処理は、符号化パラメータ判定部１０Bで実行される。
【００４５】
このモード判定処理に、判定基準として、下式に示すレート歪コストJmを用いる。
【００４６】
【数１】
Figure 0004193406
【００４７】
同式において、mは符号化モード種別、vmはモードmの場合の動きベクトル、Mはモード種別の集合(M=(INTRA,SKIP,INTER,INTER4V))、αmはモードmに応じて定まる定数、Emはモードm使用時の予測誤差評価値、Rvmは動きベクトルがvmの場合の動きベクトル符号量、λは正の定数、m*, vm*は本評価の結果選定される符号化モードと動きベクトルである。なお、この3)の符号化モード判定の際、予測誤差評価値と、動きベクトル符号量とのどちらか一方のみに基づくようにしても良い。
【００４８】
Emとしては、SKIP,INTER,INTER4Vモードに関しては、例えば、入力信号９と、動きベクトルvmを用いて動き補償部１０Aから得られる予測画像候補との間の差分絶対値和などで定義することができる。なお、SKIPの場合の動きベクトルvmはゼロであり、Rvmもゼロであるとする。同じ評価式でINTRAモードも評価を行うために、INTRAモードのEmとしては、入力信号９におけるマクロブロック内の輝度信号平均値を予測画像候補とみなし、それを入力信号９から差し引いた差分の絶対値和を用いることができる。なお、Emは輝度信号のみでなく、色差成分(Cb、Cr成分)を加味して定義するように構成してもよい。
【００４９】
MPEG-2およびMPEG-4の符号化対象映像の色成分サンプル比は多くの場合Y:Cb:Cr=4:2:0(輝度成分１６×１６画素領域に対して、８×８画素領域のCb、Cr成分が対応するケース)を用いることが多いので、例えば、Cb、Crのそれぞれの８×８領域の平均値(DC成分)を上記INTRAモードの輝度成分のケースと同様、予測画像候補とみなし、入力信号９のCb、Cr各成分から該平均値を差し引いた差分絶対値和を加味するように構成できる。これによって、輝度パターンの類似度だけでなく、色の類似度も考慮した動きベクトルを評価することが可能となり、視覚的に目立ちやすい色ずれによる劣化を抑制することができる。
【００５０】
また、INTRAモードでは動きベクトルの符号量Rvmがゼロである一方、符号化すべきDCT係数が多くなるため、重みαmによってあらかじめEmに対する評価の重みを変更しておく。これによって、擬似的にINTRAモードのDCT係数符号量の加算分を考慮したモード判定を行うことが可能となる。
【００５１】
尚、Emに対する評価の重み付けは重みαmの乗算でなく、オフセット値Omの加算で実現してもよい。また、λの値としては、例えば、Gary J. Sullivan and Thomas Wiegand, "Rate-Distortion Optimization for Video Compression", IEEE Signal Processing Magazine, vol. 15, no. 6, pp. 74-90, Nov. 1998.に開示される以下の値を用いることができる。ただし、Qpは、符号化対象マクロブロックの量子化ステップパラメータである。
【００５２】
【数２】
Figure 0004193406
【００５３】
図２のフローでは、便宜上、mをカウンタとして定義し、mのループ処理の形式で上記プロセスを記述している。符号化モード推定部８の出力１２から、INTERモードの評価価値があると判断される場合に、mおよびコスト評価値min_Jを初期化して(ステップS3)処理を開始する。
【００５４】
m =3(INTRA)か否かの判定(ステップS4)を経て、INTRAである場合は、当該マクロブロック内の輝度値の平均値を算出する(ステップS5)。さもなくば、動きベクトルマッピング情報１１から定まる動きベクトルvmを用いて動き補償部１０Bを利用して予測画像候補を得る(ステップS6)。ステップS5またはステップS6の結果は、入力信号９であらわされる符号化対象マクロブロックの輝度信号との間で差分絶対値和が計算され、それを上記EmとしてコストJmを算出する(ステップS7)。ステップS8、S9において、コスト最小となるモードmへの候補更新が行なわれ、ステップS10でmをインクリメントし、ステップS11でループが終了するまで上記処理を継続する。
【００５５】
以上の手順により、ステップS0でINTERモードの利用価値があると判断されるケースでは、MPEG-4符号化においてとりうるすべての符号化モードを対象として最適なモード選択ならびにそれに付随する動きベクトルを選定することが可能となる。従来技術では、上記1)に記載したような動きベクトル候補の選定は開示しているが、その結果得られる動きベクトル自身の符号量コスト、MPEG-4符号化へのインパクトまでは評価されない。特に低レートのMPEG-4符号化を行うような場合には、動きベクトルの符号量の大きさを無視しにくくなるが、上記判定規範を用いることで、INTER、INTER4Vの動きベクトル候補のうち符号量と予測精度の最適なトレードオフを与えるものを選択することができる。また、INTRA、SKIPも同様の評価尺度で判定を行うようにすることで、同一の判定規範でMPEG-4符号化に用いるべき動きベクトルと符号化モードを一括して決定することができる。
【００５６】
▲４▼． MPEG-4 符号化処理
以上の結果、MPEG-4エンコーダ１０には、入力圧縮データ１から抽出された動きベクトル情報、符号化モード情報を再利用する形で、動きベクトルマッピング情報１１、符号化モード強制設定情報１２が入力され、解像度変換後のMPEG-2復号画像９の符号化に用いられる。これらの情報は上記▲３▼で述べた手順に基づいて、符号化パラメータ判定部１０Bにおける、MPEG-4の各マクロブロック単位に符号化に用いる符号化モードおよび動きベクトルの決定に利用される。
【００５７】
その結果、INTER、INTER4Vのいずれかのモードの場合は動き補償部１０Aで予測画像１０Cが生成され、入力信号９との差分をとって予測残差信号が生成され、それがDCT部１０D、量子化部１０Eを経て可変長符号化部１０JによってMPEG-4
ビデオストリームの形式に配列される。
【００５８】
INTRAモードの場合は、入力信号９そのものがDCT、量子化されたのち可変長符号化される。SKIPモードの場合は、当該マクロブロックがSKIPであることを示すフラグ(not_coded)のみをビットストリームに多重することで符号化を完了する。
【００５９】
量子化後の予測残差信号は、逆量子化部１０F、逆DCT部１０Gを経て予測残差信号復号値１０Hに戻され、予測画像１０Cと加算されたのち、以降のフレームのMCに用いるためにフレームメモリ１０Mに格納される。なお、可変長符号化部１０Jは、その内部にAC、DC成分の予測処理、DCT係数のランレングス符号化のためのスキャニング処理を含む。
【００６０】
また、可変長符号化部１０Jの出力は、バッファリングされた後、伝送もしくは記録されることから、一般にバッファ占有量１０Kに基づいた符号化制御を、符号化制御部１０Lが実施する。ここでは、主としてフレームた、マクロブロックをラスタスキャン順に複数個グルーピングした単位で、フレーム内での周辺画像領域との依存関係を断ち切ることで誤りからの早期復帰に用いられるビデオパケット、マクロブロックなどの単位で、量子化ステップパラメータ(Qp)１０Nを決定する処理を行う。決定された量子化ステップパラメータ１０Nは、量子化部１０E、逆量子化部１０Fへ入力されるとともに、上記λ算出のため符号化パラメータ判定部１０Bにも入力される。
【００６１】
以上のべたように、本実施の形態１によれば、MPEG-2映像データからMPEG-4映像データへの変換動作を行うトランスコーダにより、MPEG-2データ中の動きベクトルや符号化モードの情報を再利用しながらMPEG-4符号化における最適な符号化モードならびに動きベクトルの決定を行うので、その結果、少ない演算量でトランスコード映像の品質を向上させることが可能である。
【００６２】
特に、本実施の形態１では、演算負荷の大きい動きベクトル検出処理を簡略化したので、従来の単純動きベクトル再利用手法に比べてMPEG-2からMPEG-4への映像トランスコーティング品質を向上させることができる。
【００６３】
なお、詳しくは述べなかったが、本構成によれば、符号化制御部１０Lにおける量子化ステップパラメータ(Qp)１０Nの決定プロセス、もしくはフレームやビデオパケット、マクロブロック等の設定単位と、上記▲３▼に述べたMPEG-2の動きベクトル・符号化モード情報再利用の方針とを密に連携させることで、さらに符号化効率の改善を行うことができる。
【００６４】
また、上記では、MPEG-4シンプルプロファイルを前提として記載したが、本構成のトランスコーダは、MPEG-4アドバンスドシンプルプロファイルや、ITU-T H.263においてAnnex Fに記載される動き予測オプションをサポートするケースなど、MPEG-4シンプルプロファイルに準ずるあらゆる多モード符号化方式に適用可能である。
【００６５】
実施の形態．２
本実施の形態２では、解像度変換部６が、空間解像度変換部としてだけでなく、さらに時間解像度変換部として機能して、動き予測の影響が伝播するPフレームを間引くことによる時間解像度すなわちフレームレートの変換を行う実施の形態について説明する。なお、解像度変換部６は、空間解像度変換部および時間解像度変換部として機能しても良いし、空間解像度変換部としては機能せず時間解像度変換部としてのみ機能するようにしても勿論よい。
【００６６】
図５に、本実施の形態２のトランスコーダの内部構成を示す。なお、本実施の形態２のトランスコーダの構成は、図１に示す実施の形態１のトランスコーダの内部構成と同じであり、解像度変換部６および動きベクトルマッピング部７の動作が、実施の形態１と異なるため、実施の形態１と異なる動作については詳細に説明する。
【００６７】
次に動作を説明する。
▲１▼．入力 MPEG-2 ビデオストリームの復号処理
実施の形態１と同じ動作である。
【００６８】
▲２▼．解像度変換処理
MPEG-2復号画像５は、解像度変換部６において、所定のダウンサンプルフィルタに基づいた画素間引きにより、縦横1/2の空間解像度へ縮小される。さらに、MPEG-4エンコーダ部１０から通知される符号化フレーム指示情報１３に基づいて、MPEG-4エンコーダ部１０への入力信号９の入力フレームレートを制御する。本実施の形態２では、実施の形態１に述べたBフレームの間引き処理だけでなく、符号化フレーム指示情報１３の指示次第でPフレームの間引きも行う構成とする。符号化フレーム指示情報１３は、MPEG-4エンコーダ部１０が固定フレームレートで符号化を行う場合には、その符号化フレームレート値を示し、MPEG-4エンコーダ部１０が可変フレームレートで符号化を行う場合には、符号化対象となるフレームの表示時刻情報、あるいは直前のMPEG-4符号化フレームからのフレーム数オフセット情報などを示す。
【００６９】
▲３▼．動きベクトルマッピングおよび符号化モード選択処理
以下、本実施の形態２のポイントである、動きベクトルマッピング処理ならびに符号化モード選択処理について説明する。本プロセスは、図５における動きベクトルマッピング部７、符号化モード推定部８、およびMPEG-4エンコーダ部１０の構成要素である符号化パラメータ判定部１０Bとの連携によって実行される。
【００７０】
図６に、本プロセスに関する動作フローチャートを示す。
MPEG-2復号画像５とMPEG-4エンコーダ部入力信号９とは、空間解像度が縦横1/2であるので、以下説明する処理手順は、MPEG-2の２×２個のマクロブロック、すなわち、MPEG-4の１マクロブロックを単位として実行されるものとする(図３参照のこと)。
【００７１】
1) 事前の強制符号化モード判定
まず、符号化モード推定部８において、図３に示すMPEG-2の２×２マクロブロック内の符号化モード分布の様子を調べる。
【００７２】
図７に、図５に示す実施の形態２のMPEG-2/MPEG-4ビデオトランスコーディングシステムにおける符号化モード推定部８のMPEG-2符号化モードの監視動作を示す。
図７に示すように、本実施の形態２では、符号化フレーム指示情報１３に基づき、直前にMPEG-4符号化の対象となったフレーム以降、現在符号化対象となるフレームに至るまでのフレーム間引きの間、MPEG-2符号化モードの監視を行う(ステップS12、S13)。MPEG-2の４つのマクロブロックすべてがINTRAモードになる場合が1回でもあれば、MPEG-4符号化で用いるべき変換後の符号化モードは強制的にINTRAモードとする。
【００７３】
一方、４つのマクロブロックすべてがSKIPモードになる場合については、直前にMPEG-4符号化の対象となったフレーム以降、現在符号化対象となるフレームに至るまでフレーム間引きの間、常にSKIPが継続する場合についてはMPEG-4符号化で用いるべき符号化モードは強制的にSKIPとし、一回でもSKIPでないケースがある場合はINTERモードの可能性を検討するものとする。ただし、フレーム間引きを行っている間のMPEG-2符号化モードの監視はPフレームについてのみ行うものとし、IフレームはそのままIフレームとして間引きを行わずにMPEG-4符号化を行い、MPEG-2符号化モードの監視をリセットする(ステップS14、S15)。強制的にINTRAまたはSKIPとなる場合については、動きベクトルはすべてゼロとし、以降のステップをスキップする。
【００７４】
したがって、符号化モード推定部８の出力１２には、強制的にINTRA、強制的にSKIP、もしくはINTERモードの可能性がある、という3ケースの選択肢が出力される(ステップS0)。
【００７５】
この結果、INTERモードの可能性を検討すると判断されたケースについてのみ、以下の手順2)以降のプロセスに従い、とりうるMPEG-4符号化モードのうち符号化効率の意味で最適なモードを再度決定する。
【００７６】
2) 動きベクトル候補の選定
上記1)においてINTERモードの利用価値があると判断された場合は、図８に示すように、符号化フレーム指示情報１３に基づき、直前にMPEG-4符号化の対象となったフレーム以降、現在符号化対象となるフレームに至るまでのフレーム間引きの間、MPEG-2動きベクトルの監視を行う(ステップS12、S13)。監視の結果得られるMPEG-2動きベクトルから、MPEG-4エンコーダ部１０にて用いる動きベクトルの候補を定める。本プロセスは、動きベクトルマッピング部７において実施される。上記1)の結果から、本プロセスでは、原則、フレーム間引きが行なわれる間のMPEG-2の符号化モードとしてSKIPモードもしくはINTERモードが発生するケースを考慮することになる。そこで、以下のルールを適用する。
【００７７】
ルール1：符号化対象マクロブロックの動きベクトル候補は、フレームレート変換の結果間引かれるフレームの同一空間位置に存在するマクロブロックの動きベクトルを下式による累積することで求める。
【００７８】
【数３】
Figure 0004193406
【００７９】
ここで、vMPEG4は、MPEG-4符号化対象マクロブロックの動きベクトル候補、kはフレームレート変換の結果間引かれるフレームのカウンタ、S(*)は解像度にあわせた動きベクトルのスケーリング、vk MPEG2はMPEG-4符号化対象マクロブロック領域に対応するMPEG-2の動きベクトルを表す。ただし、vMPEG4にはINTER、INTER4Vの2種類があり、実施の形態１の2-2)に述べたように、まずINTER4Vの動きベクトル候補を求めたのち、INTER動きベクトル候補を定める。(ステップS1、S2)
【００８０】
ルール２： S(vk MPEG2)は、インタレース符号化に伴うフレーム・フィールドベクトルの違いを考慮して、実施の形態１における2-1)のルールに従うスケーリング処理を行う。
【００８１】
ルール３： フレームカウンタkのいずれかの時点で、SKIPモードが発生する場合は、累積すべき動きベクトルvk MPEG2はゼロとする。
【００８２】
ルール４： IフレームではMPEG-2動きベクトルの監視ならびに上記動きベクトル累積をリセットする(ステップS14、S15)。
【００８３】
3) 符号化モード判定
上記2)により、MPEG-4のINTERおよびINTER4Vで利用すべき動きベクトルの候補が選定されたため、残る符号化モードの可能性としてINTRA、SKIPのうち、最も符号化効率のよいモードを選択する(ステップS3〜S11)。この結果として、最終的な符号化モードと動きベクトルが決定される。この処理は、符号化パラメータ判定部１０Bで実行される。以下、符号化パラメータ判定部１０Bにおける処理は実施の形態１の3)に準ずる。ただし、動き予測に用いる参照画像は、現在符号化対象となるフレームの直前にMPEG-4符号化されたフレームの局所復号画像を用いることになる。
【００８４】
以上の手順により、本実施の形態２によれば、Pフレームの間引きを伴う時間解像度すなわちフレームレート変換を実行するトランスコーディングに際しても、MPEG-4符号化においてとりうるすべての符号化モードを対象として最適なモード選択ならびにそれに付随する動きベクトルを選定することが可能となる。
【００８５】
特に、本実施の形態２では、Pフレームの間引きを行うトランスコーダにおいても、演算負荷の大きい動きベクトル検出処理を簡略化したので、従来の単純動きベクトル再利用手法に比べてMPEG-2からMPEG-4への映像トランスコーティング品質を向上させることができる。
【００８６】
なお、上記では、MPEG-4シンプルプロファイルを前提として記載したが、本構成のトランスコーダは、MPEG-4アドバンスドシンプルプロファイルや、ITU-T H.263においてAnnex Fに記載される動き予測オプションをサポートするケースなど、MPEG-4シンプルプロファイルに準ずるあらゆる多モード符号化方式に適用可能で、本発明は、MC+DCT映像符号化方式を対象とするトランスコーディング全般について適用可能である。
【００８７】
【発明の効果】
以上説明したように、本発明によれば、第1の映像符号化方式における所定部分領域単位の符号化パラメータである動きベクトルから、第2の映像符号化方式における所定の部分領域の単位で用いる動きベクトルの候補を生成し、生成した第2の映像符号化方式における動きベクトルの候補のうち、該動きベクトル候補を用いた場合の予測効率を評価する予測誤差評価値と、該動きベクトル候補を用いることによる動きベクトル符号量を評価する値と等に基づいて、第2の映像符号化方式において使用する動きベクトル等を決定するようにしたので、第2の映像符号化方式における符号化性能のインパクトを考慮した動きベクトル等を変換することが可能となる。
【図面の簡単な説明】
【図１】 実施の形態1におけるMPEG-2/MPEG-4ビデオトランスコーディングシステムの内部構成を示す図面である。
【図２】 図１に示す実施の形態1のMPEG-2/MPEG-4ビデオトランスコーディングシステムにおける動きベクトルマッピングおよび符号化モード判定処理の動作フローを示す図面である。
【図３】 図１に示す実施の形態1のMPEG-2/MPEG-4ビデオトランスコーディングにおける、解像度変換を伴うトランスコーディング単位を示す図面である。
【図４】 MPEG-2ビデオ符号化における動き予測モードの種別を説明する図面である。
【図５】 実施の形態２におけるMPEG-2/MPEG-4ビデオトランスコーディングシステムの内部構成を示す図面である。
【図６】 図５に示す実施の形態２のMPEG-2/MPEG-4ビデオトランスコーディングシステムにおける動きベクトルマッピングおよび符号化モード判定処理の動作フローを示す図面である。
【図７】 図５に示す実施の形態２のMPEG-2/MPEG-4ビデオトランスコーディングシステムにおける符号化モード推定部８のMPEG-2符号化モードの監視動作を示す図面である。
【図８】 図５に示す実施の形態２のMPEG-2/MPEG-4ビデオトランスコーディングシステムにおける動きベクトルマッピング部７のMPEG-2動きベクトルの監視動作を示す図面である。
【符号の説明】
２ MPEG-2デコーダ部、６ 解像度変換部（空間解像度変換部、時間解像度変換部）、７ 動きベクトルマッピング部、８ 符号化モード推定部 １０Ｂ 符号化パラメータ判定部、１０ MPEG-4エンコーダ部。

Claims (2)

  1. 映像信号の各フレームを所定部分領域に分割し、この分割された所定部分領域単位で動きベクトル、動き予測モードおよび符号化モードを選択して符号化を行う第１の映像符号化方式に従う第１の映像符号化データを入力して、第１の映像符号化データを復号し、この復号された映像信号の各フレームを所定部分領域に分割し、この分割された所定部分領域単位で動きベクトルおよび符号化モードを選択して符号化を行う第２の映像符号化方式に従う第２の映像符号化データへの変換を行う映像データ変換装置において、
    前記第１の映像符号化方式における所定部分領域単位の動きベクトルと動き予測モードとに基づいて、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる動きベクトルの候補を生成する動きベクトルマッピング部と、
    前記第１の映像符号化方式に従う映像符号化データから得られる符号化モードの分布に基づいて、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる符号化モードを一意に推定できるか否かを判断するとともに、一意に推定できる場合には符号化モードを推定する符号化モード推定部と、
    前記動きベクトルマッピング部によって生成される動きベクトルの候補と、前記符号化モード推定部から得られる符号化モードの候補、および前記第１の映像符号化方式に従う第１の映像符号化データを復号した復号画像とに基づいて、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる動きベクトルおよび符号化モードを決定する符号化パラメータ判定部と、
    前記符号化パラメータ判定部によって決定される動きベクトルおよび符号化モードに基づいて、前記第１の映像符号化方式に従う第１の映像符号化データを復号した復号画像を前記第２の映像符号化方式に従って第２の映像符号化データへ符号化し、この符号化の過程で生成される復号画像をフレームメモリに記憶するエンコーダと
    を備え、
    前記動きベクトルマッピング部は、前記第２の映像符号化方式における複数の符号化モードに対応して所定部分領域内で一つの動きベクトルが割り当てられるベクトル割当領域の大きさごとに、前記第１の映像符号化方式における所定部分領域単位の動きベクトルと動き予測モードに基づく前記ベクトル割当領域への動きベクトルのマッピング方法を切替えて生成対象となる動きベクトルの候補を生成し、
    前記符号化パラメータ判定部は、前記符号化モード推定部が符号化モードを一意に推定できると判断した場合には、該符号化モード推定部が推定した符号化モードを、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる符号化モードとして決定し、前記符号化モード推定部が符号化モードを一意に推定できないと判断した場合には、動きベクトルをゼロとして前記フレームメモリに記憶された復号画像から第１の予測画像候補を得る符号化モードを使用して、得られた第１の予測画像候補と前記第１の映像符号化データを復号した復号画像の所定部分領域との誤差量を第１の予測誤差量として求め、前記動きベクトルマッピング部で生成される動きベクトルの候補を前記フレームメモリに記憶された復号画像に適用して第２の予測画像候補を得る前記複数の符号化モードを使用して、得られた複数の第２の予測画像候補のそれぞれと前記第１の映像符号化データを復号した復号画像の所定部分領域との誤差量をそれぞれ第２の予測誤差量として求め、前記第１の映像符号化データを復号した復号画像の前記所定部分領域内のフレーム内信号の平均値で与えられる第３の予測画像候補を得る符号化モードを使用して、得られた第３の予測画像候補と前記第１の映像符号化データを復号した復号画像の所定部分領域との誤差量を第３の予測誤差量として求め、これら第１から第３の予測誤差量に重み付けを行い、重み付けられたそれぞれの予測誤差量と動きベクトルの符号量から求められる評価値に基づいて、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる動きベクトルおよび上記第１ないし第３の予測画像候補を得るために使用した符号化モードのうち、いずれかの符号化モードを決定する
    ことを特徴とする映像データ変換装置。
  2. 映像信号の各フレームを所定部分領域に分割し、この分割された所定部分領域単位で動きベクトル、動き予測モードおよび符号化モードを選択して符号化を行う第１の映像符号化方式に従う第１の映像符号化データを入力して、第１の映像符号化データを復号し、この復号された映像信号の各フレームを所定部分領域に分割し、この分割された所定部分領域単位で動きベクトルおよび符号化モードを選択して符号化を行う第２の映像符号化方式に従う第２の映像符号化データへの変換を行う映像データ変換方法であって、
    前記第１の映像符号化方式における所定部分領域単位の動きベクトルと動き予測モードとに基づいて、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる動きベクトルの候補を生成する動きベクトルマッピング工程と、
    前記第１の映像符号化方式に従う映像符号化データから得られる符号化モードの分布に基づいて、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる符号化モードを一意に推定できるか否かを判断するとともに、一意に推定できる場合には符号化モードを推定する符号化モード推定工程と、
    前記動きベクトルマッピング工程によって生成される動きベクトルの候補と、前記符号化モード推定工程から得られる符号化モードの候補、および前記第１の映像符号化方式に従う第１の映像符号化データを復号した復号画像とに基づいて、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる動きベクトルおよび符号化モードを決定する符号化パラメータ判定工程と、
    前記符号化パラメータ判定工程によって決定される動きベクトルおよび符号化モードに基づいて、前記第１の映像符号化方式に従う第１の映像符号化データを復号した復号画像を前記第２の映像符号化方式に従って第２の映像符号化データへ符号化し、この符号化の過程で生成される復号画像をフレームメモリに記憶するエンコード工程と
    を備え、
    前記動きベクトルマッピング工程は、前記第２の映像符号化方式における複数の符号化モードに対応して所定部分領域内で一つの動きベクトルが割り当てられるベクトル割当領域の大きさごとに、前記第１の映像符号化方式における所定部分領域単位の動きベクトルと動き予測モードに基づく前記ベクトル割当領域への動きベクトルのマッピング方法を切替えて生成対象となる動きベクトルの候補を生成し、
    前記符号化パラメータ判定工程は、前記符号化モード推定工程が符号化モードを一意に推定できると判断した場合には、該符号化モード推定工程が推定した符号化モードを、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる符号化モードとして決定し、前記符号化モード推定工程が符号化モードを一意に推定できないと判断した場合には、動きベクトルをゼロとして前記フレームメモリに記憶された復号画像から第１の予測画像候補を得る符号化モードを使用して、得られた第１の予測画像候補と前記第１の映像符号化データを復号した復号画像の所定部分領域との誤差量を第１の予測誤差量として求め、前記動きベクトルマッピング工程で生成される動きベクトルの候補を前記フレームメモリに記憶された復号画像に適用して第２の予測画像候補を得る前記複数の符号化モードを使用して、得られた複数の第２の予測画像候補のそれぞれと前記第１の映像符号化データを復号した復号画像の所定部分領域との誤差量をそれぞれ第２の予測誤差量として求め、前記第１の映像符号化データを復号した復号画像の前記所定部分領域内のフレーム内信号の平均値で与えられる第３の予測画像候補を得る符号化モードを使用して、得られた第３の予測画像候補と前記第１の映像符号化データを復号した復号画像の所定部分領域との誤差量を第３の予測誤差量として求め、これら第１から第３の予測誤差量に重み付けを行い、重み付けられたそれぞれの予測誤差量と動きベクトルの符号量から求められる評価値に基づいて、前記第２の映像符号化方式における所定部分領域単位の符号化に用いる動きベクトルおよび上記第１ないし第３の予測画像候補を得るために使用した符号化モードのうち、いずれかの符号化モードを決定する
    ことを特徴とする映像データ変換方法。
JP2002112860A 2002-04-16 2002-04-16 映像データ変換装置および映像データ変換方法 Expired - Fee Related JP4193406B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2002112860A JP4193406B2 (ja) 2002-04-16 2002-04-16 映像データ変換装置および映像データ変換方法
KR20047016448A KR100719647B1 (ko) 2002-04-16 2003-04-09 영상 데이터 변환 장치 및 영상 데이터 변환 방법
PCT/JP2003/004529 WO2003088676A1 (en) 2002-04-16 2003-04-09 Video data conversion device and video data conversion method
EP03746441A EP1475971A4 (en) 2002-04-16 2003-04-09 VIDEO DATA IMPLEMENTATION DEVICE AND VIDEO DATA IMPLEMENTING PROCESS
US10/501,897 US7526027B2 (en) 2002-04-16 2003-04-09 Video data converter and video data converting method
CNB038055872A CN100353769C (zh) 2002-04-16 2003-04-09 影像数据转换装置以及影像数据转换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002112860A JP4193406B2 (ja) 2002-04-16 2002-04-16 映像データ変換装置および映像データ変換方法

Publications (2)

Publication Number Publication Date
JP2003309851A JP2003309851A (ja) 2003-10-31
JP4193406B2 true JP4193406B2 (ja) 2008-12-10

Family

ID=29243335

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002112860A Expired - Fee Related JP4193406B2 (ja) 2002-04-16 2002-04-16 映像データ変換装置および映像データ変換方法

Country Status (6)

Country Link
US (1) US7526027B2 (ja)
EP (1) EP1475971A4 (ja)
JP (1) JP4193406B2 (ja)
KR (1) KR100719647B1 (ja)
CN (1) CN100353769C (ja)
WO (1) WO2003088676A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7972653B2 (en) 2006-09-20 2011-07-05 Kabushiki Kaisha Toyota Chuo Kenkyusho Method for removing amorphous carbon coatings with oxidizing molten salts and coated member regeneration method
JP7388614B2 (ja) 2020-03-10 2023-11-29 住友電工ハードメタル株式会社 リーマ

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HUP0301368A3 (en) * 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
JP4470431B2 (ja) * 2003-10-01 2010-06-02 ソニー株式会社 データ処理装置およびその方法
US7483577B2 (en) * 2004-03-02 2009-01-27 Mitsubishi Electric Research Laboratories, Inc. System and method for joint de-interlacing and down-sampling using adaptive frame and field filtering
US20050201469A1 (en) * 2004-03-11 2005-09-15 John Sievers Method and apparatus for improving the average image refresh rate in a compressed video bitstream
KR101196429B1 (ko) * 2004-03-12 2012-11-01 삼성전자주식회사 동영상 트랜스코딩 방법 및 그 장치, 이에 사용되는움직임 벡터 보간방법
US20050232497A1 (en) * 2004-04-15 2005-10-20 Microsoft Corporation High-fidelity transcoding
KR100681252B1 (ko) * 2004-10-02 2007-02-09 삼성전자주식회사 트랜스코딩을 위해 출력 매크로블록 모드와 출력움직임벡터를 추정하는 방법 및 이를 이용한 트랜스코더
BRPI0515723A (pt) * 2004-11-04 2008-08-05 Thomson Licensing método e aparelho para a decisão de modo rápido de b-quadros em um codificador de vìdeo
US7933335B2 (en) 2004-11-30 2011-04-26 Panasonic Corporation Moving picture conversion apparatus
US8059720B2 (en) 2004-11-30 2011-11-15 Humax Co., Ltd. Image down-sampling transcoding method and device
KR100718468B1 (ko) 2004-11-30 2007-05-16 주식회사 휴맥스 영상 축소 트랜스 코딩 방법 및 장치
KR100718467B1 (ko) 2004-11-30 2007-05-16 주식회사 휴맥스 영상 축소 트랜스코딩 방법 및 장치
EP1662799A3 (en) * 2004-11-30 2012-05-30 Humax Co., Ltd. Video down-sampling transcoding method and device
KR101147744B1 (ko) * 2005-02-22 2012-05-25 엘지전자 주식회사 비디오 트랜스 코딩 방법 및 장치와 이를 이용한 ｐｖｒ
JP4604805B2 (ja) * 2005-04-12 2011-01-05 Ｋｄｄｉ株式会社 ビデオ情報変換装置及びプログラム
CN101815224A (zh) * 2005-07-22 2010-08-25 三菱电机株式会社 图像编码装置和方法、以及图像解码装置和方法
JP4682102B2 (ja) * 2005-09-02 2011-05-11 キヤノン株式会社 画像符号化装置及び画像符号化方法
JP4600997B2 (ja) * 2005-11-08 2010-12-22 Ｋｄｄｉ株式会社 符号化方式変換装置
KR100801974B1 (ko) 2005-12-08 2008-02-12 한국전자통신연구원 저비용 움직임 추정 장치 및 움직임 추정 방법
US7944965B2 (en) * 2005-12-19 2011-05-17 Seiko Epson Corporation Transform domain based distortion cost estimation
JP2007228400A (ja) * 2006-02-24 2007-09-06 Mitsubishi Electric Corp 動画像変換装置
TW200743386A (en) * 2006-04-27 2007-11-16 Koninkl Philips Electronics Nv Method and apparatus for encoding/transcoding and decoding
CN101455087B (zh) * 2006-05-24 2011-01-12 松下电器产业株式会社 图像编码装置、图像编码方法及图像编码用集成电路
TWI348651B (en) * 2006-06-09 2011-09-11 Via Tech Inc A system for reducing bandwidth requirements for transferring graphics data and its related method
JP2008109637A (ja) * 2006-09-25 2008-05-08 Toshiba Corp 動画像符号化装置及びその方法
FR2907989B1 (fr) * 2006-10-27 2009-01-16 Actimagine Sarl Procede et dispositif d'optimisation de la compression d'un flux video
JP4882948B2 (ja) * 2007-10-04 2012-02-22 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8098732B2 (en) * 2007-10-10 2012-01-17 Sony Corporation System for and method of transcoding video sequences from a first format to a second format
US8457958B2 (en) * 2007-11-09 2013-06-04 Microsoft Corporation Audio transcoder using encoder-generated side information to transcode to target bit-rate
KR101377527B1 (ko) * 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
US8311115B2 (en) * 2009-01-29 2012-11-13 Microsoft Corporation Video encoding using previously calculated motion information
US8396114B2 (en) * 2009-01-29 2013-03-12 Microsoft Corporation Multiple bit rate video encoding using variable bit rate and dynamic resolution for adaptive video streaming
US8270473B2 (en) * 2009-06-12 2012-09-18 Microsoft Corporation Motion based dynamic resolution multiple bit rate video encoding
JP5378939B2 (ja) * 2009-10-02 2013-12-25 日立コンシューマエレクトロニクス株式会社 画像符号化方法、画像復号化方法、画像符号化装置、及び画像復号化装置、並びにプログラム
US20110142129A1 (en) * 2009-12-11 2011-06-16 General Instrument Corporation Mpeg video resolution reduction system
EP2355511A1 (en) * 2009-12-21 2011-08-10 Alcatel Lucent Method and arrangement for jointly encoding a plurality of video streams
US8358698B2 (en) * 2010-01-08 2013-01-22 Research In Motion Limited Method and device for motion vector estimation in video transcoding using full-resolution residuals
US8315310B2 (en) * 2010-01-08 2012-11-20 Research In Motion Limited Method and device for motion vector prediction in video transcoding using full resolution residuals
US8559519B2 (en) * 2010-01-08 2013-10-15 Blackberry Limited Method and device for video encoding using predicted residuals
US8340188B2 (en) * 2010-01-08 2012-12-25 Research In Motion Limited Method and device for motion vector estimation in video transcoding using union of search areas
US20110170608A1 (en) * 2010-01-08 2011-07-14 Xun Shi Method and device for video transcoding using quad-tree based mode selection
US9313526B2 (en) * 2010-02-19 2016-04-12 Skype Data compression for video
US9078009B2 (en) * 2010-02-19 2015-07-07 Skype Data compression for video utilizing non-translational motion information
US9609342B2 (en) * 2010-02-19 2017-03-28 Skype Compression for frames of a video signal using selected candidate blocks
US9819358B2 (en) * 2010-02-19 2017-11-14 Skype Entropy encoding based on observed frequency
US20110206132A1 (en) * 2010-02-19 2011-08-25 Lazar Bivolarsky Data Compression for Video
KR20110112168A (ko) * 2010-04-05 2011-10-12 삼성전자주식회사 내부 비트뎁스 확장에 기반한 비디오 부호화 방법 및 그 장치, 내부 비트뎁스 확장에 기반한 비디오 복호화 방법 및 그 장치
US8982961B2 (en) 2010-04-05 2015-03-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using transformation index, and method and apparatus for decoding video by using transformation index
US9049450B2 (en) 2010-04-05 2015-06-02 Samsung Electronics Co., Ltd. Method and apparatus for encoding video based on internal bit depth increment, and method and apparatus for decoding video based on internal bit depth increment
WO2011126277A2 (en) 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Low complexity entropy-encoding/decoding method and apparatus
WO2011125211A1 (ja) 2010-04-08 2011-10-13 株式会社 東芝 画像符号化方法及び画像復号化方法
US8705616B2 (en) 2010-06-11 2014-04-22 Microsoft Corporation Parallel multiple bitrate video encoding to reduce latency and dependences between groups of pictures
CN101964910B (zh) * 2010-08-20 2012-08-22 华中科技大学 基于码率型转码辅助的视频空间分辨率转换方法
US8755438B2 (en) * 2010-11-29 2014-06-17 Ecole De Technologie Superieure Method and system for selectively performing multiple video transcoding operations
US9749657B2 (en) 2011-01-21 2017-08-29 Sharp Kabushiki Kaisha Buffer compression for motion vector competition
US20120275502A1 (en) * 2011-04-26 2012-11-01 Fang-Yi Hsieh Apparatus for dynamically adjusting video decoding complexity, and associated method
US9591318B2 (en) 2011-09-16 2017-03-07 Microsoft Technology Licensing, Llc Multi-layer encoding and decoding
US11089343B2 (en) 2012-01-11 2021-08-10 Microsoft Technology Licensing, Llc Capability advertisement, configuration and control for video coding and decoding
JP6421426B2 (ja) 2014-03-26 2018-11-14 沖電気工業株式会社 符号化方式変換装置及びプログラム
JP6291971B2 (ja) * 2014-03-31 2018-03-14 富士通株式会社 符号化装置、符号化方法及び符号化プログラム
CN111741312B (zh) * 2014-10-31 2024-03-19 三星电子株式会社 用于对运动矢量进行编码/解码的方法和装置
US10462459B2 (en) * 2016-04-14 2019-10-29 Mediatek Inc. Non-local adaptive loop filter
JP6977422B2 (ja) 2017-09-13 2021-12-08 株式会社Ｊｖｃケンウッド トランスコード装置、トランスコード方法及びトランスコードプログラム
US10764603B2 (en) 2018-12-31 2020-09-01 Alibaba Group Holding Limited Resolution-adaptive video coding
WO2020219982A1 (en) * 2019-04-24 2020-10-29 Nextvr Inc. Methods and apparatus for encoding, communicating and/or using images

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06105299A (ja) 1992-09-22 1994-04-15 Casio Comput Co Ltd 動画像圧縮装置
CN1079001C (zh) * 1993-03-26 2002-02-06 英国电讯有限公司 代码转换器
NL9301358A (nl) * 1993-08-04 1995-03-01 Nederland Ptt Transcodeerinrichting.
JPH07264597A (ja) 1994-03-18 1995-10-13 Nippon Telegr & Teleph Corp <Ntt> 動き補償方法
DE4416967A1 (de) * 1994-05-13 1995-11-16 Thomson Brandt Gmbh Verfahren und Vorrichtung zur Transcodierung von Bitströmen mit Videodaten
JP3778960B2 (ja) 1994-06-29 2006-05-24 株式会社東芝 動画像符号化方法及び装置
JP3058028B2 (ja) 1994-10-31 2000-07-04 三菱電機株式会社 画像符号化データ再符号化装置
JPH09322176A (ja) * 1995-12-20 1997-12-12 Sanyo Electric Co Ltd 符号化モード選択方法、動画像符号化装置、符号化方法、記録方法、及び伝送方法
JPH09322173A (ja) 1996-05-27 1997-12-12 Nippon Telegr & Teleph Corp <Ntt> 動画像テロップ抽出方法及び装置
JP3150627B2 (ja) 1996-10-04 2001-03-26 日本電信電話株式会社 復号信号の再符号化方法
FR2757295B1 (fr) * 1996-12-13 2001-05-18 Sgs Thomson Microelectronics Procede et dispositif d'estimation de mouvement de portions d'images mobiles
JPH10336672A (ja) * 1997-05-30 1998-12-18 Oki Electric Ind Co Ltd 符号化方式変換装置およびその動きベクトル検出方法
US6625320B1 (en) * 1997-11-27 2003-09-23 British Telecommunications Public Limited Company Transcoding
JPH11243551A (ja) 1997-12-25 1999-09-07 Mitsubishi Electric Corp 動き補償装置と動画像符号化装置及び方法
US6058143A (en) * 1998-02-20 2000-05-02 Thomson Licensing S.A. Motion vector extrapolation for transcoding video sequences
JP3855522B2 (ja) * 1999-02-23 2006-12-13 松下電器産業株式会社 動画変換装置
US6625211B1 (en) * 1999-02-25 2003-09-23 Matsushita Electric Industrial Co., Ltd. Method and apparatus for transforming moving picture coding system
JP4426689B2 (ja) * 1999-02-25 2010-03-03 パナソニック株式会社 動画像符号化方式の変換方法及びその装置
JP2001268579A (ja) 2000-03-23 2001-09-28 Sanyo Electric Co Ltd 動画像再符号化装置
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
JP2002010267A (ja) * 2000-06-26 2002-01-11 Sony Corp 動きベクトル変換装置及び方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7972653B2 (en) 2006-09-20 2011-07-05 Kabushiki Kaisha Toyota Chuo Kenkyusho Method for removing amorphous carbon coatings with oxidizing molten salts and coated member regeneration method
JP7388614B2 (ja) 2020-03-10 2023-11-29 住友電工ハードメタル株式会社 リーマ

Also Published As

Publication number Publication date
US7526027B2 (en) 2009-04-28
KR100719647B1 (ko) 2007-05-17
CN100353769C (zh) 2007-12-05
WO2003088676A1 (en) 2003-10-23
CN1640149A (zh) 2005-07-13
KR20040105872A (ko) 2004-12-16
JP2003309851A (ja) 2003-10-31
US20050041740A1 (en) 2005-02-24
EP1475971A4 (en) 2010-03-03
EP1475971A1 (en) 2004-11-10

Similar Documents

Publication Publication Date Title
JP4193406B2 (ja) 映像データ変換装置および映像データ変換方法
JP4851741B2 (ja) ソース画像のシーケンスを符号化する方法及び装置
KR100593350B1 (ko) 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치,화상 복호 방법, 및 통신 장치
JP4391809B2 (ja) 画像のシーケンスを適応的に符号化するシステムおよび方法
US8385423B2 (en) Motion vector detecting device, motion vector detecting method, image encoding device, and program
US20070098067A1 (en) Method and apparatus for video encoding/decoding
WO2010137323A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法
KR100701478B1 (ko) 동화상 압축 부호화 방법과 동화상 압축 부호화 장치 및프로그램
WO2003043344A2 (en) Reduced-complexity video decoding using larger pixel-grid motion compensation
JP4391810B2 (ja) 画像のシーケンスを適応的に符号化するシステムおよび方法
JP2009089332A (ja) 動き予測方法及び動き予測装置
JP3866624B2 (ja) 動画像符号化方法，動画像復号方法，動画像符号化装置および動画像復号装置
JPH10336672A (ja) 符号化方式変換装置およびその動きベクトル検出方法
JP2008004984A (ja) 画像理装置および方法、プログラム、並びに記録媒体
JP2002152752A (ja) 画像情報変換装置及び方法
KR100359819B1 (ko) 압축영상의 공간 도메인에서의 효율적인 엣지 예측 방법
JP4243286B2 (ja) 符号化方法
JP2002010267A (ja) 動きベクトル変換装置及び方法
JP4779207B2 (ja) 動きベクトル変換装置及び動きベクトル変換方法
JP6735370B2 (ja) 復号化方法
JP4556286B2 (ja) 動きベクトル変換装置及び方法
KR100757832B1 (ko) 1/4픽셀 움직임 벡터를 이용한 동영상 압축방법
JP4243472B2 (ja) 画像符号化装置、画像符号化方法および画像符号化プログラム
JP4067954B2 (ja) 動画像符号化方法及び動画像符号化装置
JP2001309389A (ja) 動きベクトル変換装置及び方法

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20040707

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070710

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080122

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080624

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080902

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080915

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111003

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121003

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131003

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees