JP4346868B2 - 動画符号化装置、及び動画記録再生装置、及び動画再生装置、及び動画符号化方法ならびに動画記録再生方法 - Google Patents
動画符号化装置、及び動画記録再生装置、及び動画再生装置、及び動画符号化方法ならびに動画記録再生方法 Download PDFInfo
- Publication number
- JP4346868B2 JP4346868B2 JP2002175720A JP2002175720A JP4346868B2 JP 4346868 B2 JP4346868 B2 JP 4346868B2 JP 2002175720 A JP2002175720 A JP 2002175720A JP 2002175720 A JP2002175720 A JP 2002175720A JP 4346868 B2 JP4346868 B2 JP 4346868B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- frame
- motion vector
- image
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Description
【０００１】
【発明の属する技術分野】
本発明は、動き補償フレーム間予測を用いて動画の符号化を行う動画符号化装置、または符号化されたデータを記録および再生する動画記録再生装置及び符号化されたデータを再生する動画再生装置及び動画符号化方法ならびに動画記録再生方法に関する。
【０００２】
【従来の技術】
ＭＰＥＧ−２で符号化されたデータをＭＰＥＧ−４など、異なるフレームレートおよび画像サイズの符号化データに変換する技術は、IEEE TRANSACTIONS ON MULTIMEDIA,Vol.2,No.2,JUNE2000,１０１〜１１０頁に紹介されている。
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来技術は、ＭＰＥＧ−２を一旦デコードしてからＭＰＥＧ−４でエンコードするといった方式を採っており、演算処理量が多くなり、実用に供した場合、回路規模が増大する、あるいは、回路の消費電力が増大するという問題があった。
【０００４】
上記従来技術には、フレームレートおよび画像サイズの異なる符号化データに変換することが開示されるが、演算量を減らし、小さな回路規模あるいは少ない消費電力で変換を可能にすることが示されていない。また、フレームレートおよび画像サイズの異なる符号化データを同時に生成することについても示されていない。
【０００５】
本発明の目的は、少ない演算量、すなわち小さな回路規模あるいは少ない消費電力でフレームレートおよび画像サイズの異なる符号化データを同時変換、または同時生成する動画符号化装置または動画記録再生装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、本発明の動画符号化装置は、動画符号化装置において、該動画を第１のフレームレートかつ第１の画像サイズで符号化する第１の符号化手段と、該動画を第２のフレームレートかつ第２の画像サイズで符号化する第２の符号化手段と、該第１の符号化手段の予測モードと該第２の符号化手段の予測モードのフレームタイプとが一致するように両者のフレームタイプを制御する予測モード制御手段と、前記第１の符号化手段で用いる第１の動きベクトルから前記第２の符号化手段における変換後の動きベクトルを算出する動きベクトル算出手段であって、前記第２の画像サイズのフレームにおける１つの部分画像に対応する前記第１の画像サイズのフレームにおける複数の部分画像毎に与えられる複数の動きベクトルから１つの動きベクトルを選択し、スケール変換することによって、前記第２の符号化手段における変換後の動きベクトルを算出する動きベクトル算出手段と、前記第２の符号化手段による符号化の際に、前記第１の符号化手段の動きベクトルが前記動きベクトル算出手段における選択された動きベクトルと大きく異なる場合には、前記動きベクトルを持った第１の画像サイズのフレームにおける部分画像の差分値を０にして、対応する第２の符号化手段における符号化をするようにする差分値無効化手段と、を備えて動き補償フレーム間予測を用いて動画の符号化を行う。
【０００７】
【発明の実施の形態】
以下、本発明にかかる動画符号化装置の実施の形態を、図面を用いて説明する。図１は、本発明による動画符号化装置の構成の概要を説明するブロック図である。図２は、図１におけるＭＰＥＧ−２とＭＰＥＧ−４の重複部分を共有する構成に改良した動画符号化装置の構成の概要を説明するブロック図である。図３は、本発明による動画符号化装置により同時に生成されるフレームレートおよび画像サイズの異なる符号化データを示した概念図である。
【０００８】
図１に示した動画符号化装置の構成を説明する。動画符号化装置１は、ベクトル探索回路１１と、フレームメモリ１２−１と、順方向予測回路１３−１と、双方向予測回路１４−１と、予測選択回路１５−１と、予測モード制御回路１６と、フレーム内符号化回路１７−１と、局所復号回路１８−１とからなる第１の符号化部（ＭＰＥＧ−２）と、ベクトル算出回路２１と、フレームメモリ１２−２と、順方向予測回路１３−２と、双方向予測回路１４−２と、予測選択回路１５−２と、予測モード制御回路１６と、フレーム内符号化回路１７−２と、局所復号回路１８−２と、サイズ変換回路２５とからなる第２の符号化部（ＭＰＥＧ−４）と、動画入力端子Ｔ１と、高精細符号化データ（ＭＰＥＧ−２）出力端子Ｔ２と、低精細符号化データ（ＭＰＥＧ−４）出力端子Ｔ３とを有して構成される。予測モード制御回路１６は、第１の符号化部と、第２の符号化部に共通して用いられる。
【０００９】
ベクトル探索回路１１は、動画入力端子Ｔ１に入来する動画データＦと、フレームメモリ１２−１内に蓄えられた過去または未来の参照フレームＦｒとの間でブロックマッチングを行うことにより、順方向または双方向の動き補償ベクトルを求める手段である。
【００１０】
フレームメモリ１２−１は、過去または未来の参照フレームＦｒを蓄積する手段である。
【００１１】
順方向予測回路１３−１は、動き補償ベクトルに基づき入来した動画データＦと参照フレームＦｒとの間の動きを補償して順方向の予測を行い、差分データΔｐを作成する手段である。
【００１２】
双方向予測回路１４−１は、ベクトル探索回路１１が求めた動き補償ベクトルに基づき入来した動画データＦと参照フレームＦｒとの間の動きを補償して双方向の予測を行い、差分データΔＢを作成する手段である。
【００１３】
予測選択回路１５−１は、予測モード制御回路１６の指示に基づき、入来する動画データＦそのものと、順方向予測した差分データΔＰと、双方向予測した差分データΔＢの中から１つのデータを選択する手段である。
【００１４】
予測モード制御回路１６は、第１の符号化部の符号化予測モードが第２の符号化部の符号化予測モードと一致するように予測選択回路１５−１の予測モードを制御する手段である。
【００１５】
フレーム内符号化回路１７−１は、予測選択回路１５−１で選択されたデータをＤＣＴ（Discrete Fourier Transform：離散コサイン変換）などの画面内相関を利用した圧縮方式で符号化して高精細符号化データ（ＭＰＥＧ−２）を出力する手段である。
【００１６】
局所復号回路１８−１は、符号化データ中のＩフレームまたはＰフレームを復号して、次の予測に用いる参照フレームＦｒを作成する手段である。
【００１７】
フレームメモリ１２−２は、過去または未来の参照フレームＦｒ´を蓄積する手段である。
【００１８】
順方向予測回路１３−２は、ベクトル算出回路２１が算出した動き補償ベクトルに基づき、サイズ変換回路２５の出力Ｆ´と参照フレームＦｒ´との間の動きを補償して順方向の予測を行い、差分データΔｐ´を作成する手段である。
【００１９】
双方向予測回路１４−２は、ベクトル算出回路２１算出した動き補償ベクトルに基づき、サイズ変換回路の出力Ｆ´と参照フレームＦｒ´との間の動きを補償して双方向の予測を行い、差分データΔＢ´を作成する手段である。
【００２０】
予測選択回路１５−２は、予測モード制御回路１６の指示に基づき、入来する動画データＦ´そのものと、順方向予測した差分データΔＰ´と、双方向予測した差分データΔＢ´の中から１つのデータを選択する手段である。
【００２１】
予測モード制御回路１６は、第１の符号化部の符号化予測モードが第２の符号化部の符号化予測モードと一致するように予測選択回路１５−２の予測モードを制御する手段である。
【００２２】
フレーム内符号化回路１７−２は、予測選択回路１５−２で選択されたデータをＤＣＴなどの画面内相関を利用した圧縮方式で符号化して低精細符号化データ（ＭＰＥＧ−４）を出力する手段である。
【００２３】
局所復号回路１８−２は、符号化データ中のＩフレームまたはＰフレームを復号して、次の予測に用いる参照フレームＦｒ´を作成する手段である。
【００２４】
ベクトル算出回路２１は、ベクトル探索回路１１が求めた順方向予測用の動き補償ベクトルを用いて、第２の符号化手段における変換後の動き補償ベクトルを算出する手段である。
【００２５】
サイズ変換回路２５は、動画入力端子Ｔ１から入来した動画データＦのサイズをＭＰＥＧ−４に適したサイズに縮小する手段である。
【００２６】
動画入力端子Ｔ１は、動画データＦが入力される端子である。
【００２７】
高精細符号化データ出力端子Ｔ２は、フレーム内符号化回路１７−１が変換した高精細符号化データ（ＭＰＥＧ−２）を出力する手段である。
【００２８】
低精細符号化データ出力端子Ｔ３は、フレーム内符号化回路１７−２が変換した低精細符号化データ（ＭＰＥＧ−４）を出力する手段である。
【００２９】
第１の符号化手段がＭＰＥＧ−２のエンコーダを構成し、第２の符号化手段がＭＰＥＧ−４のエンコーダを構成する。ＭＰＥＧ−４のエンコーダには、サイズ変換回路が設けられている。この実施例では、両者の予測モードを一致するように予測モードを制御している点、ＭＰＥＧ−２で探索した動きベクトルからＭＰＥＧ―４の動きベクトルを算出する点に特徴を有している。
【００３０】
第１の符号化部と第２の符号化部における予測モードを一致させることで、ＭＰＥＧ−２で探索した動きベクトルをＭＰＥＧ−４のエンコードで使用することができるようになる。これにより、ＭＰＥＧ−４のエンコードで再度動き探索する必要がないので、演算量を大幅に減少させることができるという効果を奏することができる。
【００３１】
上記動画符号化回路１における第１の符号化部および第２の符号化部に共通する回路を共用する構成とした図２に示した動画符号化装置の構成および動作を説明する。動画符号化装置１は、ベクトル探索回路１１と、フレームメモリ１２と、順方向予測回路１３と、双方向予測回路１４と、予測選択回路１５と、予測モード制御回路１６と、フレーム内符号化回路１７と、局所復号回路１８と、フレーム抜き出し回路１９と、符号化変換回路２０と、ベクトル算出回路２１と、動画入力端子Ｔ１と、高精細符号化データ（ＭＰＥＧ−２）出力端子Ｔ２と、低精細符号化データ（ＭＰＥＧ−４）出力端子Ｔ３とを有して構成される。
【００３２】
ベクトル探索回路１１は、動画入力端子Ｔ１に入来する動画データＦと、フレームメモリ１２内に蓄えられた過去または未来の参照フレームＦｒとの間でブロックマッチングを行うことにより、順方向または双方向の動き補償ベクトルを求める手段である。
【００３３】
フレームメモリ１２は、過去または未来の参照フレームＦｒを蓄積する手段である。
【００３４】
順方向予測回路１３は、動き補償ベクトルに基づき入来した動画データＦと参照フレームＦｒとの間の動きを補償して順方向の予測を行い、差分データΔｐを作成する手段である。
【００３５】
双方向予測回路１４は、ベクトル探索回路１１が求めた動き補償ベクトルに基づき入来した動画データＦと参照フレームＦｒとの間の動きを補償して双方向の予測を行い、差分データΔＢを作成する手段である。
【００３６】
予測選択回路１５は、予測モード制御回路１６の指示に基づき、入来する動画データＦそのものと、順方向予測した差分データΔＰと、双方向予測した差分データΔＢの中から１つのデータを選択する手段である。すなわち、予測選択回路１５は、動き補償後の画像データを出力する手段である。
【００３７】
予測モード制御回路１６は、第１の符号化手段の予測モードが第２の符号化手段の予測モードと一致するように予測選択回路１５とフレーム抜き出し回路１９の予測モードを制御する手段である。
【００３８】
フレーム内符号化回路１７は、予測選択回路１５で選択されたデータをＤＣＴ（Discrete Fourier Transform：離散コサイン変換）などの画面内相関を利用した圧縮方式で符号化して符号化データ（ＭＰＥＧ−２）を出力する手段である。
【００３９】
局所復号回路１８は、符号化データ中のＩフレームまたはＰフレームを復号して、次の予測に用いる参照フレームＦｒを作成する手段である。
【００４０】
フレーム抜き出し回路１９は、予測モード制御回路１６からの制御信号を用いて、図３の下段に示すように、符号化中の高精細符号化データの中からＩフレームおよびＰフレームの画像データもしくはＤＣＴ係数データを抜き出す手段である。
【００４１】
符号化変換回路２０は、ＩフレームおよびＰフレームの符号化データを、ベクトル算出回路２１が算出した動き補償ベクトルを用いて画像サイズの小さい符号化データに変換する、すなわち解像度を変換する手段である。すなわち、符号化変換回路２０は、動き補償後の画像データを解像度変換してＤＣＴなどの画面内相関を利用した圧縮方式で符号化する手法と、ＤＣＴ変換した後の係数データを直接解像度変換後の係数データに変換して符号化する手法がある。
【００４２】
ベクトル算出回路２１は、ベクトル探索回路１１が求めた順方向予測用の動き補償ベクトルを用いて、符号化変換回路２０における変換後の動き補償ベクトルを算出する手段である。
【００４３】
動画入力端子Ｔ１は、動画データＦが入力される端子である。
【００４４】
高精細符号化データ出力端子Ｔ２は、フレーム内符号化回路１７が変換した高精細符号化データ（ＭＰＥＧ−２）を出力する手段である。
【００４５】
低精細符号化データ出力端子Ｔ３は、符号化変換回路２０が変換した低精細符号化データ（ＭＰＥＧ−４）を出力する手段である。
【００４６】
以下、この発明にかかる動画符号化装置１の働きを説明する。ベクトル探索回路１１は、動画入力端子Ｔ１に入来する動画データＦとフレームメモリ１２内に蓄えられた過去または未来の参照フレームＦｒとの間でブロックマッチングを行うことにより、順方向または双方向の動き補償ベクトルを求め、順方向予測回路１３および双方向予測回路１４へ送出する。
【００４７】
順方向予測回路１３は、動き補償ベクトルに基づき入来した動画データＦと参照フレームＦｒとの間の動きを補償して順方向の予測を行い、差分データΔＰを作成する。双方向予測回路１４は、動き補償ベクトルに基づき入来した動画データＦと参照フレームＦｒとの間の動きを補償して双方向の予測を行い、差分データΔＢを作成する。
【００４８】
予測選択回路１５は、予測モード制御回路１６の指示に基づき、入来する動画データＦそのものと、順方向予測した差分ΔＰと、双方向予測した差分ΔＢの中から１つを選択してフレーム内符号化回路１７へ送る。フレーム内符号化回路１７は、選択されたデータをＤＣＴなどの画面内相関を利用した圧縮方式で高精細符号化した符号化データ（ＭＰＥＧ−２）を、高精細符号化データ出力端子Ｔ２へ出力する。
【００４９】
ここで、本発明における符号化予測モード（予測モード）の制御とは、符号化する各フレームをＩ／Ｐ／Ｂフレームのうちのいずれを選択するかを制御するフレームタイプの選択制御と、マクロブロックごとにイントラ／インターのいずれを選択するかを制御するマクロブロックモードの選択制御の、両者を含んでいる。また、本発明においては、入力端子Ｔ１から予測選択回路１５までの処理を動き補償という。
【００５０】
符号化予測モードの制御は、図３の中段に示すようなパターンになるように制御を行う。図３中の１枚の四角は動画の１フレームを表しており、横軸は時刻をイメージしている。Ｉで示したフレームは入来する動画データそのものを符号化したＩフレームを表し、Ｐで示したフレームは順方向予測を行って符号化したＰフレームを表し、Ｂで示したフレームは双方向予測を行って符号化したＢフレームを表す。図３を用いて、ＭＰＥＧ−２およびＭＰＥＧ−４による符号化処理の概念の例を説明する。図３において、上段は、入力画像のフレームを示し、添え字がフレーム番号を示している。中段は、ＭＰＥＧ−２における符号化処理後の画像データを示し、添え字が対応するフレームの番号を示している。下段は、ＭＰＥＧ―４における符号化処理後の画像データを示し、添え字が対応するフレームの番号を示している。画像入力端子Ｔ１に入力される入力画像Ｆ０〜Ｆ１１は、事前に中段に示すフレーム番号順、すなわちＦ２、Ｆ０、Ｆ１、Ｆ５、Ｆ３，Ｆ４，Ｆ８，Ｆ６，Ｆ７，Ｆ１１，Ｆ９，Ｆ１０の順に並べ替えられて入力されているものとする。
【００５１】
(1)Ｉ２フレームは、フレームＦ２のみを用いて符号化される。(2)Ｂ０フレームは、フレームＦ０とＩ２フレームを復号した参照フレーム（以下、参照フレームを波線で示す）Ｆｒ２を用いて符号化される。(3)Ｂ１フレームは、フレームＦ１とＩ２フレームを復号した参照フレームＦｒ２を用いて符号化される。(4)Ｐ５フレームは、フレームＦ５とＩ２フレームを復号した参照フレームＦｒ２を用いて符号化される。(5)Ｂ３フレームは、フレームＦ３とＩ２フレームおよびＰ５フレームを復号した参照フレームＦｒ２、Ｆｒ５を用いて符号化される。(6)Ｂ４フレームは、フレームＦ４とＩ２フレームおよびＰ５フレームを復号した参照フレームＦｒ２、Ｆｒ５を用いて符号化される。(7)Ｐ８フレームは、フレームＦ８とＰ５フレームを復号した参照フレームＦｒ５を用いて符号化される。(8)Ｂ６フレームは、フレームＦ６とＰ５フレームおよびＰ８フレームを復号した参照フレームＦｒ５、Ｆｒ８を用いて符号化される。(9)Ｂ７フレームは、フレームＦ７とＰ５フレームおよびＰ８フレームを復号した参照フレームＦｒ５、Ｆｒ８を用いて符号化される。(10)Ｐ１１フレームは、フレームＦ１１とＰ８フレームを復号した参照フレームＦｒ８を用いて符号化される。(11)Ｂ９フレームは、フレームＦ９とＰ８フレームおよびＰ１１フレームを復号した参照フレームＦｒ８、Ｆｒ１１を用いて符号化される。(12)Ｂ１０フレームはフレームＦ１１とＰ８フレームおよびＰ１１フレームを復号した参照フレームＦｒ８、Ｆｒ１１を用いて符号化される。以下同様に、順方向予測および双方向予測を行なって符号化を実行する。
【００５２】
局所復号回路１８は、符号化中のＩフレームおよびＰフレームを復号して、次の予測に用いる参照フレームＦｒとしてフレームメモリ１２に蓄える。
【００５３】
次に、低精細符号化の動作について説明する。フレーム抜き出し回路１９は、予測モード制御回路１６からの制御信号を用いて、図３の下段に示すように、符号化中の高精細符号化データの中からＩフレームおよびＰフレームのデータを抜き出し、符号化変換回路２０へ送る。
【００５４】
符号化変換回路２０は、ＩフレームおよびＰフレームの符号化データを画像サイズの小さい符号化データ（ＭＰＥＧ−４）に変換して低精細符号化データ出力端子Ｔ３から出力する。この時、変換後の動き補償ベクトルは、ベクトル探索回路１１が求めた順方向予測用の動き補償ベクトルを用いてベクトル算出回路２１が算出する。
【００５５】
以上により、高精細符号化と低精細符号化の予測モードを合わせることによって低精細符号化用のベクトル探索を行わずに済むので、演算量を減らすことができ、小さな回路規模、少ない消費電力で高精細符号化データと低精細符号化データを同時に生成することができる。
【００５６】
次に、予測選択回路１５におけるマクロブロックモードの制御について、予測選択回路１５の中の詳細ブロック図である図４を用いて説明する。予測選択回路１５は、フレームモード選択回路１５１と、イントラ／インター判定回路１５２と、マクロブロックモード選択回路１５３を有している。
【００５７】
フレームモード選択回路１５１は、選択するフレームがＩ／Ｐ／Ｂのいずれであるかに応じて入力データＦ、ΔＰ、ΔＢｍのいずれかを選択する。選択するフレームがＩフレームの場合は、入力データＦを選択する。選択するフレームがＰフレームの場合は、順方向予測による差分ΔＰを選択する。
【００５８】
Ｂフレームの場合には、イントラ／インター判定回路１５２が、符号化単位であるマクロブロック毎に入来する動画データＦそのものと双方向予測差分ΔＢのどちらを符号化した方が効率的か判定する。判定結果に基づいてマクロブロック毎に効率的な方をマクロブロックモード選択回路１５３が選択してマクロブロック単位に選択した差分データΔＢｍを出力する。Ｐフレームについてはこのマクロブロック毎の判定は行わない。
【００５９】
図５を用いて、各フレームにおける符号化変換前後のマクロブロックのイントラ（動画データそのものを符号化）／インター（予測差分を符号化）の様子の例を説明する。図５の例は、画像サイズを縦横４分の１サイズの符号化データに変換する場合を示しており、それぞれのブロックがマクロブロックを示している。Ｉフレームにおいては、イントラマクロブロックを得、全てのマクロブロックがイントラマクロブロックとなるＩフレームを得ている。Ｐフレームにおいては、インターマクロブロックを得、全てのマクロブロックがインターマクロブロックとなるＰフレームを得ている。Ｂフレームにおいては、イントラマクロブロックとインターマクロブロックが混在しているが、符号化変換を行わないので問題はない。このように、符号化変換する複数のマクロブロックのモードを同一にでき、予測のやり直しによるイントラ／インター変換を行う必要がないので、演算量を減らすことができ、小さな回路規模、少ない消費電力で高精細符号化データと低精細符号化データを同時に生成することができる。
【００６０】
ところで、Ｐフレームのマクロブロックモードをインターだけで行うと、シーンチェンジなどの急激な画像変動が起きた時に、符号化効率が落ちて画質が劣化してしまう懸念がある。
【００６１】
次に、これに対策を講じた実施の形態を、図６のブロック図を用いて説明する。図示しない部分は図２に示した実施例と同じ構成である。この実施例では、フレーム内符号化回路１７の出力を監視して画像の劣化を検出する画質劣化検出回路２２を追加するとともに、予測選択回路１５を、フレームモード選択回路１５１と、イントラ／インター判定回路１５２と、マクロブロックモード選択回路１５３と、フレーム単位マクロブロックモード選択回路１５４とから構成している。
【００６２】
画質劣化検出回路２２は、画質と相関の高い量子化の粗さなどの情報をフレーム内符号化回路１７から受け取り、これを監視することによって、シーンチェンジなどによりＰフレームの画質が劣化したことを検出し、次のＰフレームでフレーム単位マクロブロックモード選択回路１５４へ指令を出す。
【００６３】
フレーム単位マクロブロックモード選択回路１５４は、指令を受けたフレームの間は順方向予測された差分データΔＰの代わりに入来する動画データＦそのものを選択する（イントラ）。これにより、シーンチェンジで画質が劣化しても、次のＰフレームでイントラとなって効率が改善するので、画質が回復する。
【００６４】
本実施の形態による符号化変換前後におけるＰフレームのイントラ／インターマクロブロックを選択する様子を図７に示す。画質劣化直後のＰフレームでは、フレーム単位マクロブロックモード選択回路１５４は、順方向予測回路１３からの差分ΔＰであるインターマクロブロックを選択せず入力画像Ｆのイントラマクロブロックを選択してイントラマクロブロックに符号化する。その他のＰフレームでは、差分ΔＰのインターマクロブロックを選択してインターマクロブロックに符号化する。この実施例においても、符号化変換する複数のマクロブロックのモードを同一にでき、予測のやり直しによるイントラ／インター変換を行う必要がないので、演算量を減らすことができ、小さな回路規模、少ない消費電力で高精細符号化データと低精細符号化データを同時に生成することができる。
【００６５】
次に、ベクトル探索回路１１と符号化変換回路２０においてさらに演算量を削減する実施例について図８を用いて説明する。図８は本実施例にかかる低精細符号化処理部分の概要を説明するブロック図である。図示しない部分は図２に示した実施例と同じ構成である。この実施例では、差分値無効化回路２３とベクトル比較回路２４を追加するとともに、ベクトル算出回路２１を、ベクトル選択回路２１１と、ベクトルスケーリング１４２とから構成した。ベクトル算出回路２１の中では、ベクトル探索回路１１から送られてくる複数のベクトルの中からベクトル選択回路２１１が最適なベクトルを選択し、それを、ベクトルスケーリング回路２１２が符号化変換後の画像サイズに合うようにスケール変換する。
【００６６】
ベクトル比較回路２４は、複数のベクトルと選択されたベクトルを比較し、差が大きい時には差分値無効化回路２３に指令を出す。指令を受けた差分値無効化回路２３は、当該ベクトルに対応する差分値成分を０に置きかえる。この置き換えの様子を図９に示す。ベクトル選択回路２１１は、フレーム内のブロックのベクトルを監視して最も多いベクトルを選択する。ベクトルスケーリング回路２１２は、選択されたベクトルを用いてベクトルをスケーリングする。ベクトル比較回路２４は、ベクトル探索回路１１からの動き補償ベクトルがベクトル選択回路２１１で選択したベクトルと異なるときには、差分値無効化回路２３へ指令を出して、差分値を０に置換える。この画像を符号化変換回路２０で縮小することによって、結果的に０で置き換えた部分の変換後の画像は、周りの部分と同じベクトルで動き補償された参照画像データで埋められる。
【００６７】
したがって、原画と比べて画像のずれが出るものの、差分の食い違いによる大きなノイズのような劣化は出ない。これにより、ベクトルが食い違う部分についても、動き補償予測のやり直しを行わなくて良いので、演算量を減らすことができ、小さな回路規模、少ない消費電力で高精細符号化データと低精細符号化データを同時に生成することができる。
【００６８】
図１０のブロック図を用いて、本発明の第２の実施の形態にかかる動画記録再生装置の構成の概要およびその動作を説明する。この動画記録再生装置は、入力された動画像を高精細符号化データ(ＭＰＥＧ-２)として記録し、再生時には、ＭＰＥＧ-２再生画像と、低精細符号化データ（ＭＰＥＧ‐４）の双方を出力することができる装置として構成される。ベクトル探索回路１１から局所復号回路１８で構成される記録装置の構成は、図２に示した実施例と同じであり、動作も同じであるので説明を省略する。高精細符号化データは、記録回路１００を介して図示を省略した記録媒体に記録される。
【００６９】
再生装置は、再生回路１０１と、フレームメモリ５２と、順方向予測回路５３と、双方向予測回路５４と、予測選択回路５５と、予測モード検出回路５６と、フレーム内復号回路５７と、フレーム抜き出し回路１９と、符号化変換回路２０と、ベクトル算出回路２１と、低精細符号化データ出力端子Ｔ３と、動画データ出力端子Ｔ４とを有して構成される。
【００７０】
再生回路１０１は、図示を省略した記録媒体から高精細符号化(ＭＰＥＧ−２)データを再生する手段である。
【００７１】
フレームメモリ５２は、予測選択回路５５が選択したデータ(Ｉ／Ｐ／Ｂフレーム)を、次の参照フレームＦｒとして蓄える手段である。
【００７２】
順方向予測回路５３は、フレーム内復号回路５７が複合したデータに含まれる動き補償ベクトルに基づき参照フレームＦｒからの動きを補償して順方向の予測を行い、差分値ΔＰと加算してオリジナルのデータ(Ｐフレーム)を復元する手段である。
【００７３】
双方向予測回路５４は、フレーム内復号回路５７が復号した動き補償ベクトルに基づき参照フレームＦｒからの動きを補償して双方向の予測を行い、差分値ΔＢと加算してオリジナルのデータ(Ｂフレーム)を復元する手段である。
【００７４】
予測選択回路５５は、Ｉ／Ｐ／Ｂの情報に基づき、復号された動画データ(Ｉフレーム)そのものと、順方向予測で復元されたデータ(Ｐフレーム)と、双方向予測で復元されたデータ(Ｂフレーム)の中から１つを選択する手段である。
【００７５】
予測モード検出回路５６は、フレーム内復号回路５７が復号した予測モード情報に基づいてＩ／Ｐ／Ｂの情報を検出する手段である。
【００７６】
フレーム内復号回路５７は、再生回路１０１が再生した高精細符号化データをを復号して動画データ(Ｉフレーム)そのものまたは予測差分値ΔＰ、ΔＢを生成する手段である。フレーム内復号回路５７は、Ｉ／Ｐ／Ｂの予測モード情報および動き補償ベクトルの値も合わせて復号する。
【００７７】
フレーム抜き出し回路１９は、予測モード検出回路５６からの制御信号を用いて、図１１の下段に示すように、復号中の高精細符号化データの中からＩフレームおよびＰフレームのデータを抜き出す手段である。
【００７８】
符号化変換回路２０は、ＩフレームおよびＰフレームの符号化データを画像サイズの小さい低精細符号化データ(ＭＰＥＧ‐４)に変換する手段である。
【００７９】
ベクトル算出回路２１は、順方向予測用の動き補償ベクトルを用いて変換後の動き補償ベクトルを算出する手段である。
【００８０】
低精細符号化データ出力端子Ｔ３は、低精細符号化(ＭＰＥＧ‐４)データを出力する。
【００８１】
動画データ出力端子Ｔ４は、予測選択回路５５が選択したデータ(Ｉ／Ｐ／Ｂフレーム)を出力する端子である。
【００８２】
次に再生の動作を説明する。フレーム内復号回路５７は、再生回路１０１が記録媒体から再生した高精細符号化(ＭＰＥＧ−２)データを復号して、動画データ（Ｉフレーム）そのものまたは予測差分値ΔＰ、ΔＢを生成する。この時、フレーム内復号回路５７は、Ｉ／Ｐ／Ｂの予測モード情報および動き補償ベクトルの値も合わせて復号する。
【００８３】
順方向予測回路５３は、動き補償ベクトルに基づき参照フレームＦｒからの動きを補償して順方向の予測を行い、差分値ΔＰと加算してオリジナルのデータ(Ｐフレーム)を復元する。双方向予測回路５４は、動き補償ベクトルに基づき参照フレームＦｒからの動きを補償して双方向の予測を行い、差分値ΔＢと加算してオリジナルのデータ(Ｂフレーム)を復元する。
【００８４】
予測選択回路５５は、予測モード検出回路５６が検出したＩ／Ｐ／Ｂの情報に基づき、復号された動画データ(Ｉフレーム)そのものと、順方向予測で復元されたデータ(Ｐフレーム)と、双方向予測で復元されたデータ(Ｂフレーム)の中から１つを選択する。選択されたデータは動画データ出力端子Ｔ４から出力されるとともに、次の参照フレームとしてフレームメモリ５２に蓄えられる。
【００８５】
次に、低精細符号化データへの変換を、図１１を用いて説明する。図１１は、本発明による動画記録再生装置により変換されるフレームレートおよび画像サイズの異なる符号化データを示した概念図である。フレーム抜き出し回路１９は、予測モード検出回路５６からの制御信号を用いて、図１１の下段に示すように、復号中の高精細符号化データの中からＩフレームおよびＰフレームのデータを抜き出し、符号化変換回路２０へ送る。符号化変換回路２０は、ＩフレームおよびＰフレームの符号化データを、ベクトル算出回路２１からの変換後の動き補償ベクトルを用いて画像サイズの小さい符号化データ(ＭＰＥＧ‐４)に変換して低精細符号化データ出力端子Ｔ３から出力する。この時、変換後の動き補償ベクトルは、順方向予測用の動き補償ベクトルを用いてベクトル算出回路２１が算出する。
【００８６】
以上により、高精細符号化と低精細符号化の予測モードを合わせることによって低精細符号化用のベクトル探索を行わずに済むので、演算量を減らすことができ、小さな回路規模、少ない消費電力で高精細符号化データから低精細符号化データへ変換することができる。
【００８７】
次に、図１０に示した再生装置側の予測選択回路５５の中の詳細ブロック図である図１２を用いて、再生時におけるマクロブロックモードの制御について説明する。予測選択回路５５は、フレーモード選択回路５５１と、マクロブロックモード選択回路５５２と、マクロブロックモード選択回路５５３とを有して構成される。
【００８８】
フレームモード選択回路５５１は、Ｉ／Ｐ／Ｂに応じてデータを選択する手段である。
【００８９】
マクロブロックモード選択回路５５２、５５３は、フレーム内復号回路５７が復号したＩフレーム情報と順方向予測データΔＰまたは双方向予測データΔＢを、マクロブロック毎の属性情報であるイントラ／インターの情報に基づいて選択する。マクロブロックモード選択回路５５２から出力されるデータをＰｍで表わし、マクロブロックモード選択回路５５３から出力されるデータをＢｍで表わしている。
【００９０】
フレームモード選択回路５５１は、Ｉ／Ｐ／Ｂに応じてデータを選択する。マクロブロック毎のイントラ／インターの情報は、フレーム内復号回路５７が復号し、マクロブロックモード選択回路５５２、５５３がその情報に基づいて選択する。
【００９１】
記録装置側の予測選択回路１５の詳細ブロック図は、図４と同じである。結果、復号されるマクロブロックのイントラ／インターの様子も図５のようになる。このように、符号化変換する複数のマクロブロックのモードが同一にでき、予測のやり直しによるイントラ／インター変換を行う必要がないので、演算量を減らすことができ、小さな回路規模、少ない消費電力で高精細符号化データから低精細符号化データへ変換することができる。
【００９２】
図１０において、記録装置側予測選択回路１５の部分の回路を図６に示した予測選択回路１５のブロック図のように変えても良い。こうすると、符号化装置の場合と同様に、シーンチェンジで画質が劣化しても、次のＰフレームでイントラとなって効率が改善するので、画質が回復する。その場合、Ｐフレームにおけるマクロブロックのイントラ／インターの選択の様子は、図７に示したようになる。この実施例においても、符号化変換する複数のマクロブロックのモードが同一にでき、予測のやり直しによるイントラ／インター変換を行う必要がないので、演算量を減らすことができ、小さな回路規模、少ない消費電力で高精細符号化データから低精細符号化データへ変換することができる。
【００９３】
次に、ベクトル探索回路１１と符号化変換回路２０においてさらに演算量を削減する実施例について図１３を用いて説明する。図１３において、図示しない部分は図１０に示した実施例と同じ構成である。符号化装置の場合と同様に差分値無効化回路２３とベクトル比較回路２４を追加する。ベクトル算出回路２１の中では、順方向予測回路５３からの複数のベクトルの中からベクトル選択回路２１１が最適なベクトルを選択し、それをベクトルスケーリング回路２１２が符号化変換後の画像サイズに合うようにスケール変換する。
【００９４】
ベクトル比較回路２４は、複数のベクトルと選択されたベクトルを比較し、差が大きい時には差分値無効化回路２３に指令を出す。指令を受けた差分値無効化回路２３は、当該ベクトルに対応する差分値成分を０に置きかえる。この置き換えの様子は図９に示したようになる。
【００９５】
結果的に０で置き換えた部分の変換後の画像は、周りの部分と同じベクトルで動き補償された参照画像データで埋められる。したがって、原画と比べて画像のずれが出るものの、差分の食い違いによる大きなノイズのような劣化は出ない。これにより、ベクトルが食い違う部分についても、動き補償予測のやり直しを行わなくて良いので、演算量を減らすことができ、小さな回路規模、少ない消費電力で高精細符号化データと低精細符号化データを同時に生成することができる。
【００９６】
【発明の効果】
本発明によれば、小さな回路規模、少ない消費電力で高精細符号化データと低精細符号化データを同時に生成することができ、また、高精細符号化データから低精細符号化データへ変換することができる。
【図面の簡単な説明】
【図１】本発明に係る動画符号化装置の一実施形態を示すブロック図。
【図２】図１におけるＭＰＥＧ−２とＭＰＥＧ−４の重複部分を共有する構成に改良した動画符号化装置の一実施形態を示すブロック図。
【図３】本発明に係る動画符号化装置により同時に生成されるフレームレートおよび画像サイズの異なる符号化データを示した概念図。
【図４】本発明に係る動画符号化装置の予測選択部分の詳細ブロック図。
【図５】図４の実施例の符号化変換前後のマクロブロックのイントラ／インターの様子の例を示した図。
【図６】本発明に係る動画符号化装置の第２の実施形態の予測選択部分の詳細ブロック図。
【図７】図６の実施例の符号化変換前後のマクロブロックのイントラ／インターの様子の例を示した図。
【図８】本発明に係る動画符号化装置の第３の実施形態の符号変換部分の詳細ブロック図。
【図９】図８の実施例のベクトル変換と差分値置き換えの様子の例を示した図。
【図１０】本発明に係る動画記録再生装置の一実施形態を示すブロック図。
【図１１】本発明に係る動画記録再生装置により変換されるフレームレートおよび画像サイズの異なる符号化データを示した概念図。
【図１２】本発明に係る動画記録再生装置の再生側予測選択部分の詳細ブロック図。
【図１３】本発明に係る動画記録再生装置の別実施形態の符号変換部分の詳細ブロック図。
【符号の説明】
１１ ベクトル探索回路
１２ フレームメモリ
１３ 順方向予測回路
１４ 双方向予測回路
１５ 予測選択回路
１５１ フレームモード選択回路
１５２ イントラ／インター判定回路
１５３ マクロブロックモード選択回路
１５４ フレーム単位マクロブロックモード選択回路
１６ 予測モード制御回路
１７ フレーム内符号化回路
１８ 局所復号回路
１９ フレーム抜き出し回路
２０ 符号化変換回路
２１ ベクトル算出回路
２１１ ベクトル選択回路
２１２ ベクトルスケーリング回路
２２ 画質劣化検出回路
２３ 差分値無効化回路
２４ ベクトル比較回路
２５ サイズ変換回路
５２ フレームメモリ
５３ 順方向予測回路
５４ 双方向予測回路
５５ 予測選択回路
５５１ フレームモード選択回路
５５２、５５３ マクロブロックモード選択回路
５６ 予測モード検出回路
５７ フレーム内復号回路
１００ 記録回路
１０１ 再生回路
Ｔ１ 動画データ入力端子
Ｔ２ 高精細符号化データ出力端子
Ｔ３ 低精細符号化データ出力端子
Ｔ４ 動画データ出力端子
【発明の属する技術分野】
本発明は、動き補償フレーム間予測を用いて動画の符号化を行う動画符号化装置、または符号化されたデータを記録および再生する動画記録再生装置及び符号化されたデータを再生する動画再生装置及び動画符号化方法ならびに動画記録再生方法に関する。
【０００２】
【従来の技術】
ＭＰＥＧ−２で符号化されたデータをＭＰＥＧ−４など、異なるフレームレートおよび画像サイズの符号化データに変換する技術は、IEEE TRANSACTIONS ON MULTIMEDIA,Vol.2,No.2,JUNE2000,１０１〜１１０頁に紹介されている。
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来技術は、ＭＰＥＧ−２を一旦デコードしてからＭＰＥＧ−４でエンコードするといった方式を採っており、演算処理量が多くなり、実用に供した場合、回路規模が増大する、あるいは、回路の消費電力が増大するという問題があった。
【０００４】
上記従来技術には、フレームレートおよび画像サイズの異なる符号化データに変換することが開示されるが、演算量を減らし、小さな回路規模あるいは少ない消費電力で変換を可能にすることが示されていない。また、フレームレートおよび画像サイズの異なる符号化データを同時に生成することについても示されていない。
【０００５】
本発明の目的は、少ない演算量、すなわち小さな回路規模あるいは少ない消費電力でフレームレートおよび画像サイズの異なる符号化データを同時変換、または同時生成する動画符号化装置または動画記録再生装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、本発明の動画符号化装置は、動画符号化装置において、該動画を第１のフレームレートかつ第１の画像サイズで符号化する第１の符号化手段と、該動画を第２のフレームレートかつ第２の画像サイズで符号化する第２の符号化手段と、該第１の符号化手段の予測モードと該第２の符号化手段の予測モードのフレームタイプとが一致するように両者のフレームタイプを制御する予測モード制御手段と、前記第１の符号化手段で用いる第１の動きベクトルから前記第２の符号化手段における変換後の動きベクトルを算出する動きベクトル算出手段であって、前記第２の画像サイズのフレームにおける１つの部分画像に対応する前記第１の画像サイズのフレームにおける複数の部分画像毎に与えられる複数の動きベクトルから１つの動きベクトルを選択し、スケール変換することによって、前記第２の符号化手段における変換後の動きベクトルを算出する動きベクトル算出手段と、前記第２の符号化手段による符号化の際に、前記第１の符号化手段の動きベクトルが前記動きベクトル算出手段における選択された動きベクトルと大きく異なる場合には、前記動きベクトルを持った第１の画像サイズのフレームにおける部分画像の差分値を０にして、対応する第２の符号化手段における符号化をするようにする差分値無効化手段と、を備えて動き補償フレーム間予測を用いて動画の符号化を行う。
【０００７】
【発明の実施の形態】
以下、本発明にかかる動画符号化装置の実施の形態を、図面を用いて説明する。図１は、本発明による動画符号化装置の構成の概要を説明するブロック図である。図２は、図１におけるＭＰＥＧ−２とＭＰＥＧ−４の重複部分を共有する構成に改良した動画符号化装置の構成の概要を説明するブロック図である。図３は、本発明による動画符号化装置により同時に生成されるフレームレートおよび画像サイズの異なる符号化データを示した概念図である。
【０００８】
図１に示した動画符号化装置の構成を説明する。動画符号化装置１は、ベクトル探索回路１１と、フレームメモリ１２−１と、順方向予測回路１３−１と、双方向予測回路１４−１と、予測選択回路１５−１と、予測モード制御回路１６と、フレーム内符号化回路１７−１と、局所復号回路１８−１とからなる第１の符号化部（ＭＰＥＧ−２）と、ベクトル算出回路２１と、フレームメモリ１２−２と、順方向予測回路１３−２と、双方向予測回路１４−２と、予測選択回路１５−２と、予測モード制御回路１６と、フレーム内符号化回路１７−２と、局所復号回路１８−２と、サイズ変換回路２５とからなる第２の符号化部（ＭＰＥＧ−４）と、動画入力端子Ｔ１と、高精細符号化データ（ＭＰＥＧ−２）出力端子Ｔ２と、低精細符号化データ（ＭＰＥＧ−４）出力端子Ｔ３とを有して構成される。予測モード制御回路１６は、第１の符号化部と、第２の符号化部に共通して用いられる。
【０００９】
ベクトル探索回路１１は、動画入力端子Ｔ１に入来する動画データＦと、フレームメモリ１２−１内に蓄えられた過去または未来の参照フレームＦｒとの間でブロックマッチングを行うことにより、順方向または双方向の動き補償ベクトルを求める手段である。
【００１０】
フレームメモリ１２−１は、過去または未来の参照フレームＦｒを蓄積する手段である。
【００１１】
順方向予測回路１３−１は、動き補償ベクトルに基づき入来した動画データＦと参照フレームＦｒとの間の動きを補償して順方向の予測を行い、差分データΔｐを作成する手段である。
【００１２】
双方向予測回路１４−１は、ベクトル探索回路１１が求めた動き補償ベクトルに基づき入来した動画データＦと参照フレームＦｒとの間の動きを補償して双方向の予測を行い、差分データΔＢを作成する手段である。
【００１３】
予測選択回路１５−１は、予測モード制御回路１６の指示に基づき、入来する動画データＦそのものと、順方向予測した差分データΔＰと、双方向予測した差分データΔＢの中から１つのデータを選択する手段である。
【００１４】
予測モード制御回路１６は、第１の符号化部の符号化予測モードが第２の符号化部の符号化予測モードと一致するように予測選択回路１５−１の予測モードを制御する手段である。
【００１５】
フレーム内符号化回路１７−１は、予測選択回路１５−１で選択されたデータをＤＣＴ（Discrete Fourier Transform：離散コサイン変換）などの画面内相関を利用した圧縮方式で符号化して高精細符号化データ（ＭＰＥＧ−２）を出力する手段である。
【００１６】
局所復号回路１８−１は、符号化データ中のＩフレームまたはＰフレームを復号して、次の予測に用いる参照フレームＦｒを作成する手段である。
【００１７】
フレームメモリ１２−２は、過去または未来の参照フレームＦｒ´を蓄積する手段である。
【００１８】
順方向予測回路１３−２は、ベクトル算出回路２１が算出した動き補償ベクトルに基づき、サイズ変換回路２５の出力Ｆ´と参照フレームＦｒ´との間の動きを補償して順方向の予測を行い、差分データΔｐ´を作成する手段である。
【００１９】
双方向予測回路１４−２は、ベクトル算出回路２１算出した動き補償ベクトルに基づき、サイズ変換回路の出力Ｆ´と参照フレームＦｒ´との間の動きを補償して双方向の予測を行い、差分データΔＢ´を作成する手段である。
【００２０】
予測選択回路１５−２は、予測モード制御回路１６の指示に基づき、入来する動画データＦ´そのものと、順方向予測した差分データΔＰ´と、双方向予測した差分データΔＢ´の中から１つのデータを選択する手段である。
【００２１】
予測モード制御回路１６は、第１の符号化部の符号化予測モードが第２の符号化部の符号化予測モードと一致するように予測選択回路１５−２の予測モードを制御する手段である。
【００２２】
フレーム内符号化回路１７−２は、予測選択回路１５−２で選択されたデータをＤＣＴなどの画面内相関を利用した圧縮方式で符号化して低精細符号化データ（ＭＰＥＧ−４）を出力する手段である。
【００２３】
局所復号回路１８−２は、符号化データ中のＩフレームまたはＰフレームを復号して、次の予測に用いる参照フレームＦｒ´を作成する手段である。
【００２４】
ベクトル算出回路２１は、ベクトル探索回路１１が求めた順方向予測用の動き補償ベクトルを用いて、第２の符号化手段における変換後の動き補償ベクトルを算出する手段である。
【００２５】
サイズ変換回路２５は、動画入力端子Ｔ１から入来した動画データＦのサイズをＭＰＥＧ−４に適したサイズに縮小する手段である。
【００２６】
動画入力端子Ｔ１は、動画データＦが入力される端子である。
【００２７】
高精細符号化データ出力端子Ｔ２は、フレーム内符号化回路１７−１が変換した高精細符号化データ（ＭＰＥＧ−２）を出力する手段である。
【００２８】
低精細符号化データ出力端子Ｔ３は、フレーム内符号化回路１７−２が変換した低精細符号化データ（ＭＰＥＧ−４）を出力する手段である。
【００２９】
第１の符号化手段がＭＰＥＧ−２のエンコーダを構成し、第２の符号化手段がＭＰＥＧ−４のエンコーダを構成する。ＭＰＥＧ−４のエンコーダには、サイズ変換回路が設けられている。この実施例では、両者の予測モードを一致するように予測モードを制御している点、ＭＰＥＧ−２で探索した動きベクトルからＭＰＥＧ―４の動きベクトルを算出する点に特徴を有している。
【００３０】
第１の符号化部と第２の符号化部における予測モードを一致させることで、ＭＰＥＧ−２で探索した動きベクトルをＭＰＥＧ−４のエンコードで使用することができるようになる。これにより、ＭＰＥＧ−４のエンコードで再度動き探索する必要がないので、演算量を大幅に減少させることができるという効果を奏することができる。
【００３１】
上記動画符号化回路１における第１の符号化部および第２の符号化部に共通する回路を共用する構成とした図２に示した動画符号化装置の構成および動作を説明する。動画符号化装置１は、ベクトル探索回路１１と、フレームメモリ１２と、順方向予測回路１３と、双方向予測回路１４と、予測選択回路１５と、予測モード制御回路１６と、フレーム内符号化回路１７と、局所復号回路１８と、フレーム抜き出し回路１９と、符号化変換回路２０と、ベクトル算出回路２１と、動画入力端子Ｔ１と、高精細符号化データ（ＭＰＥＧ−２）出力端子Ｔ２と、低精細符号化データ（ＭＰＥＧ−４）出力端子Ｔ３とを有して構成される。
【００３２】
ベクトル探索回路１１は、動画入力端子Ｔ１に入来する動画データＦと、フレームメモリ１２内に蓄えられた過去または未来の参照フレームＦｒとの間でブロックマッチングを行うことにより、順方向または双方向の動き補償ベクトルを求める手段である。
【００３３】
フレームメモリ１２は、過去または未来の参照フレームＦｒを蓄積する手段である。
【００３４】
順方向予測回路１３は、動き補償ベクトルに基づき入来した動画データＦと参照フレームＦｒとの間の動きを補償して順方向の予測を行い、差分データΔｐを作成する手段である。
【００３５】
双方向予測回路１４は、ベクトル探索回路１１が求めた動き補償ベクトルに基づき入来した動画データＦと参照フレームＦｒとの間の動きを補償して双方向の予測を行い、差分データΔＢを作成する手段である。
【００３６】
予測選択回路１５は、予測モード制御回路１６の指示に基づき、入来する動画データＦそのものと、順方向予測した差分データΔＰと、双方向予測した差分データΔＢの中から１つのデータを選択する手段である。すなわち、予測選択回路１５は、動き補償後の画像データを出力する手段である。
【００３７】
予測モード制御回路１６は、第１の符号化手段の予測モードが第２の符号化手段の予測モードと一致するように予測選択回路１５とフレーム抜き出し回路１９の予測モードを制御する手段である。
【００３８】
フレーム内符号化回路１７は、予測選択回路１５で選択されたデータをＤＣＴ（Discrete Fourier Transform：離散コサイン変換）などの画面内相関を利用した圧縮方式で符号化して符号化データ（ＭＰＥＧ−２）を出力する手段である。
【００３９】
局所復号回路１８は、符号化データ中のＩフレームまたはＰフレームを復号して、次の予測に用いる参照フレームＦｒを作成する手段である。
【００４０】
フレーム抜き出し回路１９は、予測モード制御回路１６からの制御信号を用いて、図３の下段に示すように、符号化中の高精細符号化データの中からＩフレームおよびＰフレームの画像データもしくはＤＣＴ係数データを抜き出す手段である。
【００４１】
符号化変換回路２０は、ＩフレームおよびＰフレームの符号化データを、ベクトル算出回路２１が算出した動き補償ベクトルを用いて画像サイズの小さい符号化データに変換する、すなわち解像度を変換する手段である。すなわち、符号化変換回路２０は、動き補償後の画像データを解像度変換してＤＣＴなどの画面内相関を利用した圧縮方式で符号化する手法と、ＤＣＴ変換した後の係数データを直接解像度変換後の係数データに変換して符号化する手法がある。
【００４２】
ベクトル算出回路２１は、ベクトル探索回路１１が求めた順方向予測用の動き補償ベクトルを用いて、符号化変換回路２０における変換後の動き補償ベクトルを算出する手段である。
【００４３】
動画入力端子Ｔ１は、動画データＦが入力される端子である。
【００４４】
高精細符号化データ出力端子Ｔ２は、フレーム内符号化回路１７が変換した高精細符号化データ（ＭＰＥＧ−２）を出力する手段である。
【００４５】
低精細符号化データ出力端子Ｔ３は、符号化変換回路２０が変換した低精細符号化データ（ＭＰＥＧ−４）を出力する手段である。
【００４６】
以下、この発明にかかる動画符号化装置１の働きを説明する。ベクトル探索回路１１は、動画入力端子Ｔ１に入来する動画データＦとフレームメモリ１２内に蓄えられた過去または未来の参照フレームＦｒとの間でブロックマッチングを行うことにより、順方向または双方向の動き補償ベクトルを求め、順方向予測回路１３および双方向予測回路１４へ送出する。
【００４７】
順方向予測回路１３は、動き補償ベクトルに基づき入来した動画データＦと参照フレームＦｒとの間の動きを補償して順方向の予測を行い、差分データΔＰを作成する。双方向予測回路１４は、動き補償ベクトルに基づき入来した動画データＦと参照フレームＦｒとの間の動きを補償して双方向の予測を行い、差分データΔＢを作成する。
【００４８】
予測選択回路１５は、予測モード制御回路１６の指示に基づき、入来する動画データＦそのものと、順方向予測した差分ΔＰと、双方向予測した差分ΔＢの中から１つを選択してフレーム内符号化回路１７へ送る。フレーム内符号化回路１７は、選択されたデータをＤＣＴなどの画面内相関を利用した圧縮方式で高精細符号化した符号化データ（ＭＰＥＧ−２）を、高精細符号化データ出力端子Ｔ２へ出力する。
【００４９】
ここで、本発明における符号化予測モード（予測モード）の制御とは、符号化する各フレームをＩ／Ｐ／Ｂフレームのうちのいずれを選択するかを制御するフレームタイプの選択制御と、マクロブロックごとにイントラ／インターのいずれを選択するかを制御するマクロブロックモードの選択制御の、両者を含んでいる。また、本発明においては、入力端子Ｔ１から予測選択回路１５までの処理を動き補償という。
【００５０】
符号化予測モードの制御は、図３の中段に示すようなパターンになるように制御を行う。図３中の１枚の四角は動画の１フレームを表しており、横軸は時刻をイメージしている。Ｉで示したフレームは入来する動画データそのものを符号化したＩフレームを表し、Ｐで示したフレームは順方向予測を行って符号化したＰフレームを表し、Ｂで示したフレームは双方向予測を行って符号化したＢフレームを表す。図３を用いて、ＭＰＥＧ−２およびＭＰＥＧ−４による符号化処理の概念の例を説明する。図３において、上段は、入力画像のフレームを示し、添え字がフレーム番号を示している。中段は、ＭＰＥＧ−２における符号化処理後の画像データを示し、添え字が対応するフレームの番号を示している。下段は、ＭＰＥＧ―４における符号化処理後の画像データを示し、添え字が対応するフレームの番号を示している。画像入力端子Ｔ１に入力される入力画像Ｆ０〜Ｆ１１は、事前に中段に示すフレーム番号順、すなわちＦ２、Ｆ０、Ｆ１、Ｆ５、Ｆ３，Ｆ４，Ｆ８，Ｆ６，Ｆ７，Ｆ１１，Ｆ９，Ｆ１０の順に並べ替えられて入力されているものとする。
【００５１】
(1)Ｉ２フレームは、フレームＦ２のみを用いて符号化される。(2)Ｂ０フレームは、フレームＦ０とＩ２フレームを復号した参照フレーム（以下、参照フレームを波線で示す）Ｆｒ２を用いて符号化される。(3)Ｂ１フレームは、フレームＦ１とＩ２フレームを復号した参照フレームＦｒ２を用いて符号化される。(4)Ｐ５フレームは、フレームＦ５とＩ２フレームを復号した参照フレームＦｒ２を用いて符号化される。(5)Ｂ３フレームは、フレームＦ３とＩ２フレームおよびＰ５フレームを復号した参照フレームＦｒ２、Ｆｒ５を用いて符号化される。(6)Ｂ４フレームは、フレームＦ４とＩ２フレームおよびＰ５フレームを復号した参照フレームＦｒ２、Ｆｒ５を用いて符号化される。(7)Ｐ８フレームは、フレームＦ８とＰ５フレームを復号した参照フレームＦｒ５を用いて符号化される。(8)Ｂ６フレームは、フレームＦ６とＰ５フレームおよびＰ８フレームを復号した参照フレームＦｒ５、Ｆｒ８を用いて符号化される。(9)Ｂ７フレームは、フレームＦ７とＰ５フレームおよびＰ８フレームを復号した参照フレームＦｒ５、Ｆｒ８を用いて符号化される。(10)Ｐ１１フレームは、フレームＦ１１とＰ８フレームを復号した参照フレームＦｒ８を用いて符号化される。(11)Ｂ９フレームは、フレームＦ９とＰ８フレームおよびＰ１１フレームを復号した参照フレームＦｒ８、Ｆｒ１１を用いて符号化される。(12)Ｂ１０フレームはフレームＦ１１とＰ８フレームおよびＰ１１フレームを復号した参照フレームＦｒ８、Ｆｒ１１を用いて符号化される。以下同様に、順方向予測および双方向予測を行なって符号化を実行する。
【００５２】
局所復号回路１８は、符号化中のＩフレームおよびＰフレームを復号して、次の予測に用いる参照フレームＦｒとしてフレームメモリ１２に蓄える。
【００５３】
次に、低精細符号化の動作について説明する。フレーム抜き出し回路１９は、予測モード制御回路１６からの制御信号を用いて、図３の下段に示すように、符号化中の高精細符号化データの中からＩフレームおよびＰフレームのデータを抜き出し、符号化変換回路２０へ送る。
【００５４】
符号化変換回路２０は、ＩフレームおよびＰフレームの符号化データを画像サイズの小さい符号化データ（ＭＰＥＧ−４）に変換して低精細符号化データ出力端子Ｔ３から出力する。この時、変換後の動き補償ベクトルは、ベクトル探索回路１１が求めた順方向予測用の動き補償ベクトルを用いてベクトル算出回路２１が算出する。
【００５５】
以上により、高精細符号化と低精細符号化の予測モードを合わせることによって低精細符号化用のベクトル探索を行わずに済むので、演算量を減らすことができ、小さな回路規模、少ない消費電力で高精細符号化データと低精細符号化データを同時に生成することができる。
【００５６】
次に、予測選択回路１５におけるマクロブロックモードの制御について、予測選択回路１５の中の詳細ブロック図である図４を用いて説明する。予測選択回路１５は、フレームモード選択回路１５１と、イントラ／インター判定回路１５２と、マクロブロックモード選択回路１５３を有している。
【００５７】
フレームモード選択回路１５１は、選択するフレームがＩ／Ｐ／Ｂのいずれであるかに応じて入力データＦ、ΔＰ、ΔＢｍのいずれかを選択する。選択するフレームがＩフレームの場合は、入力データＦを選択する。選択するフレームがＰフレームの場合は、順方向予測による差分ΔＰを選択する。
【００５８】
Ｂフレームの場合には、イントラ／インター判定回路１５２が、符号化単位であるマクロブロック毎に入来する動画データＦそのものと双方向予測差分ΔＢのどちらを符号化した方が効率的か判定する。判定結果に基づいてマクロブロック毎に効率的な方をマクロブロックモード選択回路１５３が選択してマクロブロック単位に選択した差分データΔＢｍを出力する。Ｐフレームについてはこのマクロブロック毎の判定は行わない。
【００５９】
図５を用いて、各フレームにおける符号化変換前後のマクロブロックのイントラ（動画データそのものを符号化）／インター（予測差分を符号化）の様子の例を説明する。図５の例は、画像サイズを縦横４分の１サイズの符号化データに変換する場合を示しており、それぞれのブロックがマクロブロックを示している。Ｉフレームにおいては、イントラマクロブロックを得、全てのマクロブロックがイントラマクロブロックとなるＩフレームを得ている。Ｐフレームにおいては、インターマクロブロックを得、全てのマクロブロックがインターマクロブロックとなるＰフレームを得ている。Ｂフレームにおいては、イントラマクロブロックとインターマクロブロックが混在しているが、符号化変換を行わないので問題はない。このように、符号化変換する複数のマクロブロックのモードを同一にでき、予測のやり直しによるイントラ／インター変換を行う必要がないので、演算量を減らすことができ、小さな回路規模、少ない消費電力で高精細符号化データと低精細符号化データを同時に生成することができる。
【００６０】
ところで、Ｐフレームのマクロブロックモードをインターだけで行うと、シーンチェンジなどの急激な画像変動が起きた時に、符号化効率が落ちて画質が劣化してしまう懸念がある。
【００６１】
次に、これに対策を講じた実施の形態を、図６のブロック図を用いて説明する。図示しない部分は図２に示した実施例と同じ構成である。この実施例では、フレーム内符号化回路１７の出力を監視して画像の劣化を検出する画質劣化検出回路２２を追加するとともに、予測選択回路１５を、フレームモード選択回路１５１と、イントラ／インター判定回路１５２と、マクロブロックモード選択回路１５３と、フレーム単位マクロブロックモード選択回路１５４とから構成している。
【００６２】
画質劣化検出回路２２は、画質と相関の高い量子化の粗さなどの情報をフレーム内符号化回路１７から受け取り、これを監視することによって、シーンチェンジなどによりＰフレームの画質が劣化したことを検出し、次のＰフレームでフレーム単位マクロブロックモード選択回路１５４へ指令を出す。
【００６３】
フレーム単位マクロブロックモード選択回路１５４は、指令を受けたフレームの間は順方向予測された差分データΔＰの代わりに入来する動画データＦそのものを選択する（イントラ）。これにより、シーンチェンジで画質が劣化しても、次のＰフレームでイントラとなって効率が改善するので、画質が回復する。
【００６４】
本実施の形態による符号化変換前後におけるＰフレームのイントラ／インターマクロブロックを選択する様子を図７に示す。画質劣化直後のＰフレームでは、フレーム単位マクロブロックモード選択回路１５４は、順方向予測回路１３からの差分ΔＰであるインターマクロブロックを選択せず入力画像Ｆのイントラマクロブロックを選択してイントラマクロブロックに符号化する。その他のＰフレームでは、差分ΔＰのインターマクロブロックを選択してインターマクロブロックに符号化する。この実施例においても、符号化変換する複数のマクロブロックのモードを同一にでき、予測のやり直しによるイントラ／インター変換を行う必要がないので、演算量を減らすことができ、小さな回路規模、少ない消費電力で高精細符号化データと低精細符号化データを同時に生成することができる。
【００６５】
次に、ベクトル探索回路１１と符号化変換回路２０においてさらに演算量を削減する実施例について図８を用いて説明する。図８は本実施例にかかる低精細符号化処理部分の概要を説明するブロック図である。図示しない部分は図２に示した実施例と同じ構成である。この実施例では、差分値無効化回路２３とベクトル比較回路２４を追加するとともに、ベクトル算出回路２１を、ベクトル選択回路２１１と、ベクトルスケーリング１４２とから構成した。ベクトル算出回路２１の中では、ベクトル探索回路１１から送られてくる複数のベクトルの中からベクトル選択回路２１１が最適なベクトルを選択し、それを、ベクトルスケーリング回路２１２が符号化変換後の画像サイズに合うようにスケール変換する。
【００６６】
ベクトル比較回路２４は、複数のベクトルと選択されたベクトルを比較し、差が大きい時には差分値無効化回路２３に指令を出す。指令を受けた差分値無効化回路２３は、当該ベクトルに対応する差分値成分を０に置きかえる。この置き換えの様子を図９に示す。ベクトル選択回路２１１は、フレーム内のブロックのベクトルを監視して最も多いベクトルを選択する。ベクトルスケーリング回路２１２は、選択されたベクトルを用いてベクトルをスケーリングする。ベクトル比較回路２４は、ベクトル探索回路１１からの動き補償ベクトルがベクトル選択回路２１１で選択したベクトルと異なるときには、差分値無効化回路２３へ指令を出して、差分値を０に置換える。この画像を符号化変換回路２０で縮小することによって、結果的に０で置き換えた部分の変換後の画像は、周りの部分と同じベクトルで動き補償された参照画像データで埋められる。
【００６７】
したがって、原画と比べて画像のずれが出るものの、差分の食い違いによる大きなノイズのような劣化は出ない。これにより、ベクトルが食い違う部分についても、動き補償予測のやり直しを行わなくて良いので、演算量を減らすことができ、小さな回路規模、少ない消費電力で高精細符号化データと低精細符号化データを同時に生成することができる。
【００６８】
図１０のブロック図を用いて、本発明の第２の実施の形態にかかる動画記録再生装置の構成の概要およびその動作を説明する。この動画記録再生装置は、入力された動画像を高精細符号化データ(ＭＰＥＧ-２)として記録し、再生時には、ＭＰＥＧ-２再生画像と、低精細符号化データ（ＭＰＥＧ‐４）の双方を出力することができる装置として構成される。ベクトル探索回路１１から局所復号回路１８で構成される記録装置の構成は、図２に示した実施例と同じであり、動作も同じであるので説明を省略する。高精細符号化データは、記録回路１００を介して図示を省略した記録媒体に記録される。
【００６９】
再生装置は、再生回路１０１と、フレームメモリ５２と、順方向予測回路５３と、双方向予測回路５４と、予測選択回路５５と、予測モード検出回路５６と、フレーム内復号回路５７と、フレーム抜き出し回路１９と、符号化変換回路２０と、ベクトル算出回路２１と、低精細符号化データ出力端子Ｔ３と、動画データ出力端子Ｔ４とを有して構成される。
【００７０】
再生回路１０１は、図示を省略した記録媒体から高精細符号化(ＭＰＥＧ−２)データを再生する手段である。
【００７１】
フレームメモリ５２は、予測選択回路５５が選択したデータ(Ｉ／Ｐ／Ｂフレーム)を、次の参照フレームＦｒとして蓄える手段である。
【００７２】
順方向予測回路５３は、フレーム内復号回路５７が複合したデータに含まれる動き補償ベクトルに基づき参照フレームＦｒからの動きを補償して順方向の予測を行い、差分値ΔＰと加算してオリジナルのデータ(Ｐフレーム)を復元する手段である。
【００７３】
双方向予測回路５４は、フレーム内復号回路５７が復号した動き補償ベクトルに基づき参照フレームＦｒからの動きを補償して双方向の予測を行い、差分値ΔＢと加算してオリジナルのデータ(Ｂフレーム)を復元する手段である。
【００７４】
予測選択回路５５は、Ｉ／Ｐ／Ｂの情報に基づき、復号された動画データ(Ｉフレーム)そのものと、順方向予測で復元されたデータ(Ｐフレーム)と、双方向予測で復元されたデータ(Ｂフレーム)の中から１つを選択する手段である。
【００７５】
予測モード検出回路５６は、フレーム内復号回路５７が復号した予測モード情報に基づいてＩ／Ｐ／Ｂの情報を検出する手段である。
【００７６】
フレーム内復号回路５７は、再生回路１０１が再生した高精細符号化データをを復号して動画データ(Ｉフレーム)そのものまたは予測差分値ΔＰ、ΔＢを生成する手段である。フレーム内復号回路５７は、Ｉ／Ｐ／Ｂの予測モード情報および動き補償ベクトルの値も合わせて復号する。
【００７７】
フレーム抜き出し回路１９は、予測モード検出回路５６からの制御信号を用いて、図１１の下段に示すように、復号中の高精細符号化データの中からＩフレームおよびＰフレームのデータを抜き出す手段である。
【００７８】
符号化変換回路２０は、ＩフレームおよびＰフレームの符号化データを画像サイズの小さい低精細符号化データ(ＭＰＥＧ‐４)に変換する手段である。
【００７９】
ベクトル算出回路２１は、順方向予測用の動き補償ベクトルを用いて変換後の動き補償ベクトルを算出する手段である。
【００８０】
低精細符号化データ出力端子Ｔ３は、低精細符号化(ＭＰＥＧ‐４)データを出力する。
【００８１】
動画データ出力端子Ｔ４は、予測選択回路５５が選択したデータ(Ｉ／Ｐ／Ｂフレーム)を出力する端子である。
【００８２】
次に再生の動作を説明する。フレーム内復号回路５７は、再生回路１０１が記録媒体から再生した高精細符号化(ＭＰＥＧ−２)データを復号して、動画データ（Ｉフレーム）そのものまたは予測差分値ΔＰ、ΔＢを生成する。この時、フレーム内復号回路５７は、Ｉ／Ｐ／Ｂの予測モード情報および動き補償ベクトルの値も合わせて復号する。
【００８３】
順方向予測回路５３は、動き補償ベクトルに基づき参照フレームＦｒからの動きを補償して順方向の予測を行い、差分値ΔＰと加算してオリジナルのデータ(Ｐフレーム)を復元する。双方向予測回路５４は、動き補償ベクトルに基づき参照フレームＦｒからの動きを補償して双方向の予測を行い、差分値ΔＢと加算してオリジナルのデータ(Ｂフレーム)を復元する。
【００８４】
予測選択回路５５は、予測モード検出回路５６が検出したＩ／Ｐ／Ｂの情報に基づき、復号された動画データ(Ｉフレーム)そのものと、順方向予測で復元されたデータ(Ｐフレーム)と、双方向予測で復元されたデータ(Ｂフレーム)の中から１つを選択する。選択されたデータは動画データ出力端子Ｔ４から出力されるとともに、次の参照フレームとしてフレームメモリ５２に蓄えられる。
【００８５】
次に、低精細符号化データへの変換を、図１１を用いて説明する。図１１は、本発明による動画記録再生装置により変換されるフレームレートおよび画像サイズの異なる符号化データを示した概念図である。フレーム抜き出し回路１９は、予測モード検出回路５６からの制御信号を用いて、図１１の下段に示すように、復号中の高精細符号化データの中からＩフレームおよびＰフレームのデータを抜き出し、符号化変換回路２０へ送る。符号化変換回路２０は、ＩフレームおよびＰフレームの符号化データを、ベクトル算出回路２１からの変換後の動き補償ベクトルを用いて画像サイズの小さい符号化データ(ＭＰＥＧ‐４)に変換して低精細符号化データ出力端子Ｔ３から出力する。この時、変換後の動き補償ベクトルは、順方向予測用の動き補償ベクトルを用いてベクトル算出回路２１が算出する。
【００８６】
以上により、高精細符号化と低精細符号化の予測モードを合わせることによって低精細符号化用のベクトル探索を行わずに済むので、演算量を減らすことができ、小さな回路規模、少ない消費電力で高精細符号化データから低精細符号化データへ変換することができる。
【００８７】
次に、図１０に示した再生装置側の予測選択回路５５の中の詳細ブロック図である図１２を用いて、再生時におけるマクロブロックモードの制御について説明する。予測選択回路５５は、フレーモード選択回路５５１と、マクロブロックモード選択回路５５２と、マクロブロックモード選択回路５５３とを有して構成される。
【００８８】
フレームモード選択回路５５１は、Ｉ／Ｐ／Ｂに応じてデータを選択する手段である。
【００８９】
マクロブロックモード選択回路５５２、５５３は、フレーム内復号回路５７が復号したＩフレーム情報と順方向予測データΔＰまたは双方向予測データΔＢを、マクロブロック毎の属性情報であるイントラ／インターの情報に基づいて選択する。マクロブロックモード選択回路５５２から出力されるデータをＰｍで表わし、マクロブロックモード選択回路５５３から出力されるデータをＢｍで表わしている。
【００９０】
フレームモード選択回路５５１は、Ｉ／Ｐ／Ｂに応じてデータを選択する。マクロブロック毎のイントラ／インターの情報は、フレーム内復号回路５７が復号し、マクロブロックモード選択回路５５２、５５３がその情報に基づいて選択する。
【００９１】
記録装置側の予測選択回路１５の詳細ブロック図は、図４と同じである。結果、復号されるマクロブロックのイントラ／インターの様子も図５のようになる。このように、符号化変換する複数のマクロブロックのモードが同一にでき、予測のやり直しによるイントラ／インター変換を行う必要がないので、演算量を減らすことができ、小さな回路規模、少ない消費電力で高精細符号化データから低精細符号化データへ変換することができる。
【００９２】
図１０において、記録装置側予測選択回路１５の部分の回路を図６に示した予測選択回路１５のブロック図のように変えても良い。こうすると、符号化装置の場合と同様に、シーンチェンジで画質が劣化しても、次のＰフレームでイントラとなって効率が改善するので、画質が回復する。その場合、Ｐフレームにおけるマクロブロックのイントラ／インターの選択の様子は、図７に示したようになる。この実施例においても、符号化変換する複数のマクロブロックのモードが同一にでき、予測のやり直しによるイントラ／インター変換を行う必要がないので、演算量を減らすことができ、小さな回路規模、少ない消費電力で高精細符号化データから低精細符号化データへ変換することができる。
【００９３】
次に、ベクトル探索回路１１と符号化変換回路２０においてさらに演算量を削減する実施例について図１３を用いて説明する。図１３において、図示しない部分は図１０に示した実施例と同じ構成である。符号化装置の場合と同様に差分値無効化回路２３とベクトル比較回路２４を追加する。ベクトル算出回路２１の中では、順方向予測回路５３からの複数のベクトルの中からベクトル選択回路２１１が最適なベクトルを選択し、それをベクトルスケーリング回路２１２が符号化変換後の画像サイズに合うようにスケール変換する。
【００９４】
ベクトル比較回路２４は、複数のベクトルと選択されたベクトルを比較し、差が大きい時には差分値無効化回路２３に指令を出す。指令を受けた差分値無効化回路２３は、当該ベクトルに対応する差分値成分を０に置きかえる。この置き換えの様子は図９に示したようになる。
【００９５】
結果的に０で置き換えた部分の変換後の画像は、周りの部分と同じベクトルで動き補償された参照画像データで埋められる。したがって、原画と比べて画像のずれが出るものの、差分の食い違いによる大きなノイズのような劣化は出ない。これにより、ベクトルが食い違う部分についても、動き補償予測のやり直しを行わなくて良いので、演算量を減らすことができ、小さな回路規模、少ない消費電力で高精細符号化データと低精細符号化データを同時に生成することができる。
【００９６】
【発明の効果】
本発明によれば、小さな回路規模、少ない消費電力で高精細符号化データと低精細符号化データを同時に生成することができ、また、高精細符号化データから低精細符号化データへ変換することができる。
【図面の簡単な説明】
【図１】本発明に係る動画符号化装置の一実施形態を示すブロック図。
【図２】図１におけるＭＰＥＧ−２とＭＰＥＧ−４の重複部分を共有する構成に改良した動画符号化装置の一実施形態を示すブロック図。
【図３】本発明に係る動画符号化装置により同時に生成されるフレームレートおよび画像サイズの異なる符号化データを示した概念図。
【図４】本発明に係る動画符号化装置の予測選択部分の詳細ブロック図。
【図５】図４の実施例の符号化変換前後のマクロブロックのイントラ／インターの様子の例を示した図。
【図６】本発明に係る動画符号化装置の第２の実施形態の予測選択部分の詳細ブロック図。
【図７】図６の実施例の符号化変換前後のマクロブロックのイントラ／インターの様子の例を示した図。
【図８】本発明に係る動画符号化装置の第３の実施形態の符号変換部分の詳細ブロック図。
【図９】図８の実施例のベクトル変換と差分値置き換えの様子の例を示した図。
【図１０】本発明に係る動画記録再生装置の一実施形態を示すブロック図。
【図１１】本発明に係る動画記録再生装置により変換されるフレームレートおよび画像サイズの異なる符号化データを示した概念図。
【図１２】本発明に係る動画記録再生装置の再生側予測選択部分の詳細ブロック図。
【図１３】本発明に係る動画記録再生装置の別実施形態の符号変換部分の詳細ブロック図。
【符号の説明】
１１ ベクトル探索回路
１２ フレームメモリ
１３ 順方向予測回路
１４ 双方向予測回路
１５ 予測選択回路
１５１ フレームモード選択回路
１５２ イントラ／インター判定回路
１５３ マクロブロックモード選択回路
１５４ フレーム単位マクロブロックモード選択回路
１６ 予測モード制御回路
１７ フレーム内符号化回路
１８ 局所復号回路
１９ フレーム抜き出し回路
２０ 符号化変換回路
２１ ベクトル算出回路
２１１ ベクトル選択回路
２１２ ベクトルスケーリング回路
２２ 画質劣化検出回路
２３ 差分値無効化回路
２４ ベクトル比較回路
２５ サイズ変換回路
５２ フレームメモリ
５３ 順方向予測回路
５４ 双方向予測回路
５５ 予測選択回路
５５１ フレームモード選択回路
５５２、５５３ マクロブロックモード選択回路
５６ 予測モード検出回路
５７ フレーム内復号回路
１００ 記録回路
１０１ 再生回路
Ｔ１ 動画データ入力端子
Ｔ２ 高精細符号化データ出力端子
Ｔ３ 低精細符号化データ出力端子
Ｔ４ 動画データ出力端子
Claims (12)
- 動き補償フレーム間予測を用いて動画の符号化を行う動画符号化装置において、
前記動画を第１の画像サイズで符号化する第１の符号化手段と、
前記動画を第２の画像サイズで符号化する第２の符号化手段と、
前記第１の符号化手段の予測モードと前記第２の符号化手段の予測モードのフレームタイプとが一致するように両者のフレームタイプを制御する予測モード制御手段と、
前記第１の符号化手段で用いる第１の動きベクトルから前記第２の符号化手段における変換後の動きベクトルを算出する動きベクトル算出手段であって、前記第２の画像サイズのフレームにおける１つの部分画像に対応する前記第１の画像サイズのフレームにおける複数の部分画像毎に与えられる複数の動きベクトルから１つの動きベクトルを選択し、スケール変換することによって、前記第２の符号化手段における変換後の動きベクトルを算出する動きベクトル算出手段と、
前記第２の符号化手段による符号化の際に、前記第１の符号化手段の動きベクトルが前記動きベクトル算出手段における選択された動きベクトルと大きく異なる場合には、前記動きベクトルを持った第１の画像サイズのフレームにおける部分画像の差分値を０にして、対応する第２の符号化手段における符号化をするようにする差分値無効化手段と、
を備えることを特徴とする動画符号化装置。 - 動き補償フレーム間予測を用いて動画の符号化を行う動画符号化装置において、
前記動画を、少なくとも動き補償およびＤＣＴ変換することにより、第１のフレームレートかつ第１の画像サイズで符号化する第１の符号化手段と、
前記第１の符号化手段における、前記動き補償後の差分値を抜き出し、解像度変換して第２のフレームレートかつ第２の画像サイズで符号化する第２の符号化手段と、
前記第１の符号化手段の予測モードと前記第２の符号化手段の予測モードのフレームタイプとが一致するように両者のフレームタイプを制御する予測モード制御手段と、
前記第１の符号化手段で用いる第１の動きベクトルから前記第２の符号化手段における変換後の動きベクトルを算出する動きベクトル算出手段であって、前記第２の画像サイズのフレームにおける１つの部分画像に対応する前記第１の画像サイズのフレームにおける複数の部分画像毎に与えられる複数の動きベクトルから１つの動きベクトルを選択し、スケール変換することによって、前記第２の符号化手段における変換後の動きベクトルを算出する動きベクトル算出手段と、
前記第２の符号化手段による符号化の際に、第１の符号化手段の動きベクトルが動きベクトル算出手段における選択された動きベクトルと大きく異なる場合には、該動きベクトルを持った第１の画像サイズのフレームにおける部分画像の差分値を０にして、対応する第２の符号化手段における符号化をするようにする差分値無効化手段と、を備えることを特徴とする動画符号化装置。 - 動き補償フレーム間予測を用いて動画の符号化を行う動画符号化装置において、
入力動画像を第１のフレームレートかつ第１の画像サイズで符号化する第１の符号化手段と、
前記第１の符号化手段における符号化処理中の画像データを抜き出して、動きベクトルを用いて第２のフレームレートかつ第２の画像サイズで符号化する第２の符号化手段と、
前記第１の符号化手段の予測モードのフレームタイプが前記第２の符号化手段の予測モードのフレームタイプと一致するように両者のフレームタイプを制御する予測モード制御手段と、
前記第２の符号化手段における変換後の動きベクトルを前記第１の符号化手段の予測に用いる動きベクトルから算出する動きベクトル算出手段であって、前記第２の画像サイズのフレームにおける１つの部分画像に対応する前記第１の画像サイズのフレームにおける複数の部分画像毎に与えられる複数の動きベクトルから１つの動きベクトルを選択し、スケール変換することによって、前記第２の符号化手段における変換後の動きベクトルを算出する動きベクトル算出手段と、
前記第２の符号化手段による符号化の際に、前記第１の符号化手段の動きベクトルが前記動きベクトル算出手段における選択された動きベクトルと大きく異なる場合には、前記動きベクトルを持った第１の画像サイズのフレームにおける部分画像の差分値を０にして、対応する第２の符号化手段における符号化をするようにする差分値無効化手段と、を備えることを特徴とする動画符号化装置。 - 前記予測モード制御手段は、前記第２の符号化手段が符号化中の高精細符号化データの中からＩフレームおよびＰフレームの画像データもしくはＤＣＴ係数データを抜き出すよう制御する
ことを特徴とする請求項３に記載の動画符号化装置。 - 請求項３に記載の動画符号化装置において、
前記第２の符号化手段の予測モードが過去のフレームからの予測のみを用いる順方向予測フレームであるフレームの前記第１の符号化手段の部分画像毎の予測モードを、同一フレーム内の全ての部分画像において予測値との差分を符号化する、または、同一フレーム内の全ての部分画像において予測を用いずにそのまま符号化する、ように制御される
ことを特徴とする動画符号化装置。 - 請求項５に記載の動画符号化装置において、
前記第１の符号化手段が同一フレーム内の全ての部分画像において予測値との差分を符号化したフレームの画質が劣化したことを検出する画質劣化検出手段を備え、
前記画質劣化検出手段により画質劣化が検出された場合には、次の前記第２の符号化手段の予測モードが過去のフレームからの予測のみを用いる順方向予測フレームであるフレームの第１の符号化手段の部分画像毎の予測モードを同一フレーム内の全ての部分画像において予測を用いずにそのまま符号化するように制御される
ことを特徴とする動画符号化装置。 - 動き補償フレーム間予測を用いて動画の符号化を行って記録媒体に記録し、また上記により記録された符号化データを記録媒体から再生して復号する動画記録再生装置において、
入力動画を第１のフレームレートかつ第１の画像サイズで符号化する第１の符号化手段と、
前記第１の符号化手段で符号化された符号化データを復号する復号手段と、
前記復号手段で復号されたフレームから抜き出した所定のフレームを第１のフレームレートより小さい第２のフレームレートかつ第１の画像サイズより小さい第２の画像サイズで再符号化する再符号化手段と、
前記第１の符号化手段の予測モードのフレームタイプと前記再符号化手段の予測モードのフレームタイプとが一致するように両者のフレームタイプを制御する予測モード制御手段と、
前記再符号化手段における変換後の動きベクトルを復号手段により復号された動きベクトルから算出する動きベクトル算出手段あって、前記復号手段で復号した第１の画像サイズのフレームにおける複数の部分画像毎に与えられる複数の動きベクトルから１つの動きベクトルを選択し、スケール変換することによって、前記再符号化手段における変換後の動きベクトルを算出する動きベクトル算出手段と、
前記再符号化手段による符号化の際に、復号手段からの動きベクトルが前記動きベクトル算出手段における選択された動きベクトルと大きく異なる場合には、前記動きベクトルを持った復号手段の第１の画像サイズのフレームにおける部分画像の差分値を０にして、対応する再符号化手段における再符号化をするようにする差分値無効化手段と、を備えることを特徴とする動画記録再生装置。 - 記録媒体に記録された動き補償フレーム間予測を用いて動画の符号化を行った符号化データを記録媒体から再生して復号する動画再生装置において、
前記記録媒体から再生した符号化データを復号する復号手段と、
前記復号手段で復号されたフレームの予測モードを検出する予測モード検出手段と、
前記復号手段で復号された動画を動きベクトルを用いて前記予測モード検出手段で検出した予測モードで前記記録された第１のフレームレートより小さい第２のフレームレートかつ第１の画像サイズより小さい第２の画像サイズで再符号化する再符号化手段と、
前記再符号化手段における変換後の動きベクトルを復号手段により復号された動きベクトルから算出する動きベクトル算出手段であって、前記復号手段で復号した第１の画像サイズのフレームにおける複数の部分画像毎に与えられる複数の動きベクトルから１つの動きベクトルを選択し、スケール変換することによって、前記再符号化手段における変換後の動きベクトルを算出する動きベクトル算出手段と、
前記再符号化手段による符号化の際に、前記復号手段からの動きベクトルが動きベクトル算出手段における選択された動きベクトルと大きく異なる場合には、前記動きベクトルを持った復号手段の第１の画像サイズのフレームにおける部分画像の差分値を０にして、対応する再符号化手段における再符号化するようにする差分値無効化手段と、を備えることを特徴とする動画再生装置。 - 動き補償フレーム間予測を用いて動画の符号化を行う動画符号化方法において、
第１の符号化処理の予測モードのフレームタイプと第２の符号化処理の予測モードのフレームタイプとが一致するように両者のフレームタイプを制御する予測モード制御処理と、
前記動画を第１の画像サイズで符号化する第１の符号化処理と、
前記動画を第２の画像サイズで符号化する第２の符号化処理と、
前記第１の符号化処理で用いる第１の動きベクトルから前記第２の符号化処理における変換後の動きベクトルを算出する動きベクトル算出処理であって、前記第２の画像サイズのフレームにおける１つの部分画像に対応する前記第１の画像サイズのフレームにおける複数の部分画像毎に与えられる複数の動きベクトルから１つの動きベクトルを選択し、スケール変換することによって、前記第２の符号化処理における変換後の動きベクトルを算出する動きベクトル算出処理と、
前記第２の符号化処理による符号化の際に、第１の符号化処理の動きベクトルが前記動きベクトル算出処理における選択された動きベクトルと大きく異なる場合には、前記動きベクトルを持った第１の画像サイズのフレームにおける部分画像の差分値を０にして、対応する第２の符号化処理における符号化をするようにする差分値無効化処理と、
を有することを特徴とする動画符号化方法。 - 動き補償フレーム間予測を用いて動画の符号化を行う動画符号化方法において、
第１の符号化処理の予測モードのフレームタイプと第２の符号化処理の予測モードのフレームタイプとが一致するように両者のフレームタイプを制御する予測モード制御処理と、
前記動画を、少なくとも動き補償およびＤＣＴ変換することにより、第１のフレームレートかつ第１の画像サイズで符号化する第１の符号化処理と、
前記第１の符号化処理で用いる第１の動きベクトルから前記第２の符号化処理における変換後の動きベクトルを算出する動きベクトル算出処理であって、前記第２の画像サイズのフレームにおける１つの部分画像に対応する前記第１の画像サイズのフレームにおける複数の部分画像毎に与えられる複数の動きベクトルから１つの動きベクトルを選択し、スケール変換することによって、前記第２の符号化処理における変換後の動きベクトルを算出する動きベクトル算出処理と、
前記第１の符号化処理における、前記動き補償後の差分値を抜き出し、動きベクトルを用いて第２のフレームレートかつ第２の画像サイズで符号化する第２の符号化処理と、
前記第２の符号化処理による符号化の際に、第１の符号化処理の動きベクトルが動きベクトル算出処理における選択された動きベクトルと大きく異なる場合には、該動きベクトルを持った第１の画像サイズのフレームにおける部分画像の差分値を０にして、対応する第２の符号化処理における符号化をするようにする差分値無効化処理と、
を有することを特徴とする動画符号化方法。 - 動き補償フレーム間予測を用いて動画の符号化を行う動画符号化方法において、
第１の符号化処理の予測モードのフレームタイプが第２の符号化処理の予測モードのフレームタイプと一致するように両者のフレームタイプを制御する予測モード制御処理と、
入力動画像を第１のフレームレートかつ第１の画像サイズで符号化する第１の符号化処理と、
前記第２の符号化処理における変換後の動きベクトルを前記第１の符号化処理の予測に用いる動きベクトルから算出する動きベクトル算出処理であって、前記第２の画像サイズのフレームにおける１つの部分画像に対応する前記第１の画像サイズのフレームにおける複数の部分画像毎に与えられる複数の動きベクトルから１つの動きベクトルを選択し、スケール変換することによって、前記第２の符号化処理における変換後の動きベクトルを算出する動きベクトル算出処理と、
前記第１の符号化処理における符号化処理中の画像データを抜き出して、動きベクトルを用いて第２のフレームレートかつ第２の画像サイズで符号化する第２の符号化処理と、
前記第２の符号化処理による符号化の際に、第１の符号化処理の動きベクトルが動きベクトル算出処理における選択された動きベクトルと大きく異なる場合には、該動きベクトルを持った第１の画像サイズのフレームにおける部分画像の差分値を０にして、対応する第２の符号化処理における符号化をするようにする差分値無効化処理と、
を有することを特徴とする動画符号化方法。 - 動き補償フレーム間予測を用いて動画の符号化を行って記録媒体に記録し、また上記により記録された符号化データを記録媒体から再生して復号する動画記録再生方法において、
入力動画を第１のフレームレートかつ第１の画像サイズで符号化する第１の符号化処理と、
前記第１の符号化処理で符号化された符号化データを復号する復号処理と、
前記第１の符号化処理の予測モードを検出しこの検出結果を用いて再符号化処理における第２のフレームレートを制御する予測モード制御処理と、
再符号化処理における変換後の動きベクトルを復号処理により復号された動きベクトルから算出する動きベクトル算出処理であって、前記第２の画像サイズのフレームにおける１つの部分画像に対応する前記第１の画像サイズのフレームにおける複数の部分画像毎に与えられる複数の動きベクトルから１つの動きベクトルを選択し、スケール変換することによって、前記再符号化処理における変換後の動きベクトルを算出する動きベクトル算出処理と、
前記復号処理で復号されたフレームから抜き出した所定のフレームを動きベクトルを用いて第１のフレームレートより小さい第２のフレームレートかつ第１の画像サイズより小さい第２の画像サイズで再符号化する再符号化処理と、
前記再符号化処理による符号化の際に、第１の符号化処理の動きベクトルが動きベクトル算出処理における選択された動きベクトルと大きく異なる場合には、該動きベクトルを持った第１の画像サイズのフレームにおける部分画像の差分値を０にして、対応する再符号化手段における再符号化をするようにする差分値無効化処理と、
を有することを特徴とする動画記録再生方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002175720A JP4346868B2 (ja) | 2002-06-17 | 2002-06-17 | 動画符号化装置、及び動画記録再生装置、及び動画再生装置、及び動画符号化方法ならびに動画記録再生方法 |
| US10/279,370 US6940906B2 (en) | 2002-06-17 | 2002-10-23 | Moving picture encoding apparatus |
| US11/190,272 US7272185B2 (en) | 2002-06-17 | 2005-07-26 | Moving picture encoding apparatus |
| US11/841,112 US20070297514A1 (en) | 2002-06-17 | 2007-08-20 | Moving Picture Encoding Apparatus |
| US12/687,007 US8170111B2 (en) | 2002-06-17 | 2010-01-13 | Moving picture encoding apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002175720A JP4346868B2 (ja) | 2002-06-17 | 2002-06-17 | 動画符号化装置、及び動画記録再生装置、及び動画再生装置、及び動画符号化方法ならびに動画記録再生方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007257907A Division JP4642055B2 (ja) | 2007-10-01 | 2007-10-01 | 動画符号化装置、及び動画記録再生装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004023444A JP2004023444A (ja) | 2004-01-22 |
| JP4346868B2 true JP4346868B2 (ja) | 2009-10-21 |
Family
ID=30112233
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002175720A Expired - Lifetime JP4346868B2 (ja) | 2002-06-17 | 2002-06-17 | 動画符号化装置、及び動画記録再生装置、及び動画再生装置、及び動画符号化方法ならびに動画記録再生方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (4) | US6940906B2 (ja) |
| JP (1) | JP4346868B2 (ja) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002152759A (ja) * | 2000-11-10 | 2002-05-24 | Sony Corp | 画像情報変換装置および画像情報変換方法 |
| JP4346868B2 (ja) * | 2002-06-17 | 2009-10-21 | 株式会社日立製作所 | 動画符号化装置、及び動画記録再生装置、及び動画再生装置、及び動画符号化方法ならびに動画記録再生方法 |
| KR20040059662A (ko) * | 2002-12-28 | 2004-07-06 | 삼성전자주식회사 | 스트리밍 방식을 이용한 동영상메일 통신장치 및 방법 |
| US7606305B1 (en) | 2003-02-24 | 2009-10-20 | Vixs Systems, Inc. | Method and system for transcoding video data |
| US7327784B2 (en) * | 2003-02-24 | 2008-02-05 | Vixs Systems, Inc. | Method and system for transcoding video data |
| US7133452B1 (en) * | 2003-02-24 | 2006-11-07 | Vixs Systems, Inc. | Method and system for transcoding video data |
| US8031226B2 (en) * | 2005-03-01 | 2011-10-04 | Fujifilm Corporation | Image output apparatus, image output method, image output program, image trimming apparatus, image trimming method, and image trimming program |
| JP4534935B2 (ja) | 2005-10-04 | 2010-09-01 | 株式会社日立製作所 | トランスコーダ、記録装置及びトランスコード方法 |
| JP2008311871A (ja) * | 2007-06-13 | 2008-12-25 | Hitachi Ltd | 情報記録再生装置及びビデオカメラ装置 |
| US8098732B2 (en) * | 2007-10-10 | 2012-01-17 | Sony Corporation | System for and method of transcoding video sequences from a first format to a second format |
| CN101960854B (zh) * | 2008-03-10 | 2013-12-18 | 汤姆森许可贸易公司 | 支持增强效率和主观质量的预测帧选择的方法和设备 |
| JP5780582B2 (ja) * | 2009-01-08 | 2015-09-16 | 日本電気株式会社 | 配信システムと方法並びに変換装置 |
| GB2484969B (en) * | 2010-10-29 | 2013-11-20 | Canon Kk | Improved reference frame for video encoding and decoding |
| KR102355509B1 (ko) * | 2011-02-09 | 2022-02-08 | 엘지전자 주식회사 | 영상 부호화 및 복호화 방법과 이를 이용한 장치 |
| CA2823288C (en) * | 2011-02-16 | 2019-05-07 | Panasonic Corporation | Video encoder, video encoding method, video encoding program, video reproduction device, video reproduction method, and video reproduction program |
| JPWO2012111325A1 (ja) * | 2011-02-17 | 2014-07-03 | パナソニック株式会社 | 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム |
| US9344218B1 (en) * | 2013-08-19 | 2016-05-17 | Zoom Video Communications, Inc. | Error resilience for interactive real-time multimedia applications |
| JP6291971B2 (ja) * | 2014-03-31 | 2018-03-14 | 富士通株式会社 | 符号化装置、符号化方法及び符号化プログラム |
| WO2020171046A1 (en) * | 2019-02-20 | 2020-08-27 | Panasonic Intellectual Property Corporation Of America | Image encoder and image decoder |
| CN112804534B (zh) * | 2019-11-14 | 2022-03-01 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5940130A (en) * | 1994-04-21 | 1999-08-17 | British Telecommunications Public Limited Company | Video transcoder with by-pass transfer of extracted motion compensation data |
| DE69522861T2 (de) * | 1994-06-30 | 2002-04-11 | Koninkl Philips Electronics Nv | Verfahren und Einrichtung zur Codeumwandlung von codiertem Datenstrom |
| JP3058028B2 (ja) * | 1994-10-31 | 2000-07-04 | 三菱電機株式会社 | 画像符号化データ再符号化装置 |
| KR100592651B1 (ko) * | 1997-11-27 | 2006-06-23 | 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니 | 트랜스코딩 방법 및 장치 |
| US6466623B1 (en) * | 1998-03-27 | 2002-10-15 | Industrial Technology Research Institute | Method and apparatus for motion estimation for high performance transcoding |
| JP4378824B2 (ja) | 2000-02-22 | 2009-12-09 | ソニー株式会社 | 画像処理装置及び方法 |
| JP2001285875A (ja) | 2000-03-30 | 2001-10-12 | Sony Corp | 画像情報変換装置及び方法 |
| US6647061B1 (en) * | 2000-06-09 | 2003-11-11 | General Instrument Corporation | Video size conversion and transcoding from MPEG-2 to MPEG-4 |
| JP2002032960A (ja) | 2000-07-18 | 2002-01-31 | Canon Inc | 信号処理装置、信号処理システム、信号処理方法、及び記憶媒体 |
| JP2002152755A (ja) | 2000-11-09 | 2002-05-24 | Nippon Telegr & Teleph Corp <Ntt> | 映像ストリーム間のトランスコード方法、およびトランスコーダ、並びにトランスコード方法のプログラムを記録した記録媒体 |
| US7058127B2 (en) * | 2000-12-27 | 2006-06-06 | International Business Machines Corporation | Method and system for video transcoding |
| JP4346868B2 (ja) * | 2002-06-17 | 2009-10-21 | 株式会社日立製作所 | 動画符号化装置、及び動画記録再生装置、及び動画再生装置、及び動画符号化方法ならびに動画記録再生方法 |
| US7327784B2 (en) * | 2003-02-24 | 2008-02-05 | Vixs Systems, Inc. | Method and system for transcoding video data |
-
2002
- 2002-06-17 JP JP2002175720A patent/JP4346868B2/ja not_active Expired - Lifetime
- 2002-10-23 US US10/279,370 patent/US6940906B2/en not_active Expired - Lifetime
-
2005
- 2005-07-26 US US11/190,272 patent/US7272185B2/en not_active Expired - Lifetime
-
2007
- 2007-08-20 US US11/841,112 patent/US20070297514A1/en not_active Abandoned
-
2010
- 2010-01-13 US US12/687,007 patent/US8170111B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US20050254582A1 (en) | 2005-11-17 |
| US20070297514A1 (en) | 2007-12-27 |
| US8170111B2 (en) | 2012-05-01 |
| US7272185B2 (en) | 2007-09-18 |
| US6940906B2 (en) | 2005-09-06 |
| JP2004023444A (ja) | 2004-01-22 |
| US20100111188A1 (en) | 2010-05-06 |
| US20040008774A1 (en) | 2004-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4346868B2 (ja) | 動画符号化装置、及び動画記録再生装置、及び動画再生装置、及び動画符号化方法ならびに動画記録再生方法 | |
| KR100592651B1 (ko) | 트랜스코딩 방법 및 장치 | |
| JP4373702B2 (ja) | 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム | |
| TWI508532B (zh) | Animation encoding apparatus, animation decoding apparatus, animation encoding method, animation decoding method, animation coding program, animation decoding program, animation processing system and animation processing method | |
| JP4703449B2 (ja) | 符号化方法 | |
| WO2009052697A1 (en) | A dual prediction video encoding and decoding method and a device | |
| JP2001028756A (ja) | コンテクストベースでフレーム内コーディングモードとフレーム間コーディングモードとの間の選択を行なうための方法および装置 | |
| JP2007104231A (ja) | トランスコーダ、記録装置及びトランスコード方法 | |
| CN101578879A (zh) | 用于视频帧间预测编码/解码的方法和装置 | |
| JP4224778B2 (ja) | ストリーム変換装置および方法、符号化装置および方法、記録媒体、並びに、プログラム | |
| KR100226563B1 (ko) | 동화상 데이타 복호화장치 | |
| JPH08163501A (ja) | 情報符号化装置及び情報復号化装置 | |
| JP3257052B2 (ja) | 画像信号の高能率符号化装置及びその方法 | |
| JP4642055B2 (ja) | 動画符号化装置、及び動画記録再生装置 | |
| JP4432188B2 (ja) | 符号化フォーマット変換装置、符号化フォーマット変換システム及び方法 | |
| JP3188081B2 (ja) | 画像符号化方法および画像符号化装置 | |
| JP4178521B2 (ja) | 符号化映像信号の記録方法、及び映像信号符号化装置 | |
| JP5240230B2 (ja) | トランスコーダ、記録装置及びトランスコード方法 | |
| JP4765961B2 (ja) | デジタル動画像記録装置 | |
| JPH11298902A (ja) | 画像符号化装置および方法 | |
| JP4193162B2 (ja) | 画像信号符号化装置 | |
| JP3304870B2 (ja) | 画像符号化方法及び装置並びに画像復号方法及び装置 | |
| JP5067492B2 (ja) | デジタル動画像記録装置 | |
| JP2002374536A (ja) | 符号化装置 | |
| JP2003309803A (ja) | ビデオストリーム編集装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050216 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070320 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071001 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080715 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080911 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090714 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090715 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4346868 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120724 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130724 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |