JP3855522B2 - 動画変換装置 - Google Patents
動画変換装置 Download PDFInfo
- Publication number
- JP3855522B2 JP3855522B2 JP04438199A JP4438199A JP3855522B2 JP 3855522 B2 JP3855522 B2 JP 3855522B2 JP 04438199 A JP04438199 A JP 04438199A JP 4438199 A JP4438199 A JP 4438199A JP 3855522 B2 JP3855522 B2 JP 3855522B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- image
- unit
- information
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
Description
【０００１】
【発明の属する技術分野】
本発明は、動画圧縮形式の変換を行なう動画変換装置に関し、特に動きベクトルの再利用や参照によって動きベクトル検出の演算量を減らして動画変換の高速化と画質劣化の低減を図るようにした動画変換装置に関する。
【０００２】
【従来の技術】
近年、電気通信技術のデジタル化が進み、現行のNTSC/PAC/SECAM等のアナログ放送方式もデジタル化する計画も進行中である。また、デジタル技術を応用した新たな放送サービスとして、多チャンネルサービスを提供する衛星放送や、ハイビジョン放送の地上波放送(ATV:Adavanced Television)やビデオ・オン・デマンドなどがあり、一方でデジタル技術を応用したコミュニケーションサービスとしてテレビ電話や電子会議システム等もある。
【０００３】
ところが、このような動画をデジタル信号で通信する際、共通の課題として情報量の多大性が挙げられる。リアルタイムでフレームレートを上げて再生するために、またネットワークのトラフィックを押さえるためにも動画圧縮技術が必要不可欠となる。
【０００４】
多大な情報量を有する動画像データを効率よく圧縮するために、時間軸方向、あるいは空間軸方向の相関を利用し、冗長度を削減する手法が用いられている。色々な圧縮方式があるが、代表的なものとしてMPEG(Moving Picture Experts Group)による方式がある。これは、ISO-IEC/JTC1/SC2/WG11にて議論され、標準案として提案されたものであり、動き補償符号化、DCT(Discrete CosINTERansform)符号化、可変長(VLC:Variable Length Coding)符号化を組み合わせたハイブリッド方式が採用されている。
【０００５】
また一方で通信メディア上の制限でビットレートの変換を行なうためのトランスコーディングという技術も取り上げられる用になってきたが、今後は、すでに蓄積された動画コンテンツの再利用という観点や、既に普及しているテレビ電話・電子会議システムと今後の携帯動画コミュニケーションの相互利用という観点からも異なる動画圧縮方式間でのトランスコーディングがより重要視されてくると思われる。
【０００６】
典型的なMPEGによる復号化装置の構成図を図１に、符号化装置の構成図を図２に、代表的なトランスコーディング技術を使用した画像伝送の一例として特開平８−５１６３１号公報記載の「トランスコーディング方法及び装置」の構成例を図３に示す。
【０００７】
図１の示すデコーダは符号化チャネル12を備え、この符号化チャネルは可変長符号化手段1、逆量子化手段2及び逆周波数変換手段（例えば逆ディスクリートコサイン変換手段3のような逆直行変換手段）を直列にそなえる。このデコーダは、更に、動き補償段４を直列に備え、この段はデコーダからの出力信号を受信する画像メモリ(MEM)41と、このメモリ41の出力信号とデコーダが符号化信号と同時に受信する動きベクトルV(伝送され及び/又は蓄積される)とに基づく動き補償手段42と逆ディスクリートコサイン変換手段3の出力信号と手段42の出力信号を加算する加算器43とを直列に備え、この加算器の出力端子がデコーダの出力端子がデコーダの出力端子とメモリ41の入力端子の両方を構成する。
【０００８】
図２に示すエンコーダは、符号化及び復号化チャネル13と予測チャネル10を備える。符号化及び復号化チャネルは、周波数変換手段（同様に、例えばディスクリートコサイン変換手段5のような直交変換手段）、量子化手段６及び可変長符号化手段7を直列に備え、手段6の出力側に、更に、逆量子化手段8及び逆周波数変換手段（例えば逆ディスクリートコサイン変換手段9のような逆直交変換手段）を備える。以下の記載において、手段7の出力端子は予測出力端子といい、予測チャネルの入力端子を構成する。予測チャネルは、ブロックを再構成する加算器101（本例では動画像の系列に対応する原ビデオ信号が各Ｍ×Ｎ画素の同一サイズのブロックに分割されている）と、画像メモリ102と、予め推定された動きベクトルに基づく動き補償手段103と、正入力端子にエンコーダの入力信号を受信し、負入力端子に手段103の出力信号を受信してこれらの信号の差のみを符号化する減算器101は手段103からのこの出力信号と符号化及び復号化チャネルからの予測出力信号とを受信する。
【０００９】
図３に示す動画変換装置は、可変長復号化チャネル部12の後段に可変長符号化チャネル部13を備え、これら２つのチャネルの間に画像メモリ及び動きベクトル補償手段を有する予測機能部140を接続したものである。
【００１０】
【発明が解決しょうとする課題】
上述した従来の動画変換装置は、動画圧縮度を変更して動画のビットレート（単位時間当たりの符号容量：ビット／秒で表現される）を変更する（一般に圧縮によって劣化した画質を上げることはできないので、主に下げる）ことを、動き予測の省略と動き補償手段の共有化によって簡単且つ安価に実現することが目的であり、異なる画像圧縮形式への変換（特に、空間解像度や時間解像度が異なる形式への変換）は実現できず、空間解像度や時間解像度（フレームレート）が同じでも同一形式でない場合、動きベクトルをそのまま再利用すると予測画像との差分画像が大きくなり、一定のビットレートに変換するためには画質劣化が大きくなるなどの欠点を有している。
【００１１】
本発明の目的は、異なる動画圧縮形式への高速且つ画質劣化の少ない変換を実現することである。
【００１２】
【課題を解決するための手段】
本発明は前記課題を解決するために、
第１に、圧縮された動画像の符号化デジタル信号を入力して量子化された映像情報と動きベクトルを含む情報を出力する可変長復号手段と、
前記可変長復号手段が出力した量子化された映像情報の量子化を戻す逆量子化手段と、
前記逆量子化手段の出力を逆直交変換する逆直交変換手段と、
前記可変長復号手段の出力する動きベクトルを含む情報に基づき画像を補償する動き補償手段と、
前記動き補償された画像と前記逆直交変換手段が出力する画像とを加算する加算器と、
前記加算器から出力された前記動き補償手段の使用する画像を蓄積する画像メモリとからなる動画復号化部と、
前記動画復号化部の出力する前記動きベクトルを含む情報を記憶する動き情報メモリ部と、
前記動き情報メモリ部に蓄積された動きベクトルを含む情報を基に、動き予測の探索開始位置を示す動きベクトルの候補を出力し、前記動き情報メモリ部に動きベクトルが蓄積されていない場合は、デフォルトの前記動きベクトルの候補を出力し、前記動きベクトルが動画符号化部において再符号化を行う際に動き予測が行われる探索範囲を超過している場合は、前記動きベクトルが前記探索範囲を横切る位置を出力する動き予測制御部と、
前記動き予測制御部の出力を記憶する動き情報候補メモリ手段と、
複数の探索候補の探索による重複を避けるため探索済み情報を記憶する探索情報メモリ手段と、 前記加算器の出力する画像を、前記動き情報候補メモリ部に蓄積された動きベクトルの候補と前記探索情報メモリ手段に蓄積された探索済み情報により前記動き予測制御部に従って動き予測を行なう適応型動き予測手段と、
符号化すべき動画の解像度に対応した第２の画像メモリと、
前記第２の画像メモリに蓄積された画像に適応型動き予測手段の出力した動きベクトルを含む情報を用いて動き補償を行なう動き補償手段と、
前記適応型動き予測手段が動き予測に利用した後出力する前記動画復号化部によって復号化された画像から前記動き補償手段により動き補償された画像を減算する減算器と、
前記減算器の出力する画像を直交変換する直交変換手段と、
前記直交変換手段によって直交変換された画像を量子化する量子化手段と、
前記量子化手段の逆変換を行なう第２の逆量子化手段と、
前記直交変換手段の逆変換を行なう第２の逆直交変換手段と、
前記第２の逆直交変換手段から出力される画像と前記動き補償手段から出力される動き補償された画像とを加算し、前記第２の画像メモリに出力する第２の加算器と、
前記量子化手段によって量子化された画像を符号化して出力する可変長符号化手段と、 からなる動画符号化部とを備え原動画符号に含まれる動き情報を有効に利用することにより、動き予測に要する演算量を少なくして高速化を実現するとともに画質の劣化を少なくし、動き情報の利用率を向上し、動き予測に要する演算量を少なくして高速化を実現するとともに画質の劣化を少なくする。
【００１４】
第２に、前記動き情報メモリ部が複数画像分のメモリを持ち、前記動き予測制御部が動きベクトルを含む情報を持つ画像構成単位毎の動きベクトルを含む情報を時間軸に沿って合成して動き情報候補メモリ手段に出力する動き情報合成手段を持つことにより連続する複数の動きベクトルを含む差分画像からフレーム間引きにより１画像を符号化する場合動きベクトルを参照利用可能とすることを特徴とする。
【００１５】
第３に、前記動き情報メモリ部に蓄積された当該画像構成単位の動きベクトルがない場合に当該画像構成単位に隣接する画像構成単位の有する動きベクトルから補間を行う動き情報空間補間手段を動き予測制御部が有することにより、動き情報の利用率を向上し、動き予測に要する演算量を少なくして高速化を実現するとともに画質の劣化を少なくする。
【００１６】
第４に、前記動き予測制御部が、一画面分の全ベクトルの平均値を求める平均値計算手段と、各ベクトルと平均ベクトルの差の二乗総和を計算する二乗総和計算手段と、前記二乗総和計算手段の出力を一定値と比較して二乗総和が一定値以下の場合に、前記一画面分の全ベクトルの平均値を前記動き情報候補メモリに出力する比較判断手段とを前記動き予測制御部が有することにより、動き予測に要する演算量を少なくして高速化を実現するとともに画質の劣化を少なくする。
【００１７】
第５に、前記動画復号化部の出力に対して空間解像度変換を行う空間解像度変換手段を有し、前記動き情報メモリ部の動きベクトルを含む情報を解像度に応じて変換する動き情報解像度変換手段を動き予測制御部が有することにより、動き予測に要する演算量を少なくして高速化を実現するとともに画質の劣化を少なくする。
【００１８】
第６に、前記動き予測制御部が、複数の動きベクトルの候補を算出し、動き情報候補メモリ手段が当該動きベクトルの候補の出力を複数順番に記憶するものであって、前記動画符号化部の適応型動き予測手段の実行を中断し、それまでに求めた最良の動きベクトルを予測結果とする動き予測中断手段を含むことにより、限定された処理時間又は演算量でより画質劣化の少ない動画変換を実現する。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について、図を用いて説明する。
【００２０】
（第１の実施の形態）
図４は、本発明の第１の実施の形態である動画変換装置の構成を示す図である。
【００２１】
本実施の形態はH.261動画を同じ解像度、例えばCIF(Common Intermediate Format:352×288)形式の画像解像度のMPEG4動画に変換する動画変換装置である。
【００２２】
H.261動画は、動画復号化部120の可変長復号化手段1により可変長符号化が解かれ、時系列にそった複数の画面を画像構成単位であるマクロブロック（大きさ16×16）に分割され、時間的に一つ前の画像との差分情報から構成されるマクロブロック(INTERマクロブロック)の場合は、全画面のどの位置の画像との差分であるかを示すための動きベクトルや、差分がマクロブロック全体なのかマクロブロックを構成する部分構成要素（輝度・色差の８×８の大きさの単位）なのかを示すCBP(Coded Block Pattern)等の動き情報が出力するとともに、マクロブロック単位の量子化された情報を逆量子化手段2へ出力する。一方他のマクロブロックと独立して画像を再現可能なマクロブロック(INTRAマクロブロック)の場合はそのままマクロブロック単位の量子化された情報を逆量子化手段２へ出力する。
【００２３】
逆量子化手段２は定められた量子化ステップの変換対応表に基づき、量子化を解いてDCT係数を出力する。出力された量子化係数は逆DCT手段3によって画像情報に変換される。INTRAマクロブロックの場合は、加算器43は動作せず画像参照メモリ41に蓄積されると共にMPEG4符号化部へ出力される。INTERマクロブロックの場合は画像メモリ41に蓄積された時間的に一つ前の画像に対して可変長復号手段１によって抽出された動きベクトルなどの動き情報によって動き補償（参照画面から動きベクトル分だけずらしたマクロブロック単位の画像取り出す）を行なって加算器43によって合成し出力される。一方可変長復号手段１によって抽出された動き情報は、マクロブロック単位で動き情報メモリ20に記憶され必要に応じてマクロブロック単位で読み出すことが出来る。動き予測制御部60は動き情報メモリの内容に応じて、動きベクトルがあれば動き情報候補メモリ53に動きベクトルによって示される参照位置を動き予測開始位置として動き情報候補メモリに格納する。動きベクトルがない場合は動き情報候補メモリにデフォルトの動き探索開始位置を示す情報を記憶する。
【００２４】
MPEG4符号化部130はINTRAマクロブロック出力の場合は、適応型動き予測手段51と減算手段11は動作せず画像情報はDCT手段5によって輝度・色差毎の６つのDCT係数に変換される。変換されたDCT係数は量子化手段6によって量子化が行われ可変長符号化手段7によりMPEG4形式に可変長符号化されて出力されるとともに、逆量子化手段8によって再度量子化が解かれたDCT係数が逆DCT手段9により輝度・色差からなる画像情報のブロックに変換され画像メモリ46に蓄積される。一方INTERマクロブロック出力の場合は、適応型動き予測手段51は動き予測制御部60の出力した動き情報候補メモリ53に従い、動き予測を行なう。動き情報候補メモリの内容がデフォルトの動き探索であれば、現在のマクロブロックを中心とした動き探索を行なう。ここで動き探索の方法としては慣例となっているThree StepSearch等の公知の高速な動き検出方法のいずれかを使用する。一方特定位置からの探索が動き情報候補メモリ53に指定されている場合は、指定された位置を中心とした探索を行なう。ここで指定された位置からの探索には先述したThree Step SearchのStep2以降を実行しても良いし指定位置の８近傍の最も差分情報を小さくする位置のみを検索しても良い、またその他の公知の検索方法を行なっても良い。予め原動画が動き情報を持っている場合、現在のマクロブロック位置を中心とした動き探索よりもより少ない演算量で動きベクトルを求めることが可能である。また、動き情報候補メモリ53は特定位置からの探索とデフォルト位置からの探索を組み合わせて記憶することを可能とし、適応型動き予測手段が重複した探索を避けるための探索情報メモリ手段52も持つ。探索情報メモリ手段52は適応型動き予測手段51の探索済みの位置を記憶しておき、動き予測制御部60から初期化等が行なえる。適応型動き予測手段51の結果に従い、H261復号化部120によって出力された画像情報と画像メモリ46に蓄積された画像に動き補償手段47により動き補償された画像が減算手段11により差分画像が生成され以下INTRAマクロブロックと同様にDCT手段5、量子化手段6で処理されて可変長符号化手段7で動き情報をとともに符号化されて出力される。
【００２５】
（第２の実施の形態）
図５は、本発明の第２の実施の形態である動画変換装置の構成を示す図である。
【００２６】
本装置はMPEG1動画を同解像度のH261動画に変換する動画変換装置である。
【００２７】
MPEG1動画とH261動画ではもともとの応用が異なっており、MPEG1は非リアルタイムに符号化して蓄積されたものを復号化して動画として再生する例えばVideoCDなどに使われることを想定した規格であり動きベクトルの探索範囲が広い、一方H261はテレビ電話等のリアルタイムに符号化・伝送・復号してコミュニケーション用途に使用することを想定した規格のため、演算量に影響が大きい探索の範囲がMPEG1より狭くなっている。つまりMPEG１で認められている動きベクトルがH261では規格外となり直接利用できないことがある。本装置では、動き情報範囲限定手段621を動き予測制御部にもたせることによって、動きベクトルが変換後の符号化規格の範囲外になった場合に探索領域を動きベクトルが横切る位置を新たな動き情報として動き情報候補メモリ53に出力する。全ての場合で差分情報を最小に出来る保証はないが範囲を大きく超えてない場合や画像に特徴がある場合はベクトルの方向を参照するだけでも有効であり、動き予測に要する演算量の増加を押さえるとともに、INTERマクロブロックをINTRAマクロブロックに変換するために起こる量子化ステップ値変更による画像劣化を防ぐ。
【００２８】
（第３の実施形態）
図６は、第３の実施の形態の構成を示す図である。
【００２９】
本装置はH261動画を同じ解像度のMPEG4動画にフレームを間引いて変換する動画変換装置である。H261動画復号化部120とMPEG4動画符号化部130は第一の実施の形態と同様の構成・動作を行なうので説明を省く。
【００３０】
フレームの間引きとは、例えば秒３０コマの映像を秒１５コマの映像に変換することを示す。
【００３１】
フレーム間引きを行なう場合、各フレームの動き情報は基本的には時間的に前の映像との差分情報を持つため（圧縮形式によっては時間的に後の映像との差分情報を持つ場合もあるがH261ではないので省略する）、フレームを間引いた場合、間引かれたINTRAマクロブロックを参照する、以降のフレームを再現できない場合がある。
【００３２】
ここで、本装置では動き情報メモリ20を複数フレーム分実装し、間引かれるフレームの分も動き情報も蓄積する。動き予測制御部60は内部に動き情報合成手段621を持ち図１１に示すような時間軸方向の合成を行なうことによってフレーム間引きされた前後のフレーム間の動き情報を生成する。
【００３３】
ここで図１１図１２を用いて動き情報構成手段の動作を説明する。
動き情報メモリはマクロブロック毎に動き情報を記録し、複数フレーム分の動き情報を持つ。あるマクロブロックMB(1,1)のＮ番目の画像の動きベクトルが(16,0)でありN+1番目の画像のMB(1,2)の動きベクトルが(16,0)であった場合のN番目の画像を間引いたことによるN-1番目の画像からN+1番目の画像へ動きベクトルは(32,0)となる。同様にN+2番目のMB(1,3)の動きベクトルが(16,16)であれば、N,N+1番目の画像を間引いたことによるN-1番目の画像からN+2番目の画像への動きベクトルは(32,16)として計算される。
【００３４】
ここで説明のため図１１ではベクトルの大きさをマクロブロック単位の大きさで示したが、実際には動きベクトルは画素単位（時には画素単位の半分）で示される。この場合は合成にあたっては画素単位のベクトルという概念が必要になる。図１２はマクロブロック単位の動きベクトルから画素単位の動きベクトルを導く方法を示している。図１２ではMB(0,0),MB(1,0),MB(0,1),MB(1,1)の四つの動きベクトルを用いてMB(0,0)内にある画素位置(4,5)の動きベクトルを計算する。まず求める画素位置を中心とするマクロブロックと同じ大きさの領域を決め、領域が各マクロブロックを占めているサブ領域の大きさにベクトルの書く成分を乗算しその総和を領域の大きさで割ることで各成分を求めることができる。
【００３５】
以上のような動き情報の合成によりフレーム間引きを行なっても動き情報を利用することが可能になり、動き予測に必要な演算量を低減することが出きる。
【００３６】
（第４の実施の形態）
図７は、本発明の第４の実施の形態である動画変換装置の構成を示す図である。
【００３７】
本装置はH.261動画を同じ解像度のMPEG4動画に変換する動画変換装置である。
【００３８】
H261動画ではある一定間隔以内でINTRAマクロブロックをそれぞれのマクロブロック位置に含めないといけないことに規格で定められている。これをMPEG4に変換する場合、必ずしもH261と同様にINTRAマクロブロックにする必要があるわけではない。圧縮率を下げる必要がある場合はINTRAマクロブロックをINTETマクロブロックに変換する必要もありうる。この場合もともとの映像が大きくシーン切換がなく、画面全体がINTRAマクロブロックになっていない場合は、当該マクロブロックの動きベクトルは動き情報メモリ部20に貯えられた隣接するマクロブロックの動き情報から補間することが可能である。本装置は、動き予測制御部60内に動き情報空間補完手段631を持つことによりMPEG4符号化部がINTRAマクロブロックからINTERマクロブロックを生成する際に動き情報候補メモリ53に補完された動き情報を出力することで、動き予測に要する演算量を低減することができる。補間の方式については、既知の補間方式を単独で用いることも、複数の補間方式を採用し動き情報候補メモリ53に出力することも可能である。
【００３９】
（第５の実施の形態）
図８は、本発明の第５の実施の形態である動画変換装置の構成を示す図である。
【００４０】
本装置はH.261動画を同じ解像度のMPEG4動画に変換する動画変換装置である。
【００４１】
実施の形態の４と類似した状況で、探索範囲を少し超えた動きがあった場合やINTRAマクロブロックが集中的にエンコードされて近傍に動きベクトルがない場合、画面全体の動きベクトルの平均値を動きベクトルの代用とすることが出来る。
【００４２】
この場合動き情報メモリ20に貯えられた動き情報の平均値を平均値計算手段641で算出し、この平均値と各動きベクトルとの差の二乗総和を二乗総和計算手段642で算出し、この値が一定値以下の場合は画面全体にわたって同様な動きがあると判断して欠落した複数のマクロブロックの動き情報の代わりに画面全体の平均ベクトルを動き情報候補メモリ53に比較判断手段643が書込む。
【００４３】
（第６の実施の形態）
図９は、本発明の第６の実施の形態である動画変換装置の構成を示す図である。
【００４４】
本装置はQCIF(Quarter CIF:176×144)形式の画像解像度のH.261動画をCIF解像度のMPEG4動画に変換する動画変換装置である。
【００４５】
解像度が異なる場合、空間解像度変換手段70を第１の実施形態に加えて備えている。空間解像度変換手段70は本実施例では縦横共に2倍の拡大変換であるが解像度の縦横共に1/2の縮小変換であっても任意の拡大縮小でも良い、また縮小拡大にあたって画像の補間等を同時に行なっても良い。
【００４６】
動き情報は解像度が異なる場合そのまま使えないため、動き予測制御部60内に動き情報解像度変換手段651を有し、復号化する解像度と符号化する解像度の比率に合わせて動きベクトルを変換する。単純に動きベクトルを拡大した場合動き探索範囲を超える場合があるので、本発明の適応型動き予測手段を用いて、探索範囲内の動きベクトルは再利用して、探索範囲に収まりきらない動きベクトルの場合は単純にINTRAマクロブロックとして符号化して量子化劣化を引き起こさないように通常の動き予測を行い、動き予測の高速化と画質劣化の低減を図る。
【００４７】
（第７の実施の形態）
図１０は、本発明の第７の実施の形態である動画変換装置の構成を示す図である。
【００４８】
本装置はH.261動画を同じ解像度のMPEG4動画に変換する動画変換装置である。
【００４９】
動きベクトルがある場合は、動き情報候補メモリ53への書込みが動き予測制御部60によって行われる。次に動き情報が無い場合は、まず第１に、動き情報空間補完手段631による出力が動き情報候補メモリへ書込まれる。続いて画面全体の動きベクトルの平均値が平均値計算手段641、二乗総和計算手段642、比較判断手段643を経て動き情報候補メモリ53に書込まれる。このように確度の高い動き情報から順番に動き情報候補メモリ53に蓄積し、適応型動き予測手段51の実行を行い確度の高い動きベクトル候補から探索を行い、一定の時間または一定の演算量で動き探索中断手段661によって途中で打切ることで、リアルタイム処理など限られた処理時間のうちでより精度の高い動きベクトルを求めることが可能になる。探索中断手段の実現方法としては、時間によるタイマー割り込み処理による実現や、探索情報メモリ52に蓄積された探索回数で打切る実現の方法等がある。
【００５０】
【発明の効果】
以上説明したように、本発明の動画変換装置は符号化部の動き予測においてオリジナル動画圧縮形式に含まれる動き情報を再利用・参照することにより画質劣化の低減を行なうためのより良い動きベクトル探索に必要な演算量の削減を図り、異なる動画圧縮形式への高速且つ画質劣化の少ない変換を実現するという効果を有している。
【図面の簡単な説明】
【図１】 MPEG標準とコンパチブルなデコーダの慣例の構成を示す図
【図２】 MPEG標準とコンパチブルなエンコーダの慣例の構成を示す図
【図３】従来動画変換装置の慣例の構成を示す図
【図４】本発明の第１の実施の形態における動画変換装置の構成を示す図
【図５】本発明の第2の実施の形態における動画変換装置の構成を示す図
【図６】本発明の第3の実施の形態における動画変換装置の構成を示す図
【図７】本発明の第4の実施の形態における動画変換装置の構成を示す図
【図８】本発明の第５の実施の形態における動画変換装置の構成を示す図
【図９】本発明の第６の実施の形態における動画変換装置の構成を示す図
【図１０】本発明の第７の実施の形態における動画変換装置の構成を示す図
【図１１】動き情報の時間軸合成を説明する図
【図１２】動き情報の時間軸合成に必要な画素単位の位置での動き情報を説明する図
【符号の説明】
12 符号化チャネル
1 可変長復号手段
2 逆量子化手段
3 逆直交変換手段（逆ディスクリートコサイン変換）
4 動き補償手段
13 符号化及び復号化チャネル
5 直交変換手段
6 量子化手段
7 可変長符号化手段
8 逆量子化手段
9 逆直交変換手段（逆ディスクリートコサイン変換）
【発明の属する技術分野】
本発明は、動画圧縮形式の変換を行なう動画変換装置に関し、特に動きベクトルの再利用や参照によって動きベクトル検出の演算量を減らして動画変換の高速化と画質劣化の低減を図るようにした動画変換装置に関する。
【０００２】
【従来の技術】
近年、電気通信技術のデジタル化が進み、現行のNTSC/PAC/SECAM等のアナログ放送方式もデジタル化する計画も進行中である。また、デジタル技術を応用した新たな放送サービスとして、多チャンネルサービスを提供する衛星放送や、ハイビジョン放送の地上波放送(ATV:Adavanced Television)やビデオ・オン・デマンドなどがあり、一方でデジタル技術を応用したコミュニケーションサービスとしてテレビ電話や電子会議システム等もある。
【０００３】
ところが、このような動画をデジタル信号で通信する際、共通の課題として情報量の多大性が挙げられる。リアルタイムでフレームレートを上げて再生するために、またネットワークのトラフィックを押さえるためにも動画圧縮技術が必要不可欠となる。
【０００４】
多大な情報量を有する動画像データを効率よく圧縮するために、時間軸方向、あるいは空間軸方向の相関を利用し、冗長度を削減する手法が用いられている。色々な圧縮方式があるが、代表的なものとしてMPEG(Moving Picture Experts Group)による方式がある。これは、ISO-IEC/JTC1/SC2/WG11にて議論され、標準案として提案されたものであり、動き補償符号化、DCT(Discrete CosINTERansform)符号化、可変長(VLC:Variable Length Coding)符号化を組み合わせたハイブリッド方式が採用されている。
【０００５】
また一方で通信メディア上の制限でビットレートの変換を行なうためのトランスコーディングという技術も取り上げられる用になってきたが、今後は、すでに蓄積された動画コンテンツの再利用という観点や、既に普及しているテレビ電話・電子会議システムと今後の携帯動画コミュニケーションの相互利用という観点からも異なる動画圧縮方式間でのトランスコーディングがより重要視されてくると思われる。
【０００６】
典型的なMPEGによる復号化装置の構成図を図１に、符号化装置の構成図を図２に、代表的なトランスコーディング技術を使用した画像伝送の一例として特開平８−５１６３１号公報記載の「トランスコーディング方法及び装置」の構成例を図３に示す。
【０００７】
図１の示すデコーダは符号化チャネル12を備え、この符号化チャネルは可変長符号化手段1、逆量子化手段2及び逆周波数変換手段（例えば逆ディスクリートコサイン変換手段3のような逆直行変換手段）を直列にそなえる。このデコーダは、更に、動き補償段４を直列に備え、この段はデコーダからの出力信号を受信する画像メモリ(MEM)41と、このメモリ41の出力信号とデコーダが符号化信号と同時に受信する動きベクトルV(伝送され及び/又は蓄積される)とに基づく動き補償手段42と逆ディスクリートコサイン変換手段3の出力信号と手段42の出力信号を加算する加算器43とを直列に備え、この加算器の出力端子がデコーダの出力端子がデコーダの出力端子とメモリ41の入力端子の両方を構成する。
【０００８】
図２に示すエンコーダは、符号化及び復号化チャネル13と予測チャネル10を備える。符号化及び復号化チャネルは、周波数変換手段（同様に、例えばディスクリートコサイン変換手段5のような直交変換手段）、量子化手段６及び可変長符号化手段7を直列に備え、手段6の出力側に、更に、逆量子化手段8及び逆周波数変換手段（例えば逆ディスクリートコサイン変換手段9のような逆直交変換手段）を備える。以下の記載において、手段7の出力端子は予測出力端子といい、予測チャネルの入力端子を構成する。予測チャネルは、ブロックを再構成する加算器101（本例では動画像の系列に対応する原ビデオ信号が各Ｍ×Ｎ画素の同一サイズのブロックに分割されている）と、画像メモリ102と、予め推定された動きベクトルに基づく動き補償手段103と、正入力端子にエンコーダの入力信号を受信し、負入力端子に手段103の出力信号を受信してこれらの信号の差のみを符号化する減算器101は手段103からのこの出力信号と符号化及び復号化チャネルからの予測出力信号とを受信する。
【０００９】
図３に示す動画変換装置は、可変長復号化チャネル部12の後段に可変長符号化チャネル部13を備え、これら２つのチャネルの間に画像メモリ及び動きベクトル補償手段を有する予測機能部140を接続したものである。
【００１０】
【発明が解決しょうとする課題】
上述した従来の動画変換装置は、動画圧縮度を変更して動画のビットレート（単位時間当たりの符号容量：ビット／秒で表現される）を変更する（一般に圧縮によって劣化した画質を上げることはできないので、主に下げる）ことを、動き予測の省略と動き補償手段の共有化によって簡単且つ安価に実現することが目的であり、異なる画像圧縮形式への変換（特に、空間解像度や時間解像度が異なる形式への変換）は実現できず、空間解像度や時間解像度（フレームレート）が同じでも同一形式でない場合、動きベクトルをそのまま再利用すると予測画像との差分画像が大きくなり、一定のビットレートに変換するためには画質劣化が大きくなるなどの欠点を有している。
【００１１】
本発明の目的は、異なる動画圧縮形式への高速且つ画質劣化の少ない変換を実現することである。
【００１２】
【課題を解決するための手段】
本発明は前記課題を解決するために、
第１に、圧縮された動画像の符号化デジタル信号を入力して量子化された映像情報と動きベクトルを含む情報を出力する可変長復号手段と、
前記可変長復号手段が出力した量子化された映像情報の量子化を戻す逆量子化手段と、
前記逆量子化手段の出力を逆直交変換する逆直交変換手段と、
前記可変長復号手段の出力する動きベクトルを含む情報に基づき画像を補償する動き補償手段と、
前記動き補償された画像と前記逆直交変換手段が出力する画像とを加算する加算器と、
前記加算器から出力された前記動き補償手段の使用する画像を蓄積する画像メモリとからなる動画復号化部と、
前記動画復号化部の出力する前記動きベクトルを含む情報を記憶する動き情報メモリ部と、
前記動き情報メモリ部に蓄積された動きベクトルを含む情報を基に、動き予測の探索開始位置を示す動きベクトルの候補を出力し、前記動き情報メモリ部に動きベクトルが蓄積されていない場合は、デフォルトの前記動きベクトルの候補を出力し、前記動きベクトルが動画符号化部において再符号化を行う際に動き予測が行われる探索範囲を超過している場合は、前記動きベクトルが前記探索範囲を横切る位置を出力する動き予測制御部と、
前記動き予測制御部の出力を記憶する動き情報候補メモリ手段と、
複数の探索候補の探索による重複を避けるため探索済み情報を記憶する探索情報メモリ手段と、 前記加算器の出力する画像を、前記動き情報候補メモリ部に蓄積された動きベクトルの候補と前記探索情報メモリ手段に蓄積された探索済み情報により前記動き予測制御部に従って動き予測を行なう適応型動き予測手段と、
符号化すべき動画の解像度に対応した第２の画像メモリと、
前記第２の画像メモリに蓄積された画像に適応型動き予測手段の出力した動きベクトルを含む情報を用いて動き補償を行なう動き補償手段と、
前記適応型動き予測手段が動き予測に利用した後出力する前記動画復号化部によって復号化された画像から前記動き補償手段により動き補償された画像を減算する減算器と、
前記減算器の出力する画像を直交変換する直交変換手段と、
前記直交変換手段によって直交変換された画像を量子化する量子化手段と、
前記量子化手段の逆変換を行なう第２の逆量子化手段と、
前記直交変換手段の逆変換を行なう第２の逆直交変換手段と、
前記第２の逆直交変換手段から出力される画像と前記動き補償手段から出力される動き補償された画像とを加算し、前記第２の画像メモリに出力する第２の加算器と、
前記量子化手段によって量子化された画像を符号化して出力する可変長符号化手段と、 からなる動画符号化部とを備え原動画符号に含まれる動き情報を有効に利用することにより、動き予測に要する演算量を少なくして高速化を実現するとともに画質の劣化を少なくし、動き情報の利用率を向上し、動き予測に要する演算量を少なくして高速化を実現するとともに画質の劣化を少なくする。
【００１４】
第２に、前記動き情報メモリ部が複数画像分のメモリを持ち、前記動き予測制御部が動きベクトルを含む情報を持つ画像構成単位毎の動きベクトルを含む情報を時間軸に沿って合成して動き情報候補メモリ手段に出力する動き情報合成手段を持つことにより連続する複数の動きベクトルを含む差分画像からフレーム間引きにより１画像を符号化する場合動きベクトルを参照利用可能とすることを特徴とする。
【００１５】
第３に、前記動き情報メモリ部に蓄積された当該画像構成単位の動きベクトルがない場合に当該画像構成単位に隣接する画像構成単位の有する動きベクトルから補間を行う動き情報空間補間手段を動き予測制御部が有することにより、動き情報の利用率を向上し、動き予測に要する演算量を少なくして高速化を実現するとともに画質の劣化を少なくする。
【００１６】
第４に、前記動き予測制御部が、一画面分の全ベクトルの平均値を求める平均値計算手段と、各ベクトルと平均ベクトルの差の二乗総和を計算する二乗総和計算手段と、前記二乗総和計算手段の出力を一定値と比較して二乗総和が一定値以下の場合に、前記一画面分の全ベクトルの平均値を前記動き情報候補メモリに出力する比較判断手段とを前記動き予測制御部が有することにより、動き予測に要する演算量を少なくして高速化を実現するとともに画質の劣化を少なくする。
【００１７】
第５に、前記動画復号化部の出力に対して空間解像度変換を行う空間解像度変換手段を有し、前記動き情報メモリ部の動きベクトルを含む情報を解像度に応じて変換する動き情報解像度変換手段を動き予測制御部が有することにより、動き予測に要する演算量を少なくして高速化を実現するとともに画質の劣化を少なくする。
【００１８】
第６に、前記動き予測制御部が、複数の動きベクトルの候補を算出し、動き情報候補メモリ手段が当該動きベクトルの候補の出力を複数順番に記憶するものであって、前記動画符号化部の適応型動き予測手段の実行を中断し、それまでに求めた最良の動きベクトルを予測結果とする動き予測中断手段を含むことにより、限定された処理時間又は演算量でより画質劣化の少ない動画変換を実現する。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について、図を用いて説明する。
【００２０】
（第１の実施の形態）
図４は、本発明の第１の実施の形態である動画変換装置の構成を示す図である。
【００２１】
本実施の形態はH.261動画を同じ解像度、例えばCIF(Common Intermediate Format:352×288)形式の画像解像度のMPEG4動画に変換する動画変換装置である。
【００２２】
H.261動画は、動画復号化部120の可変長復号化手段1により可変長符号化が解かれ、時系列にそった複数の画面を画像構成単位であるマクロブロック（大きさ16×16）に分割され、時間的に一つ前の画像との差分情報から構成されるマクロブロック(INTERマクロブロック)の場合は、全画面のどの位置の画像との差分であるかを示すための動きベクトルや、差分がマクロブロック全体なのかマクロブロックを構成する部分構成要素（輝度・色差の８×８の大きさの単位）なのかを示すCBP(Coded Block Pattern)等の動き情報が出力するとともに、マクロブロック単位の量子化された情報を逆量子化手段2へ出力する。一方他のマクロブロックと独立して画像を再現可能なマクロブロック(INTRAマクロブロック)の場合はそのままマクロブロック単位の量子化された情報を逆量子化手段２へ出力する。
【００２３】
逆量子化手段２は定められた量子化ステップの変換対応表に基づき、量子化を解いてDCT係数を出力する。出力された量子化係数は逆DCT手段3によって画像情報に変換される。INTRAマクロブロックの場合は、加算器43は動作せず画像参照メモリ41に蓄積されると共にMPEG4符号化部へ出力される。INTERマクロブロックの場合は画像メモリ41に蓄積された時間的に一つ前の画像に対して可変長復号手段１によって抽出された動きベクトルなどの動き情報によって動き補償（参照画面から動きベクトル分だけずらしたマクロブロック単位の画像取り出す）を行なって加算器43によって合成し出力される。一方可変長復号手段１によって抽出された動き情報は、マクロブロック単位で動き情報メモリ20に記憶され必要に応じてマクロブロック単位で読み出すことが出来る。動き予測制御部60は動き情報メモリの内容に応じて、動きベクトルがあれば動き情報候補メモリ53に動きベクトルによって示される参照位置を動き予測開始位置として動き情報候補メモリに格納する。動きベクトルがない場合は動き情報候補メモリにデフォルトの動き探索開始位置を示す情報を記憶する。
【００２４】
MPEG4符号化部130はINTRAマクロブロック出力の場合は、適応型動き予測手段51と減算手段11は動作せず画像情報はDCT手段5によって輝度・色差毎の６つのDCT係数に変換される。変換されたDCT係数は量子化手段6によって量子化が行われ可変長符号化手段7によりMPEG4形式に可変長符号化されて出力されるとともに、逆量子化手段8によって再度量子化が解かれたDCT係数が逆DCT手段9により輝度・色差からなる画像情報のブロックに変換され画像メモリ46に蓄積される。一方INTERマクロブロック出力の場合は、適応型動き予測手段51は動き予測制御部60の出力した動き情報候補メモリ53に従い、動き予測を行なう。動き情報候補メモリの内容がデフォルトの動き探索であれば、現在のマクロブロックを中心とした動き探索を行なう。ここで動き探索の方法としては慣例となっているThree StepSearch等の公知の高速な動き検出方法のいずれかを使用する。一方特定位置からの探索が動き情報候補メモリ53に指定されている場合は、指定された位置を中心とした探索を行なう。ここで指定された位置からの探索には先述したThree Step SearchのStep2以降を実行しても良いし指定位置の８近傍の最も差分情報を小さくする位置のみを検索しても良い、またその他の公知の検索方法を行なっても良い。予め原動画が動き情報を持っている場合、現在のマクロブロック位置を中心とした動き探索よりもより少ない演算量で動きベクトルを求めることが可能である。また、動き情報候補メモリ53は特定位置からの探索とデフォルト位置からの探索を組み合わせて記憶することを可能とし、適応型動き予測手段が重複した探索を避けるための探索情報メモリ手段52も持つ。探索情報メモリ手段52は適応型動き予測手段51の探索済みの位置を記憶しておき、動き予測制御部60から初期化等が行なえる。適応型動き予測手段51の結果に従い、H261復号化部120によって出力された画像情報と画像メモリ46に蓄積された画像に動き補償手段47により動き補償された画像が減算手段11により差分画像が生成され以下INTRAマクロブロックと同様にDCT手段5、量子化手段6で処理されて可変長符号化手段7で動き情報をとともに符号化されて出力される。
【００２５】
（第２の実施の形態）
図５は、本発明の第２の実施の形態である動画変換装置の構成を示す図である。
【００２６】
本装置はMPEG1動画を同解像度のH261動画に変換する動画変換装置である。
【００２７】
MPEG1動画とH261動画ではもともとの応用が異なっており、MPEG1は非リアルタイムに符号化して蓄積されたものを復号化して動画として再生する例えばVideoCDなどに使われることを想定した規格であり動きベクトルの探索範囲が広い、一方H261はテレビ電話等のリアルタイムに符号化・伝送・復号してコミュニケーション用途に使用することを想定した規格のため、演算量に影響が大きい探索の範囲がMPEG1より狭くなっている。つまりMPEG１で認められている動きベクトルがH261では規格外となり直接利用できないことがある。本装置では、動き情報範囲限定手段621を動き予測制御部にもたせることによって、動きベクトルが変換後の符号化規格の範囲外になった場合に探索領域を動きベクトルが横切る位置を新たな動き情報として動き情報候補メモリ53に出力する。全ての場合で差分情報を最小に出来る保証はないが範囲を大きく超えてない場合や画像に特徴がある場合はベクトルの方向を参照するだけでも有効であり、動き予測に要する演算量の増加を押さえるとともに、INTERマクロブロックをINTRAマクロブロックに変換するために起こる量子化ステップ値変更による画像劣化を防ぐ。
【００２８】
（第３の実施形態）
図６は、第３の実施の形態の構成を示す図である。
【００２９】
本装置はH261動画を同じ解像度のMPEG4動画にフレームを間引いて変換する動画変換装置である。H261動画復号化部120とMPEG4動画符号化部130は第一の実施の形態と同様の構成・動作を行なうので説明を省く。
【００３０】
フレームの間引きとは、例えば秒３０コマの映像を秒１５コマの映像に変換することを示す。
【００３１】
フレーム間引きを行なう場合、各フレームの動き情報は基本的には時間的に前の映像との差分情報を持つため（圧縮形式によっては時間的に後の映像との差分情報を持つ場合もあるがH261ではないので省略する）、フレームを間引いた場合、間引かれたINTRAマクロブロックを参照する、以降のフレームを再現できない場合がある。
【００３２】
ここで、本装置では動き情報メモリ20を複数フレーム分実装し、間引かれるフレームの分も動き情報も蓄積する。動き予測制御部60は内部に動き情報合成手段621を持ち図１１に示すような時間軸方向の合成を行なうことによってフレーム間引きされた前後のフレーム間の動き情報を生成する。
【００３３】
ここで図１１図１２を用いて動き情報構成手段の動作を説明する。
動き情報メモリはマクロブロック毎に動き情報を記録し、複数フレーム分の動き情報を持つ。あるマクロブロックMB(1,1)のＮ番目の画像の動きベクトルが(16,0)でありN+1番目の画像のMB(1,2)の動きベクトルが(16,0)であった場合のN番目の画像を間引いたことによるN-1番目の画像からN+1番目の画像へ動きベクトルは(32,0)となる。同様にN+2番目のMB(1,3)の動きベクトルが(16,16)であれば、N,N+1番目の画像を間引いたことによるN-1番目の画像からN+2番目の画像への動きベクトルは(32,16)として計算される。
【００３４】
ここで説明のため図１１ではベクトルの大きさをマクロブロック単位の大きさで示したが、実際には動きベクトルは画素単位（時には画素単位の半分）で示される。この場合は合成にあたっては画素単位のベクトルという概念が必要になる。図１２はマクロブロック単位の動きベクトルから画素単位の動きベクトルを導く方法を示している。図１２ではMB(0,0),MB(1,0),MB(0,1),MB(1,1)の四つの動きベクトルを用いてMB(0,0)内にある画素位置(4,5)の動きベクトルを計算する。まず求める画素位置を中心とするマクロブロックと同じ大きさの領域を決め、領域が各マクロブロックを占めているサブ領域の大きさにベクトルの書く成分を乗算しその総和を領域の大きさで割ることで各成分を求めることができる。
【００３５】
以上のような動き情報の合成によりフレーム間引きを行なっても動き情報を利用することが可能になり、動き予測に必要な演算量を低減することが出きる。
【００３６】
（第４の実施の形態）
図７は、本発明の第４の実施の形態である動画変換装置の構成を示す図である。
【００３７】
本装置はH.261動画を同じ解像度のMPEG4動画に変換する動画変換装置である。
【００３８】
H261動画ではある一定間隔以内でINTRAマクロブロックをそれぞれのマクロブロック位置に含めないといけないことに規格で定められている。これをMPEG4に変換する場合、必ずしもH261と同様にINTRAマクロブロックにする必要があるわけではない。圧縮率を下げる必要がある場合はINTRAマクロブロックをINTETマクロブロックに変換する必要もありうる。この場合もともとの映像が大きくシーン切換がなく、画面全体がINTRAマクロブロックになっていない場合は、当該マクロブロックの動きベクトルは動き情報メモリ部20に貯えられた隣接するマクロブロックの動き情報から補間することが可能である。本装置は、動き予測制御部60内に動き情報空間補完手段631を持つことによりMPEG4符号化部がINTRAマクロブロックからINTERマクロブロックを生成する際に動き情報候補メモリ53に補完された動き情報を出力することで、動き予測に要する演算量を低減することができる。補間の方式については、既知の補間方式を単独で用いることも、複数の補間方式を採用し動き情報候補メモリ53に出力することも可能である。
【００３９】
（第５の実施の形態）
図８は、本発明の第５の実施の形態である動画変換装置の構成を示す図である。
【００４０】
本装置はH.261動画を同じ解像度のMPEG4動画に変換する動画変換装置である。
【００４１】
実施の形態の４と類似した状況で、探索範囲を少し超えた動きがあった場合やINTRAマクロブロックが集中的にエンコードされて近傍に動きベクトルがない場合、画面全体の動きベクトルの平均値を動きベクトルの代用とすることが出来る。
【００４２】
この場合動き情報メモリ20に貯えられた動き情報の平均値を平均値計算手段641で算出し、この平均値と各動きベクトルとの差の二乗総和を二乗総和計算手段642で算出し、この値が一定値以下の場合は画面全体にわたって同様な動きがあると判断して欠落した複数のマクロブロックの動き情報の代わりに画面全体の平均ベクトルを動き情報候補メモリ53に比較判断手段643が書込む。
【００４３】
（第６の実施の形態）
図９は、本発明の第６の実施の形態である動画変換装置の構成を示す図である。
【００４４】
本装置はQCIF(Quarter CIF:176×144)形式の画像解像度のH.261動画をCIF解像度のMPEG4動画に変換する動画変換装置である。
【００４５】
解像度が異なる場合、空間解像度変換手段70を第１の実施形態に加えて備えている。空間解像度変換手段70は本実施例では縦横共に2倍の拡大変換であるが解像度の縦横共に1/2の縮小変換であっても任意の拡大縮小でも良い、また縮小拡大にあたって画像の補間等を同時に行なっても良い。
【００４６】
動き情報は解像度が異なる場合そのまま使えないため、動き予測制御部60内に動き情報解像度変換手段651を有し、復号化する解像度と符号化する解像度の比率に合わせて動きベクトルを変換する。単純に動きベクトルを拡大した場合動き探索範囲を超える場合があるので、本発明の適応型動き予測手段を用いて、探索範囲内の動きベクトルは再利用して、探索範囲に収まりきらない動きベクトルの場合は単純にINTRAマクロブロックとして符号化して量子化劣化を引き起こさないように通常の動き予測を行い、動き予測の高速化と画質劣化の低減を図る。
【００４７】
（第７の実施の形態）
図１０は、本発明の第７の実施の形態である動画変換装置の構成を示す図である。
【００４８】
本装置はH.261動画を同じ解像度のMPEG4動画に変換する動画変換装置である。
【００４９】
動きベクトルがある場合は、動き情報候補メモリ53への書込みが動き予測制御部60によって行われる。次に動き情報が無い場合は、まず第１に、動き情報空間補完手段631による出力が動き情報候補メモリへ書込まれる。続いて画面全体の動きベクトルの平均値が平均値計算手段641、二乗総和計算手段642、比較判断手段643を経て動き情報候補メモリ53に書込まれる。このように確度の高い動き情報から順番に動き情報候補メモリ53に蓄積し、適応型動き予測手段51の実行を行い確度の高い動きベクトル候補から探索を行い、一定の時間または一定の演算量で動き探索中断手段661によって途中で打切ることで、リアルタイム処理など限られた処理時間のうちでより精度の高い動きベクトルを求めることが可能になる。探索中断手段の実現方法としては、時間によるタイマー割り込み処理による実現や、探索情報メモリ52に蓄積された探索回数で打切る実現の方法等がある。
【００５０】
【発明の効果】
以上説明したように、本発明の動画変換装置は符号化部の動き予測においてオリジナル動画圧縮形式に含まれる動き情報を再利用・参照することにより画質劣化の低減を行なうためのより良い動きベクトル探索に必要な演算量の削減を図り、異なる動画圧縮形式への高速且つ画質劣化の少ない変換を実現するという効果を有している。
【図面の簡単な説明】
【図１】 MPEG標準とコンパチブルなデコーダの慣例の構成を示す図
【図２】 MPEG標準とコンパチブルなエンコーダの慣例の構成を示す図
【図３】従来動画変換装置の慣例の構成を示す図
【図４】本発明の第１の実施の形態における動画変換装置の構成を示す図
【図５】本発明の第2の実施の形態における動画変換装置の構成を示す図
【図６】本発明の第3の実施の形態における動画変換装置の構成を示す図
【図７】本発明の第4の実施の形態における動画変換装置の構成を示す図
【図８】本発明の第５の実施の形態における動画変換装置の構成を示す図
【図９】本発明の第６の実施の形態における動画変換装置の構成を示す図
【図１０】本発明の第７の実施の形態における動画変換装置の構成を示す図
【図１１】動き情報の時間軸合成を説明する図
【図１２】動き情報の時間軸合成に必要な画素単位の位置での動き情報を説明する図
【符号の説明】
12 符号化チャネル
1 可変長復号手段
2 逆量子化手段
3 逆直交変換手段（逆ディスクリートコサイン変換）
4 動き補償手段
13 符号化及び復号化チャネル
5 直交変換手段
6 量子化手段
7 可変長符号化手段
8 逆量子化手段
9 逆直交変換手段（逆ディスクリートコサイン変換）
Claims (6)
- 圧縮された動画像の符号化デジタル信号を入力して量子化された映像情報と動きベクトルを含む情報を出力する可変長復号手段と、
前記可変長復号手段が出力した量子化された映像情報の量子化を戻す逆量子化手段と、
前記逆量子化手段の出力を逆直交変換する逆直交変換手段と、
前記可変長復号手段の出力する動きベクトルを含む情報に基づき画像を補償する動き補償手段と、
前記動き補償された画像と前記逆直交変換手段が出力する画像とを加算する加算器と、
前記加算器から出力された前記動き補償手段の使用する画像を蓄積する画像メモリとからなる動画復号化部と、
前記動画復号化部の出力する前記動きベクトルを含む情報を記憶する動き情報メモリ部と、
前記動き情報メモリ部に蓄積された動きベクトルを含む情報を基に、動き予測の探索開始位置を示す動きベクトルの候補を出力し、
前記動き情報メモリ部に動きベクトルが蓄積されていない場合は、デフォルトの前記動きベクトルの候補を出力し、
前記動きベクトルが動画符号化部において再符号化を行う際に動き予測が行われる探索範囲を超過している場合は、前記動きベクトルが前記探索範囲を横切る位置を出力する
動き予測制御部と、
前記動き予測制御部の出力を記憶する動き情報候補メモリ手段と、
複数の探索候補の探索による重複を避けるため探索済み情報を記憶する探索情報メモリ手段と、 前記加算器の出力する画像を、前記動き情報候補メモリ部に蓄積された動きベクトルの候補と前記探索情報メモリ手段に蓄積された探索済み情報により前記動き予測制御部に従って動き予測を行なう適応型動き予測手段と、
符号化すべき動画の解像度に対応した第２の画像メモリと、
前記第２の画像メモリに蓄積された画像に適応型動き予測手段の出力した動きベクトルを含む情報を用いて動き補償を行なう動き補償手段と、
前記適応型動き予測手段が動き予測に利用した後出力する前記動画復号化部によって復号化された画像から前記動き補償手段により動き補償された画像を減算する減算器と、
前記減算器の出力する画像を直交変換する直交変換手段と、
前記直交変換手段によって直交変換された画像を量子化する量子化手段と、
前記量子化手段の逆変換を行なう第２の逆量子化手段と、
前記直交変換手段の逆変換を行なう第２の逆直交変換手段と、
前記第２の逆直交変換手段から出力される画像と前記動き補償手段から出力される動き補償された画像とを加算し、前記第２の画像メモリに出力する第２の加算器と、
前記量子化手段によって量子化された画像を符号化して出力する可変長符号化手段と、
からなる動画符号化部とを備える動画変換装置。 - 前記動き情報メモリ部が複数画像分のメモリを持ち、前記動き予測制御部が動きベクトルを含む情報を持つ画像構成単位毎の動きベクトルを含む情報を時間軸に沿って合成して動き情報候補メモリ手段に出力する動き情報合成手段を持つことにより連続する複数の動きベクトルを含む差分画像からフレーム間引きにより１画像を符号化する場合動きベクトルを参照利用可能とする請求項１記載の動画変換装置。
- 前記動き情報メモリ部に蓄積された当該画像構成単位の動きベクトルがない場合に当該画像構成単位に隣接する画像構成単位の有する動きベクトルから補間を行う動き情報空間補間手段を動き予測制御部が有する請求項１又は２記載の動画変換装置。
- 前記動き予測制御部が、一画面分の全ベクトルの平均値を求める平均値計算手段と、
各ベクトルと平均ベクトルの差の二乗総和を計算する二乗総和計算手段と、
前記二乗総和計算手段の出力を一定値と比較して二乗総和が一定値以下の場合に、前記一画面の全ベクトルの平均値を前記動き情報候補メモリに出力する比較判断手段と
を備える請求項１ないし３のいずれか記載の動画変換装置。 - 前記動画復号化部の出力に対して空間解像度変換を行う空間解像度変換手段を有し、前記動き情報メモリ部の動きベクトルを含む情報を解像度に応じて変換する動き情報解像度変換手段を動き予測制御部が有する請求項１ないし４のいずれか記載の動画変換装置。
- 前記動き予測制御部が、複数の動きベクトルの候補を算出し、動き情報候補メモリ手段が当該動きベクトルの候補の出力を複数順番に記憶するものであって、前記動画符号化部の適応型動き予測手段の実行を中断し、それまでに求めた最良の動きベクトルを予測結果とする動き予測中断手段を含む請求項１ないし５のいずれか記載の動画変換装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04438199A JP3855522B2 (ja) | 1999-02-23 | 1999-02-23 | 動画変換装置 |
| US09/505,506 US6452971B1 (en) | 1999-02-23 | 2000-02-17 | Moving picture transforming system |
| EP20000103258 EP1032211A3 (en) | 1999-02-23 | 2000-02-17 | Moving picture transcoding system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04438199A JP3855522B2 (ja) | 1999-02-23 | 1999-02-23 | 動画変換装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000244927A JP2000244927A (ja) | 2000-09-08 |
| JP3855522B2 true JP3855522B2 (ja) | 2006-12-13 |
Family
ID=12689939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04438199A Expired - Lifetime JP3855522B2 (ja) | 1999-02-23 | 1999-02-23 | 動画変換装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6452971B1 (ja) |
| EP (1) | EP1032211A3 (ja) |
| JP (1) | JP3855522B2 (ja) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002175098A (ja) * | 2000-09-21 | 2002-06-21 | Matsushita Electric Ind Co Ltd | 符号化装置、符号化方法、プログラムおよびプログラム記録媒体 |
| JP4622077B2 (ja) * | 2000-10-11 | 2011-02-02 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| JP4682410B2 (ja) * | 2000-10-12 | 2011-05-11 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| US20020122491A1 (en) | 2001-01-03 | 2002-09-05 | Marta Karczewicz | Video decoder architecture and method for using same |
| US6765963B2 (en) * | 2001-01-03 | 2004-07-20 | Nokia Corporation | Video decoder architecture and method for using same |
| JP4779207B2 (ja) * | 2001-01-17 | 2011-09-28 | ソニー株式会社 | 動きベクトル変換装置及び動きベクトル変換方法 |
| JP4529295B2 (ja) * | 2001-02-22 | 2010-08-25 | ソニー株式会社 | 動きベクトル変換方法及び変換装置 |
| US7693220B2 (en) * | 2002-01-03 | 2010-04-06 | Nokia Corporation | Transmission of video information |
| JP4193406B2 (ja) * | 2002-04-16 | 2008-12-10 | 三菱電機株式会社 | 映像データ変換装置および映像データ変換方法 |
| JP4724351B2 (ja) * | 2002-07-15 | 2011-07-13 | 三菱電機株式会社 | 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置 |
| JP4078906B2 (ja) * | 2002-07-19 | 2008-04-23 | ソニー株式会社 | 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 |
| WO2004093461A1 (en) * | 2003-04-17 | 2004-10-28 | Koninklijke Philips Electronics N.V. | Video transcoding |
| US20100214422A1 (en) * | 2005-11-29 | 2010-08-26 | Pioneer Corporation | Recording Apparatus, Reproducing Apparatus, Recording Method, Recording Program, and Computer-Readable Recording Medium |
| US8159605B2 (en) * | 2007-07-13 | 2012-04-17 | Fujitsu Limited | Frame interpolating apparatus and method |
| EP2034742A3 (en) * | 2007-07-25 | 2009-10-14 | Hitachi Ltd. | Video coding method and device |
| KR101337206B1 (ko) * | 2007-10-12 | 2013-12-06 | 삼성전자주식회사 | 블록 샘플링을 이용한 영상의 움직임 추정 시스템 및 방법. |
| US8687693B2 (en) | 2007-11-30 | 2014-04-01 | Dolby Laboratories Licensing Corporation | Temporal image prediction |
| JP4902510B2 (ja) * | 2007-12-07 | 2012-03-21 | キヤノン株式会社 | 符号化装置及び符号化方法 |
| JP5245783B2 (ja) * | 2008-12-09 | 2013-07-24 | 富士通株式会社 | フレーム補間装置、方法、及びプログラム、フレームレート変換装置、映像再生装置、映像表示装置 |
| TWI444049B (zh) * | 2011-01-18 | 2014-07-01 | Univ Nat Chiao Tung | 畫面估測系統及其估測方法 |
| CN111372085B (zh) * | 2018-12-25 | 2021-07-09 | 厦门星宸科技有限公司 | 影像解码装置与方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5602589A (en) * | 1994-08-19 | 1997-02-11 | Xerox Corporation | Video image compression using weighted wavelet hierarchical vector quantization |
| JP3058028B2 (ja) * | 1994-10-31 | 2000-07-04 | 三菱電機株式会社 | 画像符号化データ再符号化装置 |
| WO1997046020A2 (en) * | 1996-05-24 | 1997-12-04 | Philips Electronics N.V. | Motion vector processing |
| SE515535C2 (sv) * | 1996-10-25 | 2001-08-27 | Ericsson Telefon Ab L M | En transkoder |
| US5940391A (en) * | 1997-11-25 | 1999-08-17 | International Business Machines Corporation | Method and apparatus for reconfigurable and adaptive stream multicast |
| KR100592651B1 (ko) * | 1997-11-27 | 2006-06-23 | 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니 | 트랜스코딩 방법 및 장치 |
| US6058143A (en) * | 1998-02-20 | 2000-05-02 | Thomson Licensing S.A. | Motion vector extrapolation for transcoding video sequences |
-
1999
- 1999-02-23 JP JP04438199A patent/JP3855522B2/ja not_active Expired - Lifetime
-
2000
- 2000-02-17 US US09/505,506 patent/US6452971B1/en not_active Expired - Fee Related
- 2000-02-17 EP EP20000103258 patent/EP1032211A3/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| US6452971B1 (en) | 2002-09-17 |
| EP1032211A3 (en) | 2004-03-31 |
| EP1032211A2 (en) | 2000-08-30 |
| JP2000244927A (ja) | 2000-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3855522B2 (ja) | 動画変換装置 | |
| KR100323489B1 (ko) | 비디오데이타를가지는비트스트림의트랜스코딩방법및장치 | |
| KR100393123B1 (ko) | 동화상의부호화방법및복호화방법 | |
| KR100289852B1 (ko) | 화상 부호화 방법, 화상 부호화 장치 및 화상 기록 매체 | |
| US5434622A (en) | Image signal encoding apparatus using adaptive frame/field format compression | |
| US20030095603A1 (en) | Reduced-complexity video decoding using larger pixel-grid motion compensation | |
| JP2002125236A (ja) | 動きベクトル変換方法及び変換装置 | |
| JPH10145791A (ja) | ディジタル・ビデオ・デコーダおよびディジタル・ビデオ信号をデコードする方法 | |
| JPH0998429A (ja) | ディジタル映像信号符号化装置および復号化装置 | |
| JP2006518568A (ja) | ビデオ符号化 | |
| KR20010082933A (ko) | 움직임 벡터 메모리의 갱신방법 및 장치 | |
| JP2004520771A (ja) | ドリフト補正を備えたビデオトランスコーダ | |
| JP2933561B2 (ja) | 動画符号変換装置 | |
| KR100364748B1 (ko) | 영상 변환 부호화 장치 | |
| JPH1013859A (ja) | 画像用高能率符号化器及び画像用高能率復号化器及び画像用高能率符号化復号化システム | |
| JP3797208B2 (ja) | カラー動画像符号化装置、復号化装置、符号化方法、復号化方法及びカラー動画像符号列伝送方法 | |
| JP5742049B2 (ja) | カラー動画像符号化方法及びカラー動画像符号化装置 | |
| JP4422629B2 (ja) | 動画像符号化装置、復号化装置、動画像記録装置および動画像再生装置 | |
| JP2883592B2 (ja) | 動画像復号化装置及び動画像復号化方法 | |
| JPH06153185A (ja) | 動き補償装置及びこれを用いた符号化装置 | |
| JPH07107464A (ja) | 画像符号化装置および復号化装置 | |
| JPH0698311A (ja) | 画像信号の高能率符号化及び復号化装置 | |
| JP4301495B2 (ja) | 動画像圧縮符号化装置 | |
| JP2883585B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP2924866B2 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法、並びに動画像復号方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040817 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041116 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041217 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050524 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050622 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050629 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060322 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060516 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060904 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090922 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110922 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120922 Year of fee payment: 6 |