JP4035808B2 - 動画像走査構造変換装置、動画像走査構造変換方法 - Google Patents
動画像走査構造変換装置、動画像走査構造変換方法 Download PDFInfo
- Publication number
- JP4035808B2 JP4035808B2 JP2000255171A JP2000255171A JP4035808B2 JP 4035808 B2 JP4035808 B2 JP 4035808B2 JP 2000255171 A JP2000255171 A JP 2000255171A JP 2000255171 A JP2000255171 A JP 2000255171A JP 4035808 B2 JP4035808 B2 JP 4035808B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- scanning
- field
- interlaced
- incoming
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像を再生画質を低下させることなく効率的に伝送、蓄積、表示するため、動画像信号を他形態の動画像信号に変換する変換処理に関するものであり、特に動画像信号の走査構造の変換に関するものである。
【０００２】
【従来の技術】
＜画像走査構造変換＞
動画像信号は、飛越し走査(インターレース走査)と順次走査(プログレッシブ走査)の２種類の走査構造を持つ。飛越し走査は走査線が半分に間引かれているが、画像が静止している場合には、順次走査の７０％程度の解像度を待つ。順次走査は、ラインフリッカやラインクローリングがほとんどない。
テレビ放送では飛越し走査が一般的であるが、ディジタル放送では順次走査も使われる。また、フィルムやアニメーションなどは、元々秒２４駒程度の順次走査画像が形式的に飛越し走査信号になっており、画像内容は順次走査のままとなっている。この場合、形式的には秒６０フィールドであるが、連続する２フィールドないし３フィールドは、同じ画像である。
一方、これらの画像を符号化した場合、ＭＰＥＧ等の画像間予測符号化では、画像レート及びフレーム走査線数が同じ場合、飛越し走査でも順次走査でも必要ビットレートは同等である。走査線数は順次走査が飛越し走査の２倍なので、走査線あたりの符号化効率は順次走査の方が２倍良いことになる。
順次走査で画像レートを半分にした場合、フレーム間相関が低下するので必要ビットレートは半分にはならないが、元の６０％〜８０％に削減される。これは、同一走査線数の飛越し走査画像を符号化した場合より大幅に少ない。ただし、画像レートは半分なので、動きのスムーズさは若干失われることとなる。
【０００３】
＜従来例動画像走査構造変換装置＞
図４は動画像走査構造変換装置の従来例の構成を示したものである。この装置は６０フィールド／秒(ｆｐｓ)の飛越し走査画像信号を、６０ｆｐｓの順次走査画像信号に変換するものである。
画像入力端子１より入来する６０ｆｐｓの飛越し走査画像信号は、フィールド遅延器２に与えられると共に、加算器４、減算器８にも与えられる。フィールド遅延器は入来信号を１フィールド(２６２ライン)遅延させ、出力である１フィールド遅延信号はフィールド遅延器３のほか加算器９とライン値延器１３にも与えられる。フィールド遅延器３は、信号を１フィールド(２６３ライン)遅延させ、出力を加算器４と減算器８に与える。
フィールド遅延器２と３で１フレーム(５２５ライン)遅延した信号と入来信号は、加算器４で加算され、減算器８で減算される。加算器４の出力はフィールド間補間信号となり、減算器８の出力はフィールド間差分信号となる。フィールド間補間信号は乗算器５に与えられ、フィールド間差分信号は動き検出器１２に与えられる。
２６２ライン遅延信号は、ライン遅延器１３で１ライン遅延させられ２６３ライン遅延信号となり、加算器９で２６２ライン遅延信号と加算され、フィールド内補間信号となる。フィールド内補間信号は乗算器１０に与えられえる。一方、２６３ライン遅延信号はラインメモリ４９にも与えられる。
動き検出器１２はフィールド間差分信号を元に動き領域の判定を行い、動き係数ｋ(０〜１)を画素毎に出力する。ｋは乗算器５と１０に与えられる。
乗算器５はフィールド間補間信号に(１−ｋ)を乗じ、乗算器１０はフィールド内補間信号にｋを乗じる。(１−ｋ)倍のフィールド間補間信号と、ｋ倍のフィールド内補間信号は加算器６で加算され、補間信号としてラインメモリ４７に与えられる。この補間信号は２６２．５ライン遅延に相当する。
ラインメモリ４７と４９は補間信号と２６３ライン遅延信号をそれぞれ１ライン分蓄え、２倍の速度で出力する。スイッチ４８は入来飛越し走査信号の１ラインの間に、ラインメモリ４７と４９の出力を選択し、前半のタイミングでラインメモリ４７の出力である補間信号を、後半のタイミングでメモリ４９の出力である２６３ライン遅延信号を得る。得られた２倍速度の信号は、６０ｆｐｓの順次走査画像信号として画像出力１６から出力される。
【０００４】
＜従来例動画像符号化装置＞
図５に動画像符号化装置の構成を示す。画像入力端子３１より入来する動画像信号は、減算器３２と動きベクトル(ＭＶ)検出器５２に与えられる。動画像信号は、減算器３２において動き補償予測器５３から与えられる予測信号が減算され、予測残差となってＤＣＴ５１に与えられる。
ＤＣＴ５１は予測残差に対してＤＣＴ(Discrete Cosine Transform)の変換処理を行い、得られた係数を量子化器３４に与える。量子化器３４は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器３５と逆量子化器３９に与える。可変長符号化器３５は、固定長の予測残差を可変長符号で圧縮し、できた符号は出力端子４０から出力される。
一方、逆量子化器３９及び逆ＤＣＴ５４ではＤＣＴ５１及び量子化器３４の逆処理が行われ、予測残差を再生する。得られた再生予測残差は加算器４５で予測信号が加算され再生画像となり、画像メモリ４４に与えられる。画像メモリ４４は再生画像を保持し、画像間予測器５３に与える。
画像間予測器５３は、ＭＶ検出器５２から与えられるＭＶに従って動き補償を行い、得られた予測信号を減算器３２と加算器４４に与える。ＭＶ検出器５２は、被符号化フレームに対する参照フレームの空間移動量を１６×１６画素ブロック毎に求めて、ＭＶとして画像間予測器５３に与える。
画像間予測器５３、ＤＣＴ５１、逆ＤＣＴ５４は入来動画像の構造によってあらかじめ決められた処理方法が取られる。順次走査の動画像を符号化する装置の場合は、純フレーム処理が行われる。飛越し走査の動画像を符号化する装置の場合は、ブロック単位でフィールド／フレーム適応予測及びフィールド／フレーム適応ＤＣＴの処理が行われる。適応処理では適応制御情報が各ブロックの付随情報として発生する。
【０００５】
【発明が解決しようとする課題】
従来の動画像走査構造変換装置は、飛越し走査画像を同一画像レートの順次走査画像に変換するものであり、符号化装置は飛越し走査画像または順次走査画像のそれぞれを符号化するものであった。一方、画像レートを半分にした順次走査画像は同一走査線数の飛越し走査画像より符号化ビットレートを低減できるが、速い動きで動きのスムーズさが欠けると言った問題点があった。本発明は以上の点に着目してなされたもので、入来する動画像の動きの程度に応じて走査線構造を設定し、その設定した走査線構造に基づき入来動画像の走査線構造を変換し、飛越し走査画像とその飛越し走査画像の半分の画像レートの順次走査画像とを切り替えて出力する動画像走査構造変換装置及び方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
そこで、上記課題を解決するために本発明は、以下の装置及び方法を提供するものである。［１］（図１に対応）
所定フレームレートの入来飛越し走査画像の動きの程度に応じて、フレーム毎に走査線構造を設定する走査線構造設定手段と、（８、１２、１４）
前記入来飛越し走査画像の各フレームを構成する奇数フィールドまたは偶数フィールドのうちのいずれか一方のフィールドの走査線を補間した補間フィールドを生成し、この補間フィールドで、前記奇数フィールドまたは偶数フィールドのうちの他方のフィールドを置き換え、この補間フィールドと前記一方のフィールドとで変換飛越し走査画像を得る変換手段と、（４、５、６、７、９、１０、１３）
前記入来飛越し走査画像と前記変換飛越し走査画像とを、設定された前記走査線構造に応じてフレーム毎に切り替えて出力する切替手段と、（１１） を備えたことを特徴とする動画像走査構造変換装置。
［２］（図２に対応）
所定フレームレートの入来順次走査画像の動きの程度に応じて、フレーム毎に走査線構造を設定する走査線構造設定手段と、（２６，２７）
前記入来順次走査画像を構成するフレームの走査線を間引いて、フィールドレートが前記所定フレームレートと等しい第１の飛越し走査画像を得る走査線間引き手段と、（２４）
前記入来順次走査画像を構成するフレームを間引いて、フレームレートが前記所定フレームレートの半分となる順次走査画像を生成し、更にこの生成した前記所定フレームレートの半分のフレームレートの順次走査画像を構成する各フレームを、偶数フィールドと奇数フィールドとに分割し、フィールドレートが前記所定フレームレートと等しい第２の飛越し走査画像を得るフレーム間引き手段と、（２３）
前記第１の飛越し走査画像と、前記第２の飛越し走査画像とを、設定された前記走査線構造に応じてフレーム毎に切り替えて出力する切替手段と、（１１） を備えたことを特徴とする動画像走査構造変換装置。
［３］所定フレームレートの入来飛越し走査画像の動きの程度に応じて、フレーム毎に走査線構造を設定し、前記入来飛越し走査画像の各フレームを構成する奇数フィールドまたは偶数フィールドのうちのいずれか一方のフィールドの走査線を補間した補間フィールドを生成し、この補間フィールドで、前記奇数フィールドまたは偶数フィールドのうちの他方のフィールドを置き換え、この補間フィールドと前記一方のフィールドとで変換飛越し走査画像を得、前記入来飛越し走査画像と前記変換飛越し走査画像とを、設定された前記走査線構造に応じてフレーム毎に切り替えて出力する、ことを特徴とする動画像走査構造変換方法。
［４］所定フレームレートの入来順次走査画像の動きの程度に応じて、フレーム毎に走査線構造を設定し、前記入来順次走査画像を構成するフレームの走査線を間引いて、フィールドレートが前記所定フレームレートと等しい第１の飛越し走査画像を得、前記入来順次走査画像を構成するフレームを間引いて、フレームレートが前記所定フレームレートの半分となる順次走査画像を生成し、更にこの生成した前記所定フレームレートの半分のフレームレートの順次走査画像を構成する各フレームを、偶数フィールドと奇数フィールドとに分割し、フィールドレートが前記所定フレームレートと等しい第２の飛越し走査画像を得、前記第１の飛越し走査画像と、前記第２の飛越し走査画像とを、設定された前記走査線構造に応じてフレーム毎に切り替えて出力する、 ことを特徴とする動画像走査構造変換方法。
【０００７】
【発明の実施の形態】
本発明においては、入来する動画像の動きの程度に応じて走査線構造を設定し、その設定した走査線構造に基づき入来動画像の走査線構造を変換し、飛越し走査画像とその飛越し走査画像の半分の画像レートの順次走査画像とを切り替えて出力する。飛越し走査画像とその飛越し走査画像の半分の画像レートの順次走査画像は走査線数が同じであり、形式的に同様に扱うことが出来る。動きの速い部分は飛越し走査となり、画像レートは保持される。動きの速くない部分は半分の画像レートの順次走査画像となり、飛越し走査画像符号化に対しビットレートが大幅に低減される。順次走査画像の部分は画像レートが低下するが、動きの速くない部分なので視覚的に問題となり難い。
【０００８】
＜第１の実施例動画像走査構造変換装置＞
本発明の第１の実施例動画像走査構造変換装置について説明する。図１は、その構成を示したもので、図４の従来例と同一構成要素には同一付番を記してある。図１には、図４と比較してラインメモリ４７、４９がなく、スイッチ７の動作が異なる。さらに走査構造制御器１４とスイッチ１１が存在する。
実施例において、従来例と異なるのは最終的な信号の形成方法であり、走査線の補間方法は基本的に同じである。
この装置において、出力信号の形態は、入力信号と同じ６０フィールド／秒(ｆｐｓ)の飛越し(インターレース)走査信号のままであるが、画像の動きの程度により画像の内容を３０ｆｐｓの順次(プログレシブ)走査信号に変換するものである。
画像入力端子１より入来する６０ｆｐｓの飛越し走査画像信号は、フィールド遅延器２に与えられると共に、加算器４、減算器８にも与えられる。フィールド遅延器２は入来信号を１フィールド(２６２ライン)遅延させ、出力である２６２ライン遅延信号はフィールド遅延器３のほか加算器９とライン値延器１３にも与えられる。フィールド遅延器３は、信号を１フィールド(２６３ライン)遅延させ、出力を加算器４と減算器８に与える。
フィールド遅延器２と３で１フレーム(５２５ライン)遅延した信号と入来信号は、加算器４で加算され、減算器８で減算される。加算器４の出力はフィールド間補間信号となり、減算器８の出力はフィールド間差分信号となる。フィールド間補間信号は乗算器５に与えられ、フィールド間差分信号は動き検出器１２に与えられる。
一方、２６２ライン遅延信号は、ライン遅延器１３で１ライン遅延させられ２６３ライン遅延信号となり、加算器９で２６２ライン遅延信号と加算され、フィールド内補間信号となる。フィールド内補間信号は乗算器１０に与えられえる。動き検出器１２はフィールド間差分信号を元に動き領域の判定を行い、動き係数ｋ(０〜１)を画素毎に出力する。ｋは乗算器５と１０、走査構造制御器１４に与えられる。
乗算器５はフィールド間補間信号に(１−ｋ)を乗じ、乗算器１０はフィールド内補間信号にｋを乗じる。(１−ｋ)倍のフィールド間補間信号と、ｋ倍のフィールド内補間信号は加算器６で加算され、補間信号としてスイッチ７に与えられる。
スイッチ７は入来飛越し走査信号の奇数(上)フィールドでは入来信号を選択し、偶数(下)フィールドでは補間信号である加算器６の出力選択し、スイッチ１１に与える。このようにして得られた信号は形式的には６０ｆｐｓの飛越し走査信号であるが、補間信号は１フィールド遅延した補間走査線なので、ふたつのフィールドは時間的に同じ内容であり、実質的に３０ｆｐｓの順次走査信号となっている。
スイッチ１１は入来飛越し走査信号のフレーム毎に走査構造制御器１４から与えられる走査構造情報に従って、飛越し走査のときは入来信号を選択し、順次走査の場合には３０ｆｐｓの順次走査信号であるスイッチ７の出力を選択する。切替えは飛越し走査のフレームに同期して行われ、途中のフィールドやラインで切り替わることはない。
走査構造制御器１４は、動き係数ｋより、走査構造を決定して制御情報として出力する。具体的にはｋを１フレーム分加算してフレーム平均値を求め、平均値が所定値(０．２など)より大きい場合は、動き量が大きいのと判断して飛越し走査とし、平均値が所定値より小さい場合は、動き量が小さいと判断して順次走査とする。
処理の様子は図７に示される。図において破線で示される走査線は実在しないものである。○で示されるのは入来走査線であり、◇で示されるのは補間走査線である。この補間走査線は飛越し走査で間引かれた走査線に相当するものである。入来する飛越し走査画像(図中の６０ｉ)は、補間により順次走査画像(６０ｐ)となる。
本実施例において補間走査線は前後フィールドからの補間が行われるので、１フィールド遅延して形成される。入来走査線はフィールド遅延なく出力されるので、出力される補間走査線は１フィールド前の入来走査線に対応したものである。
従って、入来飛越し走査信号の偶数フィールドと奇数フィールドのうち片方のフィールドとそれ対応する補間走査線が出力されている。すなわち順次走査化された３０ｆｐｓの信号(３０ｐ)が２フィールドに分割されて、形式的に飛越し走査画像（６０ｉ）の形態で出力される。
【０００９】
＜第２の実施動画像走査構造変換装置＞
本発明の第２の実施例動画像走査構造変換装置について説明する。第２の実施例動画像走査構造変換装置は６０ｆｐｓの順次走査画像を６０ｆｐｓの飛越し走査画像の信号形態で出力するものである。第１の実施例と同一構成要素には同一付番を記してある。図２には、図１と比較して、走査線補間部がなく垂直ＬＰＦ２２、フレームメモリ２３、ライン間引き器２４，２５、ＭＶ検出器２６があり、走査構造制御器２７の動作が異なる。
順次走査画像入力端子２１より入来する６０ｆｐｓの順次走査画像は、垂直ＬＰＦとＭＶ検出器２６に与えられる。垂直ＬＰＦ２２はおおむね７０％の周波数で半減する特性で、垂直方向の高い周波数成分を抑圧するものである。この帯域制限は飛押し走査に変換され、表示された場合に強いフリッカが発生するのを防ぐために行われる。
帯域制限された順次走査信号はフレームメモリ２３及びライン間引き器２４に与えられる。フレームメモリ２３は１フレーム分の画像を保持し、同一フレームを２度繰り返して出力する。フレームメモリ２３の出力速度は入力と同じであり、結果として１フレームおきにフレームが破棄され、半分のフレームが残ることになる。
ライン間引き器２４と２５は、１ライン分の信号を保持し、入力の半分の速度で出力する。結果的に１本おきの走査線が破棄されることになる。破棄される走査線は、入力順次走査画像の偶数フレームと奇数フレームで異なり、ライン間引き器２４は６０ｆｐｓの信号から直接ライン間引きを行うので６０ｆｐｓの飛越し走査信号となる。
一方、ライン間引き器２５は、２度繰り返して出力される同一フレームの奇数ラインと偶数ラインを分離する形となるので、出力される信号の形態は６０ｆｐｓ飛越し走査信号であるが、内容は３０ｆｐｓの順次走査画像となっている。
スイッチ１１は、走査構造制御器２７から与えられる走査線構造情報に従って、飛越し走査のときは６０ｆｐｓの飛越し走査信号であるライン間引き器２４の出力を選択し、順次走査の場合には３０ｆｐｓの順次走査信号であるライン間引き器２５の出力を選択する。切替えは飛越し走査のフレームに同期して行われ、途中のフィールドやラインで切り替わることはない。
一方、動きベクトル(ＭＶ)検出器２６は、１６×１６画素のブロック単位で１フレーム差の動きベクトルを求め、走査構造制御器２７に与える。走査構造制御器２７は、ＭＶからブロック毎の動き量(移動距離)を求め、１フレームの平均値を得る。1フレームの動き量平均値が所定値(４画素など)以上の場合、動き量が大きいと判断して飛越し走査、動き量平均値が所定値より小さい場合、動き量が小さいと判断して３０ｆｐｓの順次走査とする。この走査構造情報は、スイッチ１１に与えられると共に、走査構造情報出力端子２８より出力される。
本実施例における処理の様子を図８に示すが、入来する６０ｆｐｓの順次走査信号は、６０ｆｐｓの飛越し走査信号または、３０ｆｐｓの順次走査信号に変換される。３０ｆｐｓの順次走査信号は、２フィールドに分割され、６０ｆｐｓの飛越し走査信号の形態となる。出力信号は、形式的には常時６０ｆｐｓの飛越し走査信号であるが、画像の内容は６０ｆｐｓの飛越し走査と３０ｆｐｓの順次走査が切り替えられている。
【００１０】
＜動画像符号化装置の実施例＞
本発明の動画像符号化装置の一実施例を図３に示す。画像入力端子３１より入来する６０ｆｐｓの飛越し走査画像信号は、減算器３２と順次検出器３６、動きベクトル(ＭＶ)検出器３７に与えられる。
入来信号は、減算器３２において動き補償予測器３８から与えられる予測信号が減算され、予測残差となってＤＣＴ３３に与えられる。
ＤＣＴ３３は予測残差に対してＤＣＴ(Discrete Cosine Transform)の変換処理を行い、得られた係数を量子化器３４に与える。量子化器３４は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器３５と逆量子化器３９に与える。可変長符号化器３５は、固定長の予測残差を可変長符号で圧縮し、できた符号は多重化器４０に与えられる。
一方、逆量子化器３９及び逆ＤＣＴ４６ではＤＣＴ３３及び量子化器３４の逆処理が行われ、予測残差を再生する。得られた再生予測残差は加算器４５で予測信号が加算され再生画像となり、画像メモリ４４に与えられる。画像メモリ４４は再生画像を保持し、画像間予測器３８に与える。
画像間予測器３８は、ＭＶ検出器３７から与えられるＭＶに従って動き補償を行い、得られた予測信号を減算器３２と加算器４５に与える。
ＭＶ検出器３７は、被符号化フレームに対する参照フレームの空間移動量を１６×１６画素ないし１６×８画素毎に求めて、ＭＶとして画像間予測器３８に与える。
ここで、ＭＶ検出器３７、画像間予測器３８、ＤＣＴ３３、逆ＤＣＴ４６は、符号化制御器から出力される符号化走査構造の情報に応じて、フレーム単位で処理が切り替えられる。符号化走査構造が順次走査の場合には、単純な純フレーム処理が行われる。符号化走査構造が飛越し走査の場合は、画像間予測器３８はフィールド／フレーム適応予測を行い、ＭＶ検出器３７はその予測処理に適合したＭＶを求める。ＤＣＴ３３及び逆ＤＣＴは４６フィールド／フレーム適応処理で配列変換が変えられる。
一方、走査構造検出器は、そのフレームが実効的に順次走査画像であるか飛越し走査画像であるかを判断する。具体的検出手法としては、フィールド差分の垂直低周波成分の検出で、その構成が図６に示される。入来する飛越し走査形態の信号は、フィールド遅延６２と垂直ＬＰＦ６８に入力される。フィールド遅延は入来信号を２６２ライン遅延させ、垂直ＬＰＦ６３に与える。
垂直ＬＰＦ６３と６８は共に垂直方向帯域を１／３〜１／４程度にするものであるが、入来信号と２６２ライン遅延信号は０.５ラインずれているので、垂直ＬＰＦ６３は出力位相を０.５ライン遅らせたものとする。垂直ＬＰＦ６３と６８の出力は結果的に垂直方向に同位置で、高い周波数成分が抑圧されている。この場合、順次走査構造の場合は、同一フレームから形成されるので差分はなく、飛越し走査構造の場合は、異なった画像なので差分が発生する。従って、減算器６４で両者の差分を取り、絶対値化器６５で絶対値化した後、フレーム積分器６６で１フレームの平均値を得る。その値を所定の閾値と比較して、閾値より値が大きい場合は飛越し走査、小さい場合は順次走査と判断し、判定結果を符号化制御器に与える。
この場合、動きが小さいと飛越し走査画像は順次走査画像と類似し、判定を誤る可能性がある。ただし、このような画像では飛越し走査画像を順次走査画像として符号化処理しても大きな問題は生じない。なお、入力順次走査信号をフレーム化し、フレームの垂直方向に高い周波数成分を検出しても類似した結果が得られる。
符号化制御器４３は、走査構造情報入力端子４２から与えられる入来動画像の走査構造の情報を使うか、または走査構造検出器３６から与えられる検出結果により、飛越し走査符号化を行うか、３０ｆｐｓの順次走査符号化を行うかを飛越し走査のフレーム単位で決定する。
【００１１】
【発明の効果】
以上の通り、本発明の動画像走査構造変換装置及び方法は、入来する動画像の動きの程度に応じて走査線構造を設定し、その設定した走査線構造に基づき入来動画像の走査線構造を変換し、入来動画像と同じ画像レートの飛越し走査画像と、入来動画像の半分の画像レートの順次走査画像とを切り替えて出力するものである。よって、本発明の動画像走査構造変換装置及び方法で生成した画像に対して符号化を行なうことにより、画像レートが低下しても視覚的に画質低下が問題となり難い動きの遅い部分を画像レートを下げた順次走査画像の符号化とし、動きの速い部分を画像レートを維持した飛越し走査画像の符号化とすることが可能となる。これにより、順次走査画像の符号化のビットレートは、飛越し走査画像の符号化に対して大幅に低減される。従って、本発明の動画像走査構造変換装置及び方法で生成した画像を用いて符号化を行なうことにより、主観画質を同等としたまま符号化ビットレートを低減できる。ビットレートを同等とした場合は、再生画像品質を改善できる。
【図面の簡単な説明】
【図１】第１の実施例動画像走査構造変換装置の構成例を示す図である。
【図２】第２の実施例動画像走査構造変換装置の構成例を示す図である。
【図３】動画像符号化装置の一実施例の構成例を示す図である。
【図４】従来例動画像走査構造変換装置の構成例を示す図である。
【図５】従来例動画像符号化装置の構成例を示す図である。
【図６】図３中の走査構造検出器の構成例を示す図である。
【図７】飛越し走査からの走査線構造変換の様子を示す図である。
【図８】順次走査からの走査線構造変換の様子を示す図である。
【符号の説明】
１、３１、６１ 画像入力端子
２、３、６２ フィールド遅延器
４、６、９ 加算器
５、１０ 乗算器
７、１１、４８ スイッチ
８、３２、６４ 減算器
１３ ライン遅延器
１４、２７ 走査構造制御器
１５ 画像出力端子
２１ 順次走査画像入力端子
２２、６３，６８ 垂直ＬＰＦ
２３ フレームメモリ
２４、２５ ライン間引き器
２６、３７、５２ ＭＶ検出器
２８、６７ 走査構造情報出力端子
３３、５１ ＤＣＴ
３４ 量子化器
３５ 可変長符号化器
３８、５３ 画像間予測器
３９ 逆量子化器
４０ 多重化器
４１ 符号出力端子
４６、５４ 逆ＤＣＴ
４２ 走査構造情報入力端子
４３ 符号化制御器
４４ 画像メモリ
４７、４９ ラインメモリ
６５ 絶対値化器
６６ フレーム積分器
【発明の属する技術分野】
本発明は、画像を再生画質を低下させることなく効率的に伝送、蓄積、表示するため、動画像信号を他形態の動画像信号に変換する変換処理に関するものであり、特に動画像信号の走査構造の変換に関するものである。
【０００２】
【従来の技術】
＜画像走査構造変換＞
動画像信号は、飛越し走査(インターレース走査)と順次走査(プログレッシブ走査)の２種類の走査構造を持つ。飛越し走査は走査線が半分に間引かれているが、画像が静止している場合には、順次走査の７０％程度の解像度を待つ。順次走査は、ラインフリッカやラインクローリングがほとんどない。
テレビ放送では飛越し走査が一般的であるが、ディジタル放送では順次走査も使われる。また、フィルムやアニメーションなどは、元々秒２４駒程度の順次走査画像が形式的に飛越し走査信号になっており、画像内容は順次走査のままとなっている。この場合、形式的には秒６０フィールドであるが、連続する２フィールドないし３フィールドは、同じ画像である。
一方、これらの画像を符号化した場合、ＭＰＥＧ等の画像間予測符号化では、画像レート及びフレーム走査線数が同じ場合、飛越し走査でも順次走査でも必要ビットレートは同等である。走査線数は順次走査が飛越し走査の２倍なので、走査線あたりの符号化効率は順次走査の方が２倍良いことになる。
順次走査で画像レートを半分にした場合、フレーム間相関が低下するので必要ビットレートは半分にはならないが、元の６０％〜８０％に削減される。これは、同一走査線数の飛越し走査画像を符号化した場合より大幅に少ない。ただし、画像レートは半分なので、動きのスムーズさは若干失われることとなる。
【０００３】
＜従来例動画像走査構造変換装置＞
図４は動画像走査構造変換装置の従来例の構成を示したものである。この装置は６０フィールド／秒(ｆｐｓ)の飛越し走査画像信号を、６０ｆｐｓの順次走査画像信号に変換するものである。
画像入力端子１より入来する６０ｆｐｓの飛越し走査画像信号は、フィールド遅延器２に与えられると共に、加算器４、減算器８にも与えられる。フィールド遅延器は入来信号を１フィールド(２６２ライン)遅延させ、出力である１フィールド遅延信号はフィールド遅延器３のほか加算器９とライン値延器１３にも与えられる。フィールド遅延器３は、信号を１フィールド(２６３ライン)遅延させ、出力を加算器４と減算器８に与える。
フィールド遅延器２と３で１フレーム(５２５ライン)遅延した信号と入来信号は、加算器４で加算され、減算器８で減算される。加算器４の出力はフィールド間補間信号となり、減算器８の出力はフィールド間差分信号となる。フィールド間補間信号は乗算器５に与えられ、フィールド間差分信号は動き検出器１２に与えられる。
２６２ライン遅延信号は、ライン遅延器１３で１ライン遅延させられ２６３ライン遅延信号となり、加算器９で２６２ライン遅延信号と加算され、フィールド内補間信号となる。フィールド内補間信号は乗算器１０に与えられえる。一方、２６３ライン遅延信号はラインメモリ４９にも与えられる。
動き検出器１２はフィールド間差分信号を元に動き領域の判定を行い、動き係数ｋ(０〜１)を画素毎に出力する。ｋは乗算器５と１０に与えられる。
乗算器５はフィールド間補間信号に(１−ｋ)を乗じ、乗算器１０はフィールド内補間信号にｋを乗じる。(１−ｋ)倍のフィールド間補間信号と、ｋ倍のフィールド内補間信号は加算器６で加算され、補間信号としてラインメモリ４７に与えられる。この補間信号は２６２．５ライン遅延に相当する。
ラインメモリ４７と４９は補間信号と２６３ライン遅延信号をそれぞれ１ライン分蓄え、２倍の速度で出力する。スイッチ４８は入来飛越し走査信号の１ラインの間に、ラインメモリ４７と４９の出力を選択し、前半のタイミングでラインメモリ４７の出力である補間信号を、後半のタイミングでメモリ４９の出力である２６３ライン遅延信号を得る。得られた２倍速度の信号は、６０ｆｐｓの順次走査画像信号として画像出力１６から出力される。
【０００４】
＜従来例動画像符号化装置＞
図５に動画像符号化装置の構成を示す。画像入力端子３１より入来する動画像信号は、減算器３２と動きベクトル(ＭＶ)検出器５２に与えられる。動画像信号は、減算器３２において動き補償予測器５３から与えられる予測信号が減算され、予測残差となってＤＣＴ５１に与えられる。
ＤＣＴ５１は予測残差に対してＤＣＴ(Discrete Cosine Transform)の変換処理を行い、得られた係数を量子化器３４に与える。量子化器３４は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器３５と逆量子化器３９に与える。可変長符号化器３５は、固定長の予測残差を可変長符号で圧縮し、できた符号は出力端子４０から出力される。
一方、逆量子化器３９及び逆ＤＣＴ５４ではＤＣＴ５１及び量子化器３４の逆処理が行われ、予測残差を再生する。得られた再生予測残差は加算器４５で予測信号が加算され再生画像となり、画像メモリ４４に与えられる。画像メモリ４４は再生画像を保持し、画像間予測器５３に与える。
画像間予測器５３は、ＭＶ検出器５２から与えられるＭＶに従って動き補償を行い、得られた予測信号を減算器３２と加算器４４に与える。ＭＶ検出器５２は、被符号化フレームに対する参照フレームの空間移動量を１６×１６画素ブロック毎に求めて、ＭＶとして画像間予測器５３に与える。
画像間予測器５３、ＤＣＴ５１、逆ＤＣＴ５４は入来動画像の構造によってあらかじめ決められた処理方法が取られる。順次走査の動画像を符号化する装置の場合は、純フレーム処理が行われる。飛越し走査の動画像を符号化する装置の場合は、ブロック単位でフィールド／フレーム適応予測及びフィールド／フレーム適応ＤＣＴの処理が行われる。適応処理では適応制御情報が各ブロックの付随情報として発生する。
【０００５】
【発明が解決しようとする課題】
従来の動画像走査構造変換装置は、飛越し走査画像を同一画像レートの順次走査画像に変換するものであり、符号化装置は飛越し走査画像または順次走査画像のそれぞれを符号化するものであった。一方、画像レートを半分にした順次走査画像は同一走査線数の飛越し走査画像より符号化ビットレートを低減できるが、速い動きで動きのスムーズさが欠けると言った問題点があった。本発明は以上の点に着目してなされたもので、入来する動画像の動きの程度に応じて走査線構造を設定し、その設定した走査線構造に基づき入来動画像の走査線構造を変換し、飛越し走査画像とその飛越し走査画像の半分の画像レートの順次走査画像とを切り替えて出力する動画像走査構造変換装置及び方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
そこで、上記課題を解決するために本発明は、以下の装置及び方法を提供するものである。［１］（図１に対応）
所定フレームレートの入来飛越し走査画像の動きの程度に応じて、フレーム毎に走査線構造を設定する走査線構造設定手段と、（８、１２、１４）
前記入来飛越し走査画像の各フレームを構成する奇数フィールドまたは偶数フィールドのうちのいずれか一方のフィールドの走査線を補間した補間フィールドを生成し、この補間フィールドで、前記奇数フィールドまたは偶数フィールドのうちの他方のフィールドを置き換え、この補間フィールドと前記一方のフィールドとで変換飛越し走査画像を得る変換手段と、（４、５、６、７、９、１０、１３）
前記入来飛越し走査画像と前記変換飛越し走査画像とを、設定された前記走査線構造に応じてフレーム毎に切り替えて出力する切替手段と、（１１） を備えたことを特徴とする動画像走査構造変換装置。
［２］（図２に対応）
所定フレームレートの入来順次走査画像の動きの程度に応じて、フレーム毎に走査線構造を設定する走査線構造設定手段と、（２６，２７）
前記入来順次走査画像を構成するフレームの走査線を間引いて、フィールドレートが前記所定フレームレートと等しい第１の飛越し走査画像を得る走査線間引き手段と、（２４）
前記入来順次走査画像を構成するフレームを間引いて、フレームレートが前記所定フレームレートの半分となる順次走査画像を生成し、更にこの生成した前記所定フレームレートの半分のフレームレートの順次走査画像を構成する各フレームを、偶数フィールドと奇数フィールドとに分割し、フィールドレートが前記所定フレームレートと等しい第２の飛越し走査画像を得るフレーム間引き手段と、（２３）
前記第１の飛越し走査画像と、前記第２の飛越し走査画像とを、設定された前記走査線構造に応じてフレーム毎に切り替えて出力する切替手段と、（１１） を備えたことを特徴とする動画像走査構造変換装置。
［３］所定フレームレートの入来飛越し走査画像の動きの程度に応じて、フレーム毎に走査線構造を設定し、前記入来飛越し走査画像の各フレームを構成する奇数フィールドまたは偶数フィールドのうちのいずれか一方のフィールドの走査線を補間した補間フィールドを生成し、この補間フィールドで、前記奇数フィールドまたは偶数フィールドのうちの他方のフィールドを置き換え、この補間フィールドと前記一方のフィールドとで変換飛越し走査画像を得、前記入来飛越し走査画像と前記変換飛越し走査画像とを、設定された前記走査線構造に応じてフレーム毎に切り替えて出力する、ことを特徴とする動画像走査構造変換方法。
［４］所定フレームレートの入来順次走査画像の動きの程度に応じて、フレーム毎に走査線構造を設定し、前記入来順次走査画像を構成するフレームの走査線を間引いて、フィールドレートが前記所定フレームレートと等しい第１の飛越し走査画像を得、前記入来順次走査画像を構成するフレームを間引いて、フレームレートが前記所定フレームレートの半分となる順次走査画像を生成し、更にこの生成した前記所定フレームレートの半分のフレームレートの順次走査画像を構成する各フレームを、偶数フィールドと奇数フィールドとに分割し、フィールドレートが前記所定フレームレートと等しい第２の飛越し走査画像を得、前記第１の飛越し走査画像と、前記第２の飛越し走査画像とを、設定された前記走査線構造に応じてフレーム毎に切り替えて出力する、 ことを特徴とする動画像走査構造変換方法。
【０００７】
【発明の実施の形態】
本発明においては、入来する動画像の動きの程度に応じて走査線構造を設定し、その設定した走査線構造に基づき入来動画像の走査線構造を変換し、飛越し走査画像とその飛越し走査画像の半分の画像レートの順次走査画像とを切り替えて出力する。飛越し走査画像とその飛越し走査画像の半分の画像レートの順次走査画像は走査線数が同じであり、形式的に同様に扱うことが出来る。動きの速い部分は飛越し走査となり、画像レートは保持される。動きの速くない部分は半分の画像レートの順次走査画像となり、飛越し走査画像符号化に対しビットレートが大幅に低減される。順次走査画像の部分は画像レートが低下するが、動きの速くない部分なので視覚的に問題となり難い。
【０００８】
＜第１の実施例動画像走査構造変換装置＞
本発明の第１の実施例動画像走査構造変換装置について説明する。図１は、その構成を示したもので、図４の従来例と同一構成要素には同一付番を記してある。図１には、図４と比較してラインメモリ４７、４９がなく、スイッチ７の動作が異なる。さらに走査構造制御器１４とスイッチ１１が存在する。
実施例において、従来例と異なるのは最終的な信号の形成方法であり、走査線の補間方法は基本的に同じである。
この装置において、出力信号の形態は、入力信号と同じ６０フィールド／秒(ｆｐｓ)の飛越し(インターレース)走査信号のままであるが、画像の動きの程度により画像の内容を３０ｆｐｓの順次(プログレシブ)走査信号に変換するものである。
画像入力端子１より入来する６０ｆｐｓの飛越し走査画像信号は、フィールド遅延器２に与えられると共に、加算器４、減算器８にも与えられる。フィールド遅延器２は入来信号を１フィールド(２６２ライン)遅延させ、出力である２６２ライン遅延信号はフィールド遅延器３のほか加算器９とライン値延器１３にも与えられる。フィールド遅延器３は、信号を１フィールド(２６３ライン)遅延させ、出力を加算器４と減算器８に与える。
フィールド遅延器２と３で１フレーム(５２５ライン)遅延した信号と入来信号は、加算器４で加算され、減算器８で減算される。加算器４の出力はフィールド間補間信号となり、減算器８の出力はフィールド間差分信号となる。フィールド間補間信号は乗算器５に与えられ、フィールド間差分信号は動き検出器１２に与えられる。
一方、２６２ライン遅延信号は、ライン遅延器１３で１ライン遅延させられ２６３ライン遅延信号となり、加算器９で２６２ライン遅延信号と加算され、フィールド内補間信号となる。フィールド内補間信号は乗算器１０に与えられえる。動き検出器１２はフィールド間差分信号を元に動き領域の判定を行い、動き係数ｋ(０〜１)を画素毎に出力する。ｋは乗算器５と１０、走査構造制御器１４に与えられる。
乗算器５はフィールド間補間信号に(１−ｋ)を乗じ、乗算器１０はフィールド内補間信号にｋを乗じる。(１−ｋ)倍のフィールド間補間信号と、ｋ倍のフィールド内補間信号は加算器６で加算され、補間信号としてスイッチ７に与えられる。
スイッチ７は入来飛越し走査信号の奇数(上)フィールドでは入来信号を選択し、偶数(下)フィールドでは補間信号である加算器６の出力選択し、スイッチ１１に与える。このようにして得られた信号は形式的には６０ｆｐｓの飛越し走査信号であるが、補間信号は１フィールド遅延した補間走査線なので、ふたつのフィールドは時間的に同じ内容であり、実質的に３０ｆｐｓの順次走査信号となっている。
スイッチ１１は入来飛越し走査信号のフレーム毎に走査構造制御器１４から与えられる走査構造情報に従って、飛越し走査のときは入来信号を選択し、順次走査の場合には３０ｆｐｓの順次走査信号であるスイッチ７の出力を選択する。切替えは飛越し走査のフレームに同期して行われ、途中のフィールドやラインで切り替わることはない。
走査構造制御器１４は、動き係数ｋより、走査構造を決定して制御情報として出力する。具体的にはｋを１フレーム分加算してフレーム平均値を求め、平均値が所定値(０．２など)より大きい場合は、動き量が大きいのと判断して飛越し走査とし、平均値が所定値より小さい場合は、動き量が小さいと判断して順次走査とする。
処理の様子は図７に示される。図において破線で示される走査線は実在しないものである。○で示されるのは入来走査線であり、◇で示されるのは補間走査線である。この補間走査線は飛越し走査で間引かれた走査線に相当するものである。入来する飛越し走査画像(図中の６０ｉ)は、補間により順次走査画像(６０ｐ)となる。
本実施例において補間走査線は前後フィールドからの補間が行われるので、１フィールド遅延して形成される。入来走査線はフィールド遅延なく出力されるので、出力される補間走査線は１フィールド前の入来走査線に対応したものである。
従って、入来飛越し走査信号の偶数フィールドと奇数フィールドのうち片方のフィールドとそれ対応する補間走査線が出力されている。すなわち順次走査化された３０ｆｐｓの信号(３０ｐ)が２フィールドに分割されて、形式的に飛越し走査画像（６０ｉ）の形態で出力される。
【０００９】
＜第２の実施動画像走査構造変換装置＞
本発明の第２の実施例動画像走査構造変換装置について説明する。第２の実施例動画像走査構造変換装置は６０ｆｐｓの順次走査画像を６０ｆｐｓの飛越し走査画像の信号形態で出力するものである。第１の実施例と同一構成要素には同一付番を記してある。図２には、図１と比較して、走査線補間部がなく垂直ＬＰＦ２２、フレームメモリ２３、ライン間引き器２４，２５、ＭＶ検出器２６があり、走査構造制御器２７の動作が異なる。
順次走査画像入力端子２１より入来する６０ｆｐｓの順次走査画像は、垂直ＬＰＦとＭＶ検出器２６に与えられる。垂直ＬＰＦ２２はおおむね７０％の周波数で半減する特性で、垂直方向の高い周波数成分を抑圧するものである。この帯域制限は飛押し走査に変換され、表示された場合に強いフリッカが発生するのを防ぐために行われる。
帯域制限された順次走査信号はフレームメモリ２３及びライン間引き器２４に与えられる。フレームメモリ２３は１フレーム分の画像を保持し、同一フレームを２度繰り返して出力する。フレームメモリ２３の出力速度は入力と同じであり、結果として１フレームおきにフレームが破棄され、半分のフレームが残ることになる。
ライン間引き器２４と２５は、１ライン分の信号を保持し、入力の半分の速度で出力する。結果的に１本おきの走査線が破棄されることになる。破棄される走査線は、入力順次走査画像の偶数フレームと奇数フレームで異なり、ライン間引き器２４は６０ｆｐｓの信号から直接ライン間引きを行うので６０ｆｐｓの飛越し走査信号となる。
一方、ライン間引き器２５は、２度繰り返して出力される同一フレームの奇数ラインと偶数ラインを分離する形となるので、出力される信号の形態は６０ｆｐｓ飛越し走査信号であるが、内容は３０ｆｐｓの順次走査画像となっている。
スイッチ１１は、走査構造制御器２７から与えられる走査線構造情報に従って、飛越し走査のときは６０ｆｐｓの飛越し走査信号であるライン間引き器２４の出力を選択し、順次走査の場合には３０ｆｐｓの順次走査信号であるライン間引き器２５の出力を選択する。切替えは飛越し走査のフレームに同期して行われ、途中のフィールドやラインで切り替わることはない。
一方、動きベクトル(ＭＶ)検出器２６は、１６×１６画素のブロック単位で１フレーム差の動きベクトルを求め、走査構造制御器２７に与える。走査構造制御器２７は、ＭＶからブロック毎の動き量(移動距離)を求め、１フレームの平均値を得る。1フレームの動き量平均値が所定値(４画素など)以上の場合、動き量が大きいと判断して飛越し走査、動き量平均値が所定値より小さい場合、動き量が小さいと判断して３０ｆｐｓの順次走査とする。この走査構造情報は、スイッチ１１に与えられると共に、走査構造情報出力端子２８より出力される。
本実施例における処理の様子を図８に示すが、入来する６０ｆｐｓの順次走査信号は、６０ｆｐｓの飛越し走査信号または、３０ｆｐｓの順次走査信号に変換される。３０ｆｐｓの順次走査信号は、２フィールドに分割され、６０ｆｐｓの飛越し走査信号の形態となる。出力信号は、形式的には常時６０ｆｐｓの飛越し走査信号であるが、画像の内容は６０ｆｐｓの飛越し走査と３０ｆｐｓの順次走査が切り替えられている。
【００１０】
＜動画像符号化装置の実施例＞
本発明の動画像符号化装置の一実施例を図３に示す。画像入力端子３１より入来する６０ｆｐｓの飛越し走査画像信号は、減算器３２と順次検出器３６、動きベクトル(ＭＶ)検出器３７に与えられる。
入来信号は、減算器３２において動き補償予測器３８から与えられる予測信号が減算され、予測残差となってＤＣＴ３３に与えられる。
ＤＣＴ３３は予測残差に対してＤＣＴ(Discrete Cosine Transform)の変換処理を行い、得られた係数を量子化器３４に与える。量子化器３４は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器３５と逆量子化器３９に与える。可変長符号化器３５は、固定長の予測残差を可変長符号で圧縮し、できた符号は多重化器４０に与えられる。
一方、逆量子化器３９及び逆ＤＣＴ４６ではＤＣＴ３３及び量子化器３４の逆処理が行われ、予測残差を再生する。得られた再生予測残差は加算器４５で予測信号が加算され再生画像となり、画像メモリ４４に与えられる。画像メモリ４４は再生画像を保持し、画像間予測器３８に与える。
画像間予測器３８は、ＭＶ検出器３７から与えられるＭＶに従って動き補償を行い、得られた予測信号を減算器３２と加算器４５に与える。
ＭＶ検出器３７は、被符号化フレームに対する参照フレームの空間移動量を１６×１６画素ないし１６×８画素毎に求めて、ＭＶとして画像間予測器３８に与える。
ここで、ＭＶ検出器３７、画像間予測器３８、ＤＣＴ３３、逆ＤＣＴ４６は、符号化制御器から出力される符号化走査構造の情報に応じて、フレーム単位で処理が切り替えられる。符号化走査構造が順次走査の場合には、単純な純フレーム処理が行われる。符号化走査構造が飛越し走査の場合は、画像間予測器３８はフィールド／フレーム適応予測を行い、ＭＶ検出器３７はその予測処理に適合したＭＶを求める。ＤＣＴ３３及び逆ＤＣＴは４６フィールド／フレーム適応処理で配列変換が変えられる。
一方、走査構造検出器は、そのフレームが実効的に順次走査画像であるか飛越し走査画像であるかを判断する。具体的検出手法としては、フィールド差分の垂直低周波成分の検出で、その構成が図６に示される。入来する飛越し走査形態の信号は、フィールド遅延６２と垂直ＬＰＦ６８に入力される。フィールド遅延は入来信号を２６２ライン遅延させ、垂直ＬＰＦ６３に与える。
垂直ＬＰＦ６３と６８は共に垂直方向帯域を１／３〜１／４程度にするものであるが、入来信号と２６２ライン遅延信号は０.５ラインずれているので、垂直ＬＰＦ６３は出力位相を０.５ライン遅らせたものとする。垂直ＬＰＦ６３と６８の出力は結果的に垂直方向に同位置で、高い周波数成分が抑圧されている。この場合、順次走査構造の場合は、同一フレームから形成されるので差分はなく、飛越し走査構造の場合は、異なった画像なので差分が発生する。従って、減算器６４で両者の差分を取り、絶対値化器６５で絶対値化した後、フレーム積分器６６で１フレームの平均値を得る。その値を所定の閾値と比較して、閾値より値が大きい場合は飛越し走査、小さい場合は順次走査と判断し、判定結果を符号化制御器に与える。
この場合、動きが小さいと飛越し走査画像は順次走査画像と類似し、判定を誤る可能性がある。ただし、このような画像では飛越し走査画像を順次走査画像として符号化処理しても大きな問題は生じない。なお、入力順次走査信号をフレーム化し、フレームの垂直方向に高い周波数成分を検出しても類似した結果が得られる。
符号化制御器４３は、走査構造情報入力端子４２から与えられる入来動画像の走査構造の情報を使うか、または走査構造検出器３６から与えられる検出結果により、飛越し走査符号化を行うか、３０ｆｐｓの順次走査符号化を行うかを飛越し走査のフレーム単位で決定する。
【００１１】
【発明の効果】
以上の通り、本発明の動画像走査構造変換装置及び方法は、入来する動画像の動きの程度に応じて走査線構造を設定し、その設定した走査線構造に基づき入来動画像の走査線構造を変換し、入来動画像と同じ画像レートの飛越し走査画像と、入来動画像の半分の画像レートの順次走査画像とを切り替えて出力するものである。よって、本発明の動画像走査構造変換装置及び方法で生成した画像に対して符号化を行なうことにより、画像レートが低下しても視覚的に画質低下が問題となり難い動きの遅い部分を画像レートを下げた順次走査画像の符号化とし、動きの速い部分を画像レートを維持した飛越し走査画像の符号化とすることが可能となる。これにより、順次走査画像の符号化のビットレートは、飛越し走査画像の符号化に対して大幅に低減される。従って、本発明の動画像走査構造変換装置及び方法で生成した画像を用いて符号化を行なうことにより、主観画質を同等としたまま符号化ビットレートを低減できる。ビットレートを同等とした場合は、再生画像品質を改善できる。
【図面の簡単な説明】
【図１】第１の実施例動画像走査構造変換装置の構成例を示す図である。
【図２】第２の実施例動画像走査構造変換装置の構成例を示す図である。
【図３】動画像符号化装置の一実施例の構成例を示す図である。
【図４】従来例動画像走査構造変換装置の構成例を示す図である。
【図５】従来例動画像符号化装置の構成例を示す図である。
【図６】図３中の走査構造検出器の構成例を示す図である。
【図７】飛越し走査からの走査線構造変換の様子を示す図である。
【図８】順次走査からの走査線構造変換の様子を示す図である。
【符号の説明】
１、３１、６１ 画像入力端子
２、３、６２ フィールド遅延器
４、６、９ 加算器
５、１０ 乗算器
７、１１、４８ スイッチ
８、３２、６４ 減算器
１３ ライン遅延器
１４、２７ 走査構造制御器
１５ 画像出力端子
２１ 順次走査画像入力端子
２２、６３，６８ 垂直ＬＰＦ
２３ フレームメモリ
２４、２５ ライン間引き器
２６、３７、５２ ＭＶ検出器
２８、６７ 走査構造情報出力端子
３３、５１ ＤＣＴ
３４ 量子化器
３５ 可変長符号化器
３８、５３ 画像間予測器
３９ 逆量子化器
４０ 多重化器
４１ 符号出力端子
４６、５４ 逆ＤＣＴ
４２ 走査構造情報入力端子
４３ 符号化制御器
４４ 画像メモリ
４７、４９ ラインメモリ
６５ 絶対値化器
６６ フレーム積分器
Claims (4)
- 所定フレームレートの入来飛越し走査画像の動きの程度に応じて、フレーム毎に走査線構造を設定する走査線構造設定手段と、
前記入来飛越し走査画像の各フレームを構成する奇数フィールドまたは偶数フィールドのうちのいずれか一方のフィールドの走査線を補間した補間フィールドを生成し、この補間フィールドで、前記奇数フィールドまたは偶数フィールドのうちの他方のフィールドを置き換え、この補間フィールドと前記一方のフィールドとで変換飛越し走査画像を得る変換手段と、
前記入来飛越し走査画像と前記変換飛越し走査画像とを、設定された前記走査線構造に応じてフレーム毎に切り替えて出力する切替手段と、
を備えたことを特徴とする動画像走査構造変換装置。 - 所定フレームレートの入来順次走査画像の動きの程度に応じて、フレーム毎に走査線構造を設定する走査線構造設定手段と、
前記入来順次走査画像を構成するフレームの走査線を間引いて、フィールドレートが前記所定フレームレートと等しい第１の飛越し走査画像を得る走査線間引き手段と、
前記入来順次走査画像を構成するフレームを間引いて、フレームレートが前記所定フレームレートの半分となる順次走査画像を生成し、更にこの生成した前記所定フレームレートの半分のフレームレートの順次走査画像を構成する各フレームを、偶数フィールドと奇数フィールドとに分割し、フィールドレートが前記所定フレームレートと等しい第２の飛越し走査画像を得るフレーム間引き手段と、
前記第１の飛越し走査画像と、前記第２の飛越し走査画像とを、設定された前記走査線構造に応じてフレーム毎に切り替えて出力する切替手段と、
を備えたことを特徴とする動画像走査構造変換装置。 - 所定フレームレートの入来飛越し走査画像の動きの程度に応じて、フレーム毎に走査線構造を設定し、
前記入来飛越し走査画像の各フレームを構成する奇数フィールドまたは偶数フィールドのうちのいずれか一方のフィールドの走査線を補間した補間フィールドを生成し、この補間フィールドで、前記奇数フィールドまたは偶数フィールドのうちの他方のフィールドを置き換え、この補間フィールドと前記一方のフィールドとで変換飛越し走査画像を得、
前記入来飛越し走査画像と前記変換飛越し走査画像とを、設定された前記走査線構造に応じてフレーム毎に切り替えて出力する、
ことを特徴とする動画像走査構造変換方法。 - 所定フレームレートの入来順次走査画像の動きの程度に応じて、フレーム毎に走査線構造を設定し、
前記入来順次走査画像を構成するフレームの走査線を間引いて、フィールドレートが前記所定フレームレートと等しい第１の飛越し走査画像を得、
前記入来順次走査画像を構成するフレームを間引いて、フレームレートが前記所定フレームレートの半分となる順次走査画像を生成し、更にこの生成した前記所定フレームレートの半分のフレームレートの順次走査画像を構成する各フレームを、偶数フィールドと奇数フィールドとに分割し、フィールドレートが前記所定フレームレートと等しい第２の飛越し走査画像を得、
前記第１の飛越し走査画像と、前記第２の飛越し走査画像とを、設定された前記走査線構造に応じてフレーム毎に切り替えて出力する、
ことを特徴とする動画像走査構造変換方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000255171A JP4035808B2 (ja) | 2000-08-25 | 2000-08-25 | 動画像走査構造変換装置、動画像走査構造変換方法 |
| US09/805,255 US6940911B2 (en) | 2000-03-14 | 2001-03-14 | Variable picture rate coding/decoding method and apparatus |
| US11/178,386 US7860170B2 (en) | 2000-03-14 | 2005-07-12 | Variable picture rate coding/decoding method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000255171A JP4035808B2 (ja) | 2000-08-25 | 2000-08-25 | 動画像走査構造変換装置、動画像走査構造変換方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002077918A JP2002077918A (ja) | 2002-03-15 |
| JP4035808B2 true JP4035808B2 (ja) | 2008-01-23 |
Family
ID=18744008
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000255171A Expired - Fee Related JP4035808B2 (ja) | 2000-03-14 | 2000-08-25 | 動画像走査構造変換装置、動画像走査構造変換方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4035808B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010137261A1 (ja) * | 2009-05-25 | 2010-12-02 | パナソニック株式会社 | 記録媒体、再生装置、集積回路、再生方法、プログラム |
-
2000
- 2000-08-25 JP JP2000255171A patent/JP4035808B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002077918A (ja) | 2002-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3164031B2 (ja) | 動画像符号化復号化装置、動画像符号化復号化方法、及び動画像符号化記録媒体 | |
| JP3164292B2 (ja) | 動画像符号化装置、動画像復号化装置および動画像符号記録方法 | |
| JP3649370B2 (ja) | 動き補償符号化装置及び動き補償符号化方法 | |
| JPH07212761A (ja) | 階層符号化装置及び階層復号化装置 | |
| JP2003333540A (ja) | フレームレート変換装置及びそれを用いた映像表示装置、テレビジョン放送受信装置 | |
| JPH08237666A (ja) | フレーム間帯域圧縮信号処理装置 | |
| JP2000036963A (ja) | 画像符号化装置、画像符号化方法および画像復号化装置 | |
| JP4035808B2 (ja) | 動画像走査構造変換装置、動画像走査構造変換方法 | |
| EP1418754A2 (en) | Progressive conversion of interlaced video based on coded bitstream analysis | |
| JP5742049B2 (ja) | カラー動画像符号化方法及びカラー動画像符号化装置 | |
| JP3859118B2 (ja) | 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法 | |
| US6904093B1 (en) | Horizontal/vertical scanning frequency converting apparatus in MPEG decoding block | |
| JPH10126749A (ja) | 順次走査変換装置 | |
| JP3708745B2 (ja) | 動画像復号装置および動画像復号方法 | |
| JP3612739B2 (ja) | 画像信号の復号化装置及び画像信号の復号化方法 | |
| JP3915802B2 (ja) | 画像復号化方法および画像復号化装置 | |
| JP4258537B2 (ja) | 画像信号生成方法及び画像信号生成装置 | |
| JP3416509B2 (ja) | 動画像復号化装置 | |
| JP3481118B2 (ja) | 動画像復号化方法 | |
| KR0129214B1 (ko) | 고화질 티브이의 디코더 | |
| JP4078803B2 (ja) | インターレース・プログレッシブ変換方法および変換装置 | |
| JP2001333428A (ja) | 動画送受信システム | |
| JPH07107488A (ja) | 動画像符号化装置 | |
| JPH11243561A (ja) | 動画像復号化方法 | |
| JP2007049520A (ja) | 画像信号の高能率符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060203 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060330 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060901 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061023 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071005 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071018 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111109 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121109 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121109 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121109 Year of fee payment: 5 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121109 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131109 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |