JP3946177B2 - 動画像符号化装置及び復号装置 - Google Patents

Description

本発明は、動画像の圧縮符号化及び復号に関する。

動画像の圧縮符号化としては、周知のＭＰＥＧ（ＩＳＯ／ＩＥＣ１１１７２（ＭＰＥＧ１），ＩＳＯ／ＩＥＣ１３８１８（ＭＰＥＧ２））に代表される如く、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）及び量子化を用いて圧縮符号化が行われている。

ところで、人間の視覚特性は、高周波側に対して鈍感である。

このため、例えば、ＭＰＥＧ１では、入力画像データの高周波成分を半分にして、 大幅に画質をぼやかした後に、画素を間引くことにより、データ量を効率的に削減している。

そして復号側では復号して得られた画像データを内挿補間し、画像を復元している。この方法では、水平方向の周波数成分が半分に減衰するため、画質は劣化するが、圧縮効率の割りには画質劣化の程度は小さい。
特開平２−１１０７８号公報

上記のように、圧縮効率と画質レベルとは、相反する。

本発明は、ディジタル画像を記録し、再生する画像記録再生装置において、このような問題に鑑みて為されたものであって、間引き処理により画像の圧縮効率を向上させるとともに、これを、選択設定可能とするものである。

本発明は、入力ディジタル画像データに対してフレーム単位で間引を行い伝送画素数を削減する間引き手段（１１）と、少なくとも１つ以上の連続するフレームをモード切換の最小単位として、前記入力ディジタル画像データと前記間引手段（１１）の出力である画素数の少ない画像データのいずれかを選択する選択手段（１２）と、この選択手段（１２）の出力を符号化し、フレーム単位で符号列を生成する符号化手段（１３）と、前記選択手段（１２）の選択モードに関する情報を符号化して、前記符号列の所定の位置に挿入するモード情報付加手段（１４、１５）とを備えることを特徴とする。

本発明は、入力ディジタル画像データの符号化を行いフレーム単位で第１の符号列を生成する第１の圧縮符号化手段（１３）と、前記入力ディジタル画像データに対してフレーム単位で間引処理を施して伝送画素数を削減し、符号化を行い、フレーム単位で第２の符号列を生成する第２の符号生成手段（１１、１３）と、少なくとも１つ以上の連続するフレームをモード切換の最小単位として、前記第１の符号列または第２の符号列の生成を選択する選択手段（１２）と、前記選択手段（１２）の選択モードに関する情報を符号化して、前記符号列の所定の位置に挿入するモード情報付加手段（１４、１５）とを備えることを特徴とする。

本発明において、前記選択手段（１２）の選択モードに関する情報を挿入する符号列は、モード切換の最小単位に対応するヘッダ領域に挿入することを特徴とする。

本発明において、前記符号化手段（１３）は、動き補償を伴い、複数の画像データを一組として管理する符号化を行うものであって、前記モード切換の最小単位は、前記複数の画像データを一組とした管理単位であることを特徴とする。

本発明において、前記間引手段とはサブサンプリングによる間引処理であることを特徴とする。

本発明において、前記間引手段とは時間方向でのコマ落としによる間引処理であることを特徴とする。

本発明は、入力ディジタル画像データの符号化を行いフレーム単位で第１の符号列を生成する第１の符号化モードと、前記入力ディジタル画像データに対してフレーム単位で間引処理を施して伝送画素数を削減し、符号化を行い、フレーム単位で第２の符号列を生成する第２の符号モードの少なくとも２つの異なるモードに対応した符号列と当該符号列に挿入されたモードに関する情報を入力とし、動画像を再生する動画像復号装置において、前記符号列から画像データを復元する復号手段（２１）と、この復元された画像データを入力として補間処理を行う補間手段（２２）と、前記モードに関する情報に従って前記復号手段（２１）の出力または前記補間手段（２２）の出力のいずれかを選択して出力する選択手段（２３）とを備えることを特徴とする。

本発明は、入力ディジタル画像データの符号化を行いフレーム単位で第１の符号列を生成する第１の符号化モードと、前記入力ディジタル画像データに対してフレーム単位で間引処理を施して伝送画素数を削減し、符号化を行い、フレーム単位で第２の符号列を生成する第２の符号モードの少なくとも２つの異なるモードに対応した符号列と当該符号列に挿入されたモードに関する情報を入力とし、動画像を再生する動画像復号装置において、前記符号列から画像データを復元し第１の再生画像とする第１の再生手段（２１）と、前記符号列から画像データを復元し、復元画像データに補間処理を施し第２の再生画像とする第２の生成手段（２１、２２）と、前記モードに関する情報に従って前記第１の再生画像または前記第２の生成画像のいずれかを選択して出力する選択手段（２３）と
を備えることを特徴とする。

本発明において、符号列に符号化され挿入された前記モードに関する情報を分離して復号するモード情報分離手段（２４）を備えることを特徴とする。

本発明によれば、符号化時に、モードに応じて間引き処理を選択的に行うことが可能となるので、圧縮率を高め、且つ、画質の劣化の少ない符号化の利便性を高めることができる。また、この様にして符号化された符号列を的確に復号することが出来る。

図１を参照しつつ、本発明の実施例１を説明する。

図１は、動画像符号化装置の構成図である。

１１は、間引手段である。この間引手段１１は、間引処理によって伝送画素を削減する。なお、必要に応じて間引による折り返しなどの妨害を除去することを目的とした帯域制限フィルタを備えている。

１２は、選択手段である。選択手段１２は、入力画像データ又は、入力画像データを間引いた伝送画素データを選択的に出力する。この選択手段１２は、圧縮モードに応じて切り換え制御される。圧縮モードが、通常モードである時には入力画像データを出力する。圧縮モードが、高圧縮モードである時には間引手段１１により伝送画素数が削減された画像データを出力する。

１３は、圧縮符号化手段である。圧縮符号化手段１３は、選択手段１２によって選択された画像データを入力として、符号化を行い符号化列を出力する。この圧縮符号化手段１３は、ディタル動画像を予め定められたデータ量に圧縮して符号化列を生成する。例えば、ＭＰＥＧ，ＭＰＥＧ２，Ｍｏｔｉｏｎ ＪＰＥＧ，Ｈ２６１などの直交変換と 量子化による圧縮符号化方式や、直交変換を用いず、直接画素値を画素値のダイナミックレンジに対応して量子化ステップを変化させて符号量を削減するといった量子化による圧縮符号化手段などの、符号化後の符号量を削減して一定の伝送レートの符号列を作成する符号化でも良い。

つまり、圧縮符号化手段１３は、入力した画像データに対し、入力したデータ量より少ない所定のデータ量でかつ復号可能な符号列を出力する。

尚、圧縮符号化手段１３は、入力ディジタル画像データの符号化を行い第１の符号列を生成する第１の圧縮符号化手段（１３）を形成している。

また、間引手段１１と選択手段１３は、入力ディジタル画像データに対して間引処理を施して伝送画素数を削減し、符号化を行い、第２の符号列を生成する第２の符号生成手段（１１，１３）を形成している。

選択手段１２は、この第１の符号列または第２の符号列の生成を選択している。

まず、間引手段１１の間引処理について、説明する。

間引手段１１は、前述の如く、間引処理によって伝送画素を削減する手段であって、間引により発生する折り返し歪を除去する帯域制限フィルタを備えている。

間引処理は、例えば、図７に示すようなフィールド内サブサンプリングによる間引方法がある。

フィールドＦ１、Ｆ２、Ｆ３は時間的に連続する３つのフィールドを、ブロックＢ１、Ｂ２、Ｂ３はフィールドＦ１、Ｆ２、Ｆ３の空間的に同一位置の領域から（３×３）の領域を切り出したもので、「×」は間引による非伝送画素を示している。

各フィールド毎に５の目格子状の同一パターンで伝送画素を１／２に削減することが可能であり、再生時に補間することで比較的高い解像度を持つ再生画像が得られる。

図８は、別の間引パターンの例である。

インタレース方式の画像（現行のＴＶ放送、ＮＴＳＣ、ＰＡＬなど）では２つのフィールド（奇フィールドと偶フィールド）の垂直位置が異なるため、２フィールドによって構成されたフレーム面において５の目格子状のサブサンプリングによる間引を行う例である。

フィールドＧ１、Ｇ２、Ｇ３、Ｇ４は、時間的に連続する４つのフィールドを示す。

また、ブロックＣ１は、連続する２つのフィールドＧ１、Ｇ２から、ブロックＣ２は連続する２つのフィールドＧ３、Ｇ４から構成される各フレームから空間的に同一位置の（３×３）の領域を切り出したもので、偶フィールドにおける伝送画素を□として示している。また、奇フィールドにおける伝送画素を○として示している。また、非伝送画素を×として示している。

このように各フレーム毎に５の目格子状の同一パターンで伝送画素を１／２に削減する。

また、例えばＭＰＥＧ２のようなインタレース信号をフレーム単位で符号化する手法を備える方式では、間引を行った同一の画面単位で符号化が行うことが可能となり、間引による画質劣化が少ない。

図９は、フレーム単位でのサブサンプルによる間引の例である。

フレーム単位で伝送画素の位相を交互に設定することで、４フィールドで全ての位置の画素を伝送することを可能としている。

４フィールドによる内挿補間により再生を行えば静止領域での解像度が優れるが動画領域ではボケが生じる。

以上、サブサンプリングによる間引手法について説明した。尚、本願は、いづれの間引手段にも限定するものではなく、水平または垂直方向でのサンプリング周波数の変更による伝送画素の削減、コマ落とし等の時間方向での伝送画素の削減など、伝送画素数の削減を目的としたあらゆる間引手段を用いることが可能である。

また、上記説明では、間引き処理により、伝送画素が１／２に削減されると記したが、画素の削減比率を限定するものではない。つまり、間引によって伝送画素数を減少させるものであればいかなる比率であってもよい。

図１の動作を説明する。

入力画像データは、間引手段１１に入力され間引処理で伝送画素を例えば1/2 に削減される。

選択手段１２は、外部より指定された圧縮モードに従って、入力画像データまたは前記間引手段１１の出力である伝送画素数の少ない画像データのいずれかを選択出力する。つまり、選択手段１２は、圧縮モードが通常モード時には入力画像データを選択出力する。選択手段１２は、圧縮モードが高圧縮モード時には前記間引手段１１による伝送画素数が削減された画像データを選択して出力する。

圧縮符号化手段１３は、選択手段１２によって選択された画像データを入力とし、圧縮モードに従って所定のデータ量になるよう制御を行い符号列を出力する。この時、高圧縮モードでは通常モードの１／２2あるいは１／３と言った少ないデータ量になるように制御する。

再生画質が良好な間引手段を用いれば、劣化の少ない高圧縮モードが可能となる。

図２を参照しつつ、本発明の実施例２を説明する。

図２は、動画像符号化装置である。

図２において、図１と同一部分には同一符号を付して重複説明を省略する。

この実施例２は、図１の実施例１に対して、モード情報符号化手段１４と付加手段１５を加えたものである。

モード情報符号化手段１４は、前記圧縮モードに対応した特定の符号列を発生させる。

付加手段１５は、前記モード情報符号化手段１４からの符号列を、圧縮符号化手段１３の出力の特定位置に挿入する。

付加手段１５は、例えば、圧縮符号化手段１３をＭＰＥＧ１またはＭＰＥＧ２による符号化であるとすれば、各種ヘッダ情報の中に存在するユーザデータ領域内に圧縮モードを示す付加符号を挿入している。また、ＭＰＥＧ２などの複数の画像を一つのグループ（ＧＯＰ）として符号化をおこなう圧縮符号化方式においては、ＧＯＰ単位での再生が補償できる点から、圧縮モードの切換の最小単位はＧＯＰ単位とし、少なくとも１ＧＯＰに一度は前記圧縮モードを示す付加符号を挿入する。

尚、モード情報符号化手段１４と付加手段１５とは、選択手段（１２）の選択モードを符号化して、前記符号列の所定の位置に挿入するモード情報付加手段（１４，１５）を形成している。

このように、実施例２では、圧縮モードを示す符号列を画像データの符号列内に付加している。

尚、通常モードにおける圧縮モードを示す符号は挿入しても挿入しなくとも問題とならないため、高圧縮モード時のみ高圧縮モードである旨を示す符号を付加することも例外ではない。

また、ＭＰＥＧ２を例として圧縮モードの切換え単位を上述したが、再生可能な単 位であればいかなる時に圧縮モードを切り換えてもかまわない。

更に、ＭＰＥＧ２を例として圧縮モードを示す符号列を挿入する位置及び周期に関 して上述したが、分離可能でかつ再生に支障のない位置及び周期であればいかなる位置及び周期であっても良い。

図３を参照しつつ、本発明の実施例３を説明する。

図３は、動画像復号装置の構成図である。

この実施例３は、実施例１で符号化されたデータを元の動画に戻す装置である。

２１は、復号手段である。復号手段２１は入力された符号列から、伝送画素データを生成する。

２２は、補間手段である。補間手段２２は、圧縮モードが高圧縮モードであれば非伝送画素データを補間処理によって算出し、所定の位置に配置する。これによって、通常モードにおける復号手段２１の出力と同一画面サイズをもつ画像データとなる。

２３は、出力選択手段である。出力選択手段２３は、同時に与えられる圧縮モードにしたがって、通常モードでは復号手段２１の出力を選択して再生画像データとして出力する。又、高圧縮モードでは補間手段２２の出力を選択して再生画像データとして出力する。

尚、この実施例３では、出力選択手段２３を補間手段２２の後段に設けた。しかし、例えば、通常モードでは入力信号をそのまま通過させ、高圧縮モード時には補間を行う補間手段を利用すれば、この出力選択手段２３と補間手段２２とを一体とできる。

この実施例３の復号手段２１は、入力された符号列から画像データを復元し第１の再生画像とする第１の再生手段（２１）を形成している。

復号手段２１と補間手段２２とは、入力された符号列から画像データを復元し、この復元画像データに補間処理を施し第２の再生画像とする第２の生成手段（２１，２２）を形成している。

そして、出力選択手段２３は、モードに従って前記第１の再生画像または前記第２の再生画像のいずれかを選択して出力する選択手段（２３）を形成している。

図４を参照しつつ、本発明の実施例４を説明する。

図４は、動画像復号装置の構成図である。

この実施例４は、実施例２で符号化されたデータを元の動画に戻す装置である。

この実施例４では、圧縮モードを示す符号列を画像データの符号列内に付加した符号列を復号する。

つまり、この実施例４では、実施例３の動画像符号化装置に符号分離手段２４を更に備える。

符号分離手段２４は、入力された符号列の中から圧縮モードを示す符号列を分離し、圧縮モード信号を必要とする全てのブロックに分配する。

図５を参照しつつ、本発明の実施例５を説明する。

図５は、動画像記録装置の構成図である。

この実施例５は、実施例１の動画像符号装置を用いて動画像記録装置を構成している。

ここでは、圧縮モードが動画像を録画する記録時間に関係するため記録モードと呼ぶ。

即ち、前記通常モードが標準モードに対応する。そして、前記高圧縮モードが長時間記録モードに対応する。

動画像符号化装置３０から出力された符号列は、多重手段３１において記録モード信号を多重されると同時に、記録媒体３３にて適した信号フォーマットに変換される。

そして、録媒体書き込み手段３２を介して記録媒体３３に書き込まれる。

多重手段３１における録画モード信号との多重は画像データの符号列の特定の位置に挿入されるものではなく、記録媒体３３に記録する信号形式に従って指示された場所に多重されるものである。

尚、記録媒体において各データに対する記録モードを記録して管理するためのデータ領域が存在するような記録媒体であれば、同一の記録媒体の前記データ領域にモード情報を記録するようにしてもよい。

図６を参照しつつ、本発明の実施例６を説明する。

図５は、動画像記録装置の構成図である。

この実施例６は、実施例２の動画像符号装置を用いて動画像記録装置を構成している。

録画モード信号は、すでに符号化され動画像復号装置３４の出力である符号列の中に挿入されている。

従って、記録媒体書き込み手段３５が符号列を記録媒体に適した信号フォーマットに変換した後、記録媒体３３に書き込む。

符号化時に、モードに応じて間引き処理を選択的に行うことが可能となるので、圧縮率を高め、且つ、画質の劣化の少ない符号化の利便性が高まる。

本発明の実施例１の動画像符号化装置の構成図である。 実施例２の動画像符号化装置の構成図である。 実施例３の動画像復号装置の構成図である。 実施例４の動画像復号装置の構成図である。 実施例５を示す図である。 実施例６を示す図である。 間引手段を説明するための図である。 間引手段を説明するための図である。 間引手段を説明するための図である。

符号の説明

１１ 間引手段
１２ 選択手段
１３ 圧縮符号化手段（符号化手段）
１４ モード情報符号化手段（モード情報付加手段）
１５ 付加手段（モード情報付加手段）
２１ 復号手段
２２ 補間手段
２３ 出力選択手段（選択手段）
２４ 符号分離手段（モード情報分離手段）
３０ 動画像符号化装置
３１ 多重手段
３２ 記録媒体書き込み手段
３３ 記録媒体
３４ 動画像符号化装置
３５ 記録媒体書き込み手段

Claims (9)

1. 入力ディジタル画像データに対してフレーム単位で間引を行い伝送画素数を削減する間引き手段と、
   少なくとも１つ以上の連続するフレームをモード切換の最小単位として、前記入力ディジタル画像データと前記間引手段の出力である画素数の少ない画像データのいずれかを選択する選択手段と、
   この選択手段の出力を符号化し、フレーム単位で符号列を生成する符号化手段と、
   前記選択手段の選択モードに関する情報を符号化して、前記符号列の所定の位置に挿入するモード情報付加手段と
   を備えることを特徴とする動画像符号化装置。
2. 入力ディジタル画像データの符号化を行いフレーム単位で第１の符号列を生成する第１の圧縮符号化手段と、
   前記入力ディジタル画像データに対してフレーム単位で間引処理を施して伝送画素数を削減し、符号化を行い、フレーム単位で第２の符号列を生成する第２の符号生成手段と、
   少なくとも１つ以上の連続するフレームをモード切換の最小単位として、前記第１の符号列または第２の符号列の生成を選択する選択手段と、
   前記選択手段の選択モードに関する情報を符号化して、前記符号列の所定の位置に挿入するモード情報付加手段と
   を備えることを特徴とする動画像符号化装置。
3. 前記選択手段の選択モードに関する情報を挿入する符号列は、モード切換の最小単位に対応するヘッダ領域に挿入する、
   ことを特徴とする請求項１または請求項２に記載の動画像符号化装置。
4. 前記符号化手段は、動き補償を伴い、複数の画像データを一組として管理する符号化を行うものであって、
   前記モード切換の最小単位は、前記複数の画像データを一組とした管理単位である、
   ことを特徴とする請求項１から３の何れかに記載の動画像符号化装置。
5. 前記間引手段とはサブサンプリングによる間引処理であることを特徴とする請求項１から請求項４の何れかに記載の動画像符号化装置。
6. 前記間引手段とは時間方向でのコマ落としによる間引処理であることを特徴とする請求項１から請求項４の何れかに記載の動画像符号化装置。
7. 入力ディジタル画像データの符号化を行いフレーム単位で第１の符号列を生成する第１の符号化モードと、前記入力ディジタル画像データに対してフレーム単位で間引処理を施して伝送画素数を削減し、符号化を行い、フレーム単位で第２の符号列を生成する第２の符号モードの少なくとも２つの異なるモードに対応した符号列と当該符号列に挿入されたモードに関する情報を入力とし、動画像を再生する動画像復号装置において、
   前記符号列から画像データを復元する復号手段と、
   この復元された画像データを入力として補間処理を行う補間手段と、
   前記モードに関する情報に従って前記復号手段の出力または前記補間手段の出力のいずれかを選択して出力する選択手段と
   を備えることを特徴とする動画像復号装置。
8. 入力ディジタル画像データの符号化を行いフレーム単位で第１の符号列を生成する第１の符号化モードと、前記入力ディジタル画像データに対してフレーム単位で間引処理を施して伝送画素数を削減し、符号化を行い、フレーム単位で第２の符号列を生成する第２の符号モードの少なくとも２つの異なるモードに対応した符号列と当該符号列に挿入されたモードに関する情報を入力とし、動画像を再生する動画像復号装置において、
   前記符号列から画像データを復元し第１の再生画像とする第１の再生手段と、
   前記符号列から画像データを復元し、復元画像データに補間処理を施し第２の再生画像とする第２の生成手段と、
   前記モードに関する情報に従って前記第１の再生画像または前記第２の生成画像のいずれかを選択して出力する選択手段と
   を備えることを特徴とする動画像復号装置。
9. 符号列に符号化され挿入された前記モードに関する情報を分離して復号するモード情報分離手段を備えることを特徴とする請求項７または請求項８に記載の動画像復号装置。

Images