WO2002001883A1

WO2002001883A1 - Image encoder and image encoding method

Info

Publication number: WO2002001883A1
Application number: PCT/JP2000/004263
Authority: WO
Inventors: Yoshihisa Yamada; Okikazu Tanno; Kohtaro Asai; Tokumichi Murakami
Original assignee: Mitsubishi Denki Kabushiki Kaisha
Priority date: 2000-06-28
Filing date: 2000-06-28
Publication date: 2002-01-03
Also published as: AU2000257047A1; US7215710B2; EP1296525A1; US20020001345A1; KR100504641B1; KR20020030100A; EP1296525A4

Description

明細書画像符号化装置および画像符号化方法技術分野

この発明は、復号側で出力されるフレームレー卜に影響を及ぼすことなく、動画像信号を符号化する画像符号化装置および画像符号化方法に関するものである。背景技術

動画像信号をデジタル化するとデータ量が膨大になるため、光ディスクなどの記録媒体に蓄積したり放送 ·通信したりする場合には、動画像信号に対して符号化処理を実行して、データ量の低減が図られる。

動画像信号に対する符号化の方法は多数提案されているが、例えば I S 0 / I E Cで国際標準化されている M P E G ( Moving Picture Exper ts Group) 方式では、離散コサイン変換（D C T ) 符号化と動き補償予測（M C ) 付きフレーム間差分符号化を組み合せたハイプリッド符号化と呼ばれる方式が採用されている。

動き補償予測付きフレーム間差分符号化では、符号化済み画像と符号化対象画像とから所定のサイズのブ口ックを単位として動きべクトルが計算され、両者の画像から得られる差分信号と動きべクトルが符号化される。

離散コサイン変換符号化では、符号化対象画像もしくは前述の差分信号が空間領域から周波数領域に変換され、生成された D C T係数を、転送レートに応じて量子化ステップサイズに応じて量子化することにより符号化後のデ一夕の量（符号量）が削減される。この量子化ステップサィズは予め設定された範囲（例えば M P E G方式の場合は 1から 3 1までの整数値）のいずれかに設定され、量子化ステップサイズを大きくすると符号量が大幅に削減されるが、その分、画質が劣化する。

例えばデジタル放送では、 M P E G方式を使用した場合、約 2 0分の 1から 5 0分の 1に符号量を圧縮するが、さらに、圧縮率を高めようとすると、人間の目に知覚される「プロックノイズ」や「モスキートノィズ」などの様々な符号化雑音が発生し、復号される画像の品質が著しく劣化することが知られている。

そのため符号化雑音の発生を抑えながらかつより高いデータ圧縮を図る場合には、例えば特開平 9— 1 6 8 1 5 5号公報に記載の動画符号化方法のように、入力動画像信号の特性に応じて一部のフレームを間引くことによりデ一夕圧縮が実行される。このとき、例えば I T U— Tで標準化された H . 2 6 1方式が符号化に使用されている場合、復号側では、符号化後のデータはそのまま復号され、間引かれたフレームの画像は、その前のフレームの画像が継続して表示される。

しかしながら、従来の画像符号化方法は以上のように構成されているので、 M P E G 2方式のように、復号時に動画像信号のフレームレートを一定にして出力するように規定されている符号化方式の場合、復号側で、符号化後のデ一夕をそのまま復号し、間引かれたフレームの画像として例えばその前のフレームの画像を継続して表示することができないので、 M P E G 2方式のように、復号時に動画像信号のフレームレートを一定にして出力するように規定されている符号化方式を使用して、復号側で出力されるフレームレートに影響を及ぼすことなく、画質の劣化を抑制しつつデ一夕圧縮を実現することが困難であるなどの課題があつた。

この発明は上記のような課題を解決するためになされたもので、前処理として、動画像信号のフレームレートや画像サイズを制御し、復号時に動画像信号のフレームレ一トを一定にして出力するように規定されている符号化方式で、その処理情報に基づいてその制御後の動画像信号を符号化し、その符号化方式に適合した符号化後のデ一夕を出力するようにして、復号側で出力されるフレームレートに影響を及ぼすことなく、画質の劣化を抑制しつつデータ圧縮を実現することができる画像符号化装置および画像符号化方法を得ることを目的とする。発明の開示

この発明に係る画像符号化装置によれば、入力画像制御器が、復号時に動画像信号のフレームレートを一定にして出力するように規定されている符号化方式で符号化する際に符号化後のデータの量が低減する所定の処理を動画像信号に対して実行し、処理後の動画像信号を出力するとともに、その処理内容を示す処理情報を出力し、画像符号化器が、入力画像制御器により処理された動画像信号を処理情報に基づいて符号化方式に適合したデ一夕へ符号化する。このことによって、復号側で出力されるフレームレートに影響を及ぼすことなく、画質の劣化を抑制しつつデ一夕圧縮を実現することができるという効果が得られる。また、その符号化方式に従った符号化後のデ一夕が出力されるため、復号側の構成を変更することなく、符号量を低減することができるという効果が得られ O o

この発明に係る画像符号化装置によれば、画像符号化器は、 M P E G 2方式で符号化する。

この発明に係る画像符号化装置によれば、入力画像制御器が、動画像信号がイン夕レース方式の信号である場合に、所定の割合で、フレームのうちの一方のフィ一ルドを除去し、処理後の動画像信号を出力するとともに、除去したフィールドを示す処理情報を出力し、画像符号化器が、処理情報に基づいてフィールドの除去を検知し、除去されたフィールドの代わりに別のフィ一ルドを復号時に出力する指令をォ一バーへッド情報として付加して処理後の動画像信号を符号化する。

この発明に係る画像符号化装置によれば、入力画像制御器が、動画像信号がプログレッシブ方式の信号である場合に、所定の割合でフレームを除去し、処理後の動画像信号を出力するとともに、除去したフレームを示す処理情報を出力し、画像符号化器が、処理情報に基づいてフレームの除去を検知し、除去されたフレームの代わりに別のフレームを復号時に出力する指令をォ一バーへッド情報として付加して処理後の動画像信号を符号化する。

この発明に係る画像符号化装置によれば、入力画像制御器が、動画像信号がイン夕レース方式の信号である場合に、所定の割合で、フレームのうちの一方のフィールドを除去し、処理後の動画像信号を出力するとともに、除去したフィールドを示す処理情報を出力し、画像符号化器が、処理情報に基づいてフィールドの除去を検知し、除去されたフィ一ルドについては他のフィ一ルドに基づいて予測符号化して、除去されたフィールドに対応する符号化後のデ一夕を生成する。このことによって、間引いたフィ一ルドについては予測符号化が実行され、符号量を低減することができるという効果が得られる。

この発明に係る画像符号化装置によれば、画像符号化器が、水平方向および垂直方向のすべての動きベクトルを 0 として予測符号化を実行する

この発明に係る画像符号化装置によれば、画像符号化器が、水平方向のすベての動きべクトルを 0とし、垂直方向のすべての動きべクトルを

+ 0 . 5または一 0 . 5 として予測符号化を実行する。このことによつて、垂直方向の動きべクトルを 0にする場合に比べ復号後の画像の垂直解像度を高くすることができるという効果が得られる。

この発明に係る画像符号化装置によれば、画像符号化器および入力画像制御器のいずれかが、除去されたフィールドの前後のフィ一ルドである 2つのフィールドから動きベクトルを測定し、画像符号化器が、測定した動きべクトルを 2つのフィールドと除去されたフィールドとの各間隔に応じて内挿して、除去されたフィ一ルドについての予測符号化を実行する。このことによって、復号後の画像の劣化を低減することができるという効果が得られる。

この発明に係る画像符号化装置によれば、入力画像制御器が、動画像信号の画像サイズを変更し、処理後の動画像信号を出力し、画像サイズを変更したことを示す処理情報を出力し、画像符号化器が、処理後の動画像信号のうち、処理情報に基づいて画像サイズが変更されたフレームを検知し、そのフレームをフレーム内符号化する。このことによって、復号側で出力されるフレームレートに影響を及ぼすことなく、画質の劣化を抑制しつつデータ圧縮を実現することができるという効果が得られる。また、その符号化方式に従った符号化後のデータが出力されるため、復号側の構成を変更することなく、符号量を低減することができるという効果が得られる。

この発明に係る画像符号化装置によれば、入力画像制御器が、所定の画像単位の先頭で動画像信号の画像サイズを変更し、画像符号化器が、画像サイズを変更されたフレームをフレーム内符号化する。このことによって、フレーム内符号化モードでの符号化の頻度を低減することができるという効果が得られる。

この発明に係る画像符号化装置によれば、入力画像制御器が、 G O P へヅダの直後のフレームの画像サイズを変更する。このことによって、フレーム内符号化モ一ドでの符号化の頻度を低減することができるという効果が得られる。

この発明に係る画像符号化装置によれば、入力画像制御器が動画像信号の高周波成分を抑制する。このことによって、符号量を抑制することができるという効果が得られる。

この発明に係る画像符号化装置によれば、入力画像制御器が各フレームのピクチャタイプに応じて所定の処理を実行する。このことによって

、予測符号化のときの基準となる I ピクチャについては入力動画像信号のままで符号化され、より忠実に符号化を実行することができるという効果が得られる。

この発明に係る画像符号化装置によれば、入力画像制御器が、各フレームにおける画素値の分散、フレーム間の画素値の差分、および動きべクトルの少なくとも 1つに基づいて、画像符号化器により符号化されたデータのデータ量を判断し、そのデ一夕量に応じて所定の処理を実行する。このことによつて、符号量が多くなると符号量を少なくするように所定の処理が実行され、符号量を一定に近づけることができるという効果が得られる。

この発明に係る画像符号化装置によれば、入力画像制御器が、撮影シ —ンの種類に基づいて画像符号化器により符号化されるデ一夕のデータ量を判断し、その撮影シーンの種類に応じて所定の処理を実行する。このことによって、処理遅延や回路規模を低減することができるという効果が得られる。

この発明に係る画像符号化方法によれば、復号時に動画像信号のフレームレートを一定にして出力するように規定されている符号化方式で符号化された際に符号化後のデータの量が低減する所定の処理を動画像信号に対して実行し、処理後の動画像信号を出力するとともに、その処理内容を示す処理情報を出力し、処理後の動画像信号を処理情報に基づいて符号化方式に適合したデ一夕へ符号化する。このことによって、復号側で出力されるフレームレートに影響を及ぼすことなく、画質の劣化を抑制しつつデ一夕圧縮を実現することができるという効果が得られる。また、その符号化方式に従った符号化後のデ一夕が出力されるため、復号側の構成を変更することなく、符号量を低減することができるという効果が得られる。

この発明に係る画像符号化装置によれば、入力画像制御器が、動画像信号がイン夕レース方式の信号である場合に、所定の割合で各フレームの 2つのフィールドを同一のものとし、処理後の動画像信号を出力し、画像符号化器が、入力画像制御器により処理された動画像信号を、復号時に動画像信号のフレームレートを一定にして出力するように規定されている符号化方式で符号化する。このことによって、符号化される動画像信号のフレームレートを変更せずに、フィールド間の相関（特に垂直方向の相関）を高めることで符号化の効率を高め、符号量を低減することができるという効果が得られる。図面の簡単な説明

第 1図は、この発明の実施の形態 1による画像符号化装置の構成を示すプロヅク図である。

第 2図は、イン夕レース方式の動画像信号の構成を示す図である。第 3図は、プログレッシプ方式の動画像信号の構成を示す図である。第 4図は、ピクチャ符号化拡張における r e p e a t— f i r s t—

： f i e l dや t o p— f i e l d— f i r s tを使用して、 4フレーム分のイン夕レース方式の符号化動画像信号を、復号側で 5フレームで出力する際の各フィールドの対応関係を示す図である。第 5図は、ピクチャ符号化拡張における r e p e a t— f i r s t— f i e l dや t o p— f i e l d— f i r s tを使用して、 4フレーム分のプログレッシブ方式の符号化動画像信号を、復号側で 9フレームで出力する際の信号の一例を示す図である。

第 6図は、実施の形態 1における、イン夕レース方式の入力動画像信号、制御後動画像信号、および復号側での動画像信号の対応関係の一例を示す図である。

第 7図は、実施の形態 2において、イン夕レース方式の入力動画像信号に対して各 3フィールドのうちの 1フィールドを間引き、復号側で各 2フィ一ルドのうちの 1フィールドを 2回繰り返し出力されるようにした場合の動画像信号の一例を示す図である。

第 8図は、実施の形態 3による画像符号化装置における制御後動画像信号の一例を示す図である。発明を実施するための最良の形態

以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。

実施の形態 1.

第 1図はこの発明の実施の形態 1による画像符号化装置の構成を示すプロヅク図である。図において、 1は I S 0ノ I E Cで国際標準化された MP E G 2方式（ I S 0/I E C 1 38 1 8 - 2) などの、復号時に動画像信号のフレームレ一トを一定にして出力するように規定されている符号化方式で符号化された際に、符号量が低減する所定の処理を入力動画像信号に対して実行し、処理後の動画像信号（制御後動画像信号 ) を出力するとともに、その処理内容を示す処理情報を出力する入力画像制御器であり、 2は入力画像制御器 1からの制御後動画像信号を処理情報に基づいてその符号化方式に適合したデータへ符号化する画像符号化器である。なお、符号化方式として MP E G 2方式を使用する場合には、 I S 0/1 E C 1 3 8 1 8— 2準拠の符号化器が画像符号化器 2 に使用される。

次に動作について説明する。

ここでは、復号時に動画像信号のフレ一ムレートを一定にして出力するように規定されている符号化方式として、 MP E G 2方式を使用した場合について説明する。 MP E G 2方式では、イン夕レース方式の動画像信号とプログレッシブ方式の動画像信号に対する符号化方式がそれそれ定められている。第 2図はイン夕レース方式の動画像信号の構成を示す図であり、第 3図はプログレッシプ方式の動画像信号の構成を示す図である。第 2図に示すようにイン夕レース方式では、 1ラインおきに走査された信号でフィールドが構成され、 2つのフィールドで 1フレームの動画像信号が構成される。一方、第 3図に示すようにプログレッシブ方式では、 1ラインずつ順次走査された信号で 1つのフレームが構成され ο

入力画像制御器 1は、 MP E G 2方式で符号化された際に符号量が低減する所定の処理を入力動画像信号に対して実行し、処理後の動画像信号とその処理内容を示す処理情報を画像符号化器 2に供給する。画像符号化器 2は入力画像制御器 1からの処理後の動画像信号を、その処理情報に基づいて M P E G 2方式に適合したデ一夕へ符号化し、符号化後のデ一夕をビットストリームとして出力する。

ここで、実施の形態 1による画像符号化装置における入力画像制御器 1および画像符号化器 2の詳細な動作について説明する。

MP E G 2方式では、オーバ一へッド情報（ピクチャへッダ直後のピクチャ符号化拡張における r e p e a t— f i—r s t—f i e l dの値と t o p— f i e l d— f i r s tの値）を用いて、復号時にフィ一ルドゃフレームを繰り返し表示させるように、符号化時に指定することが可能である。なお、ピクチャ符号化拡張における r e p e a t— f i r s t— f i e l dや t o p— f i e l d— f i r s tは、例えば映画フイルムから得られる 2 4フレーム /秒の動画像信号を 2 4フレームノ秒で符号化し、復号側において 3 0フレーム/秒のィン夕レース方式の動画像信号や 6 0フレームノ秒のプログレッシブ方式の動画像信号に復号する際に使用することを目的として設けられたものである。すなわち、一般的に、このピクチャ符号化拡張における r e p e a t— f i r s t — f i e l dや t o p— f i e l d— f i r s tは、入力動画像信号のフレームレートが復号時のフレームレートより低い場合に使用される。第 4図は、ピクチャ符号化拡張における r e p e a t— f i r s t— f i e l dや t o p— f i e l d— f i r s tを使用して、 4フレーム分のイン夕レース方式の入力動画像信号を、復号側で 5フレームで出力する際の各フィールドの対応関係を示す図である。第 4図に示すように、例えば 4フレーム分のイン夕レース方式の入力動画像信号 1 0 1— 1 〜 1 0 4— 2が符号化され、復号時に、ピクチャ符号化拡張における r e p e a t― f i r s t― f i e l aや t o p― ι ι e 1 d一 f i r s tに基づいて、 4フレーム分の動画像信号が復号され、例えばフィールド 1 0 1— 1 , 1 0 3— 2を繰り返して出力することにより、 5 フレ一ム分の動画像信号が出力される。

第 5図は、ピクチャ符号化拡張における r e p e a t— f i r s t— f i e l dや t o p— f i e l d— f i r s tを使用して、 4フレーム分のプログレッシブ方式の入力動画像信号を、復号側で 9フレームで出力する際の信号の一例を示す図である。第 5図に示すように、例えば 4 フレーム分のプログレッシブ方式の入力動画像信号 1 0 1〜 1 0 4が符号化され、復号時に、ピクチャ符号化拡張における r e p e a t— f i r s t一 f i e l dや t o p— f i e l d— f i r s tに基づいて、 4 ^jフレ一ム分の動画像信号が復号され、例えばフレーム 1 0 1が 3回繰り返し出力され、フレーム 1 0 2が 2回繰り返し出力され、フレーム 1 0 3が 3回繰り返し出力され、フレーム 1 0 4が出力される。

そこで、入力画像制御器 1は、入力動画像信号が 3 0フレームノ秒のイン夕レース方式の信号である場合、 2 4フレーム /秒になるように、その入力動画像信号のフィールドを間引き、処理後の動画像信号を、間引いたフィ一ルドを示す処理情報とともに画像符号化器 2に供給する。画像符号化器 2は、その処理情報に基づき、 2 4フレーム/秒の制御後動画像信号を、復号側で 3 0フレーム/秒で復号されるようにオーバーへヅド情報を設定して符号化し、符号化後のデータをビットストリームとして出力する。すなわち、入力画像制御器 1は、フィールドを間引いた際にその旨を示す処理情報を画像符号化器 2に供給し、画像符号化器 2は、その処理情報を受け取ると、フィールドが間引かれたことを検知し、復号側でその間引かれたフィールドの出力の代わりに他のフィールドを繰り返し出力されるようにオーバーへッド情報を設定し、ピクチャ符号化拡張に書き込む。

第 6図は、実施の形態 1における、イン夕レース方式の入力動画像信号、制御後動画像信号、および復号側での動画像信号の対応関係の一例を示す図である。例えば第 6図に示すように、入力動画像信号のフィ一ルド 1 0 1— 1， 1 0 1— 2， · ■ · ， 1 0 5 - 1 , 1 0 5— 2のうち、入力画像制御器 1により、フィールド 1 0 2— 1 とフィールド 1 0 4 ― 2が間引かれ、それ以外のフィールドの信号が画像符号化器 2に供給されるとともに、フィールド 1 0 2— 1 , 1 0 4— 2を間引いた際に、その旨を示す処理情報が画像符号化器 2に供給される。そして、 MP E G 2方式でその制御後動画像信号が符号化され、符号化後のデ一夕がビヅトストリームとして出力される。そして、復号側では、ピクチャ符号化拡張におけるォ一パーへヅド情報に基づき、フィールド 1 0 1 _ 1が次のフレームの第 1 フィールドとして繰り返し出力され、フィールド 1 0 3— 2が次のフレームの第 2フィールドとして繰り返し出力され、入力動画像信号と同一のフレームレートが保たれる。

また、入力動画像信号がプログレッシブ方式の信号である場合、入力画像制御器 1は、所定の割合でフレームを間引き、間引き後の動画像信号を、間引いたフレームを示す処理情報とともに画像符号化器 2に供給する。画像符号化器 2は、その処理情報に基づき、制御後動画像信号を、復号側で元のフレームレートで復号されるようにしたオーバーへヅド情報を付加して符号化し、符号化後のデ一夕をビットストリームとして出力する。

なお、フィールドやフレームを間引く際は、できる限り、先行するフィールドゃフレームを間引くようにすることにより、処理遅延を少なくすることができる。

このように、入力画像制御器 1 により動画像信号のフレームレートが低減され、フレームレートの低減された制御後動画像が M P E G 2方式で符号化され、復号側では、ピクチャ符号化拡張を参照して、入力動画像信号と同一のフレームレートで復号後の動画像信号が出力される。以上のように、この実施の形態 1によれば、前処理として動画像信号のフレームレートを制御し、 M P E G 2方式で、その処理情報に基づいてその制御後の動画像信号を符号化し、オーバーへッド情報を含む M P E G 2方式に適合した符号化後のデータを出力するようにしたので、復号側で出力されるフレームレ一トに影響を及ぼすことなく、画質の劣化を抑制しつつデ一夕圧縮を実現することができるという効果が得られる。また、 M P E G 2方式に従った符号化後のデータが出力されるため、通常の M P E G 2デコーダを復号側で使用でき、復号側の構成を変更することなく、符号量を低減することができるという効果が得られる。実施の形態 2 .

この発明の実施の形態 2による画像符号化装置は、制御後動画像信号のフレームレ一トを他のレートにしたものである。なお、この実施の形態 2による画像符号化装置の構成については、実施の形態 1によるものと同様であるので、その説明を省略する。

次に動作について説明する。

入力画像制御器 1は、入力動画像信号がィンタレース方式の信号である場合、各 3フィールドのうちの 1 フィールドを間引き、画像符号化器 2は、復号側で各 2フィールドのうちの 1フィールドが 2回繰り返し出力されるようにオーバ一へッド情報を設定して、間引き後の動画像信号を M P E G 2方式で符号化する。第 7図は、実施の形態 2において、ィン夕レース方式の入力動画像信号に対して各 3フィールドのうちの 1フィ一ルドを間引き、復号側で各 2 フィールドのうちの 1 フィールドを 2 回繰り返し出力されるようにした場合の動画像信号の一例を示す図である。

これにより、入力動画像信号のフレームレートが 3 0フレーム/秒である場合、制御後動画像信号のフレームレートが 2 0 フレーム/秒になる。なお、制御後動画像信号のフレームレ一トを 2 0フレーム/秒〜 3 0フレーム/秒の任意のフレームレートに設定するようにしてもよい。この場合も復号側では、オーバーへッド情報を参照して符号化後のデ一夕が復号され、復号後の動画像信号が 3 0 フレーム Z秒で出力される。

また、入力動画像信号が 6 0 フレームノ秒のプログレッシブ方式の信号である場合、復号側でオーバ一へッド情報に基づき 1 フレームを 3 フレーム期間もしくは 2 フレーム期間繰り返し出力することができるため、入力画像制御器 1は、制御後動画像信号のフレームレートを 2 0 フレーム /秒〜 6 0フレーム/秒のうちの任意のフレームレートに設定し、画像符号化器 2は、それに対応してオーバーヘッド情報を設定して、制御後動画像信号を M P E G 2方式で符号化する。この場合、復号側では、オーバーヘッド情報を参照して符号化後のデータが復号され、復号後の動画像信号が 6 0フレーム Z秒で出力される。

なお、その他の動作については実施の形態 1によるものと同様であるので、その説明を省略する。

以上のように、この実施の形態 2によれば、実施の形態 1による効果の他、フレームレートの低減の度合いによって、より符号量を低減することができるという効果が得られる。実施の形態 3 .

この発明の実施の形態 3による画像符号化装置は、入力動画像信号における各フレームの第 1 フィールドと第 2フィ一ルドとを同一のものとして制御後動画像信号を生成し、制御後動画像信号のフレ一ムレートを入力動画像信号のフレームレートと同一のままとするようにしたものである。なお、この実施の形態 3による画像符号化装置の構成については、実施の形態 1によるものと同様であるので、その説明を省略する。ただし、入力制御装置 1が処理情報を画像符号化器 2へ供給する必要はない

次に動作について説明する。

第 8図は、この実施の形態 3による画像符号化装置における制御後動画像信号の一例を示す図である。入力画像制御器 1は、例えば 3 0フレーム/秒のィン夕レース方式の入力動画像信号の各フレームについて、第 8図における第 1 フレ一ムゃ第 2フレームのように第 1フィールド 1 0 1— 1 , 1 0 2— 1を同一の信号をそのフレームの第 2 フィールドとして出力する。画像符号化器 2 は第 1 フィールドと第 2 フィールドが同一である制御後動画像信号を符号化する。

なお、第 8図における第 1、第 2フレームのように、第 1フィールドと同一の信号を第 2フィールドとして出力するようにしてもよいし、第 8図における第 3フレームのように、第 2フィ一ルドと同一の信号を第 1 フィールドとして出力するようにしてもよい。

なお、その他の動作については実施の形態 1によるものと同様であるので、その説明を省略する。ただし、この場合、オーバ一ヘッド情報を設定する必要は特にない。

以上のように、この実施の形態 3によれば、動画像信号がインタレ一ス方式の信号である場合に、所定の割合で各フレームの 2つのフィ一ルドを同一のものとするようにしたので、符号化される動画像信号のフレ一ムレ一トを変更せずに、フィールド間の相関（特に垂直方向の相関）を高めることで M P E G 2方式での符号化の効率を高め、符号量を低減することができるという効果が得られる。実施の形態 4 .

この発明の実施の形態 4による画像符号化装置は、動画像信号がィン夕レース方式の信号である場合に、入力画像制御器 1で、所定の割合でフレームのうちの一方のフィールドを除去し、処理後の動画像信号を出力するとともに、除去したフィールドを示す処理情報を出力し、画像符号化器 2で、その処理情報に基づいてフィールドの除去を検知し、除去されたフィールドについては他のフィ一ルドに基づいて予測符号化して、除去されたフィールドに対応する符号化後のデ一夕を生成するようにしたものである。なお、この実禅の形態 4による画像符号化装置の構成については、実施の形態 1によるものと同様であるので、その説明を省略する。

次に動作について説明する。

入力画像制御器 1は、入力動画像信号がィン夕レース方式の信号である場合に、所定の割合で、フレームのうちの一方のフィールドを除去し、処理後の動画像信号を出力するとともに、除去したフィールドを示す処理情報を出力する。画像符号化器 2は、 1 フレームの符号化を個々のフィールドごとに符号化を行うフィールド構造を選択し、間引かれていないフィ一ルドに対しては通常通りに符号化し、間引かれたフィ一ルドに対しては先に符号化したフィールドから片方向予測を実行する。このとき、画像符号化器 2は、すべてのマクロブロックに対する動きべクトル（水平成分，垂直成分）を（ 0 , 0 ) とし、差分信号の符号化を抑制する。このようにすることにより、間引かれたフィールドについて、ほとんどのマクロブロックに対して符号化が実行されず、符号量がほとんどなくなる。なお、この場合、復号側では、間引かれたフィールドの信号として、その前のフィールドの信号が繰り返し出力される。

なお、動きベクトルを（ 0 , 0 ) ではなく、（ 0 , — 0 . 5 ) もしくは（ 0 , + 0 . 5 ) とすることにより、上下のライン間の信号から補間信号が作成されるため、同一の画像信号を繰り返す場合、すなわち動きベクトルが（ 0 , 0 ) である場合より、復号後の画像の垂直解像度が高くなる。

さらに、動きベクトルをフィールド画像全体に同一の値とするか、もしくはスライス（複数のマクロプロックから構成される領域）単位で同一の値とすることにより、符号量をほとんど増やすことなく時間解像度の低減が抑制される。

なお、間引かれたフィールドに対する予測符号化の際に使用する動きべクトルには、除去されたフィ一ルドの前後のフィ一ルドである 2っ以上のフィ一ルドの間の動きべクトルから内挿して計算されるものを使用するようにしてもよい。すなわち、例えば通常通り符号化する第 1 フィールドと次の通常通り符号化する第 1フィールドとの間で画面全体に対して 1 0画素の動きが検出された場合、中間値の 5画素の動きべクトルで第 2フィールドに対する予測符号化が実行される。このとき、動きの大きさは、動きを測定する機能を入力画像制御器 1に追加して計算したり、画像符号化器 2でマクロプロックごとに検出される動きぺクトルを画面全体であるいはスライス単位で平均として計算することができる。

また、前後のフィールドから内挿してベクトルを求める代わりに、例えば前のフィールドのべクトルの値から外揷処理をすることにより、ほぼ同様の効果を得ることもできる。

以上のように、この実施の形態 4によれば、動画像信号がインタレ一ス方式の信号である場合に、入力画像制御器 1が、所定の割合でフレームのうちの一方のフィールドを除去し、処理後の動画像信号を出力するとともに、除去したフィールドを示す処理情報を出力し、画像符号化器 2が、. その処理情報に基づいてフィールドの除去を検知し、除去されたフィールドについては他のフィ一ルドに基づいて予測符号化して、除去されたフィ一ルドに対応する符号化後のデータを生成するようにしたので、間引いたフィールドについては予測符号化が実行され、符号量を低減することができるという効果が得られる。一方のフィールドを間引いた場合、そのフレームについて発生する符号量は、間引かない場合の符号量のほぼ半分とすることができる。

また、画面の部分ごとに動きの大きさが異なる場合には、スライス単位で動きべクトルを設定するようにしたので、復号側でより滑らかな動きで動画像信号が復号されるようにすることができるという効果が得られる。実施の形態 5 .

この発明の実施の形態 5による画像符号化装置は、符号化時のピクチャタイプに応じて、入力動画像信号に対して所定の処理を実行するか否かを判断するようにしたものである。なお、この実施の形態 5による画像符号化装置の構成については、実施の形態 1によるものと同様であるので、その説明を省略する。

次に動作について説明する。

入力画像制御器 1は、各フレームのピクチャタイプを画像符号化器 2 から事前に読み出し、例えば I ビクチャ（フレーム内符号化ピクチャ）であるフレームについては間引きを実行せず、他の画像の予測に使用されない Bピクチャ（両方向予測ピクチャ）に対して優先的に間引きを実行する。なお、 Pピクチャ（片方向予測ピクチャ）は、 Bピクチャの予測に使用されるので、生成される符号量が少ない場合には間引かれないようにし、そうでない場合には優先的に間引かれるようにする。

以上のように、この実施の形態 5によれば、符号化時のピクチャタイプに応じて、入力動画像信号に対して所定の処理を実行するか否かを判断するようにしたので、予測符号化のときの基準となる I ピクチャについては入力動画像信号のままで符号化され、より忠実に符号化を実行することができるという効果が得られる。実施の形態 6 .

この発明の実施の形態 6による画像符号化装置は、実施の形態 5 と同様に、符号化時のピクチャタイプに応じて、入力動画像信号に対して所定の処理を実行するか否かを判断するようにしたものである。なお、この実施の形態 6による画像符号化装置の構成については、実施の形態 1 によるものと同様であるので、その説明を省略する。

次に動作について説明する。

入力画像制御器 1は、各フレームのピクチャタイプを画像符号化器 2 から事前に読み出し、 Bピクチャについて、一方のフィールドのみを制御画像信号として出力し、他方のフィールドを間引く、そして、画像符号化器 2は、その間引かれたフィ一ルドについて予測符号化を実行する。なお、 Pピクチャは Bビクチヤの予測に使用されるので、生成される符号量が少ない場合にはいずれのフィ一ルドも間引かれないようにし、そうでない場合には一方のフィ一ルドを優先的に間引かれるようにする。なお、その他の動作については実施の形態 1によるものと同様であるので、その説明を省略する。

以上のように、この実施の形態 6によれば、符号化時のピクチャタイプに応じて、入力動画像信号に対して所定の処理を実行するか否かを判断するようにしたので、予測符号化のときの基準となる I ピクチャについては入力動画像信号のままで符号化され、より忠実に符号化を実行することができるという効果が得られる。実施の形態 Ί .

この発明の実施の形態 7による画像符号化装置は、入力画像制御器 1 で、各フレームにおける画素値の分散、フレーム間の画素値の差分、および動きべクトルの少なくとも 1つに基づいて画像符号化器 2での符号量を判断し、そのデ一夕量に応じて所定の処理を実行するようにしたものである。なお、この実施の形態 7による画像符号化装置の構成については、実施の形態 1によるものと同様であるので、その説明を省略する次に動作について説明する。

入力画像制御器 1または画像符号化器 2が各フレームにおける画素値の分散、フレーム間の画素値の差分、動きベクトルなどの画像内容の変動量を計算し、入力画像制御器 1はそれに基づいて画像符号化器により符号化されたデータのデータ量を判断し、そのデータ量に応じて所定の処理を実行する。

通常、画像の内容の変動量が大きいときには符号量が大きくなり、画像の内容の変動量が小さいときには符号量が小さくなる。そこで、入力画像制御器 1は、変動量が小さいときには入力動画像信号をそのまま制御後動画像信号として出力し、変動量が大きいときには、他の実施の形態で述べるように所定の処理を実行する。

なお、その他の動作については他のいずれかの実施の形態によるものと同様であるので、その説明を省略する。

以上のように、この実施の形態 7によれば、入力画像制御器 1が、各フレームにおける画素値の分散、フレ一ム間の画素値の差分、および動きベクトルの少なくとも 1つに基づいて画像符号化器 2での符号量を判断し、その符号量に応じて所定の処理を実行するようにしたので、符号量が多くなると符号量を少なくするように所定の処理が実行され、符号量を一定に近づけることができるという効果が得られる。実施の形態 8 . この発明の実施の形態 8による画像符号化装置は、入力画像制御器 1 で、所定の間隔で動画像信号における画像サイズを変更し、画像符号化器 2で、所定の間隔で画像サイズを変更されたフレームをフレーム内符号化するようにしたものである。なお、この実施の形態 8による画像符号化装置の構成については、実施の形態 1によるものと同様であるので、その説明を省略する。

次に動作について説明する。

入力画像制御器 1は、例えば画像符号化器 2により生成される符号量が増加したとき、入力動画像信号のフレームゃフィールドの画像サイズを縮小する。画像符号化器 2は、その処理後の動画像信号を符号化する。このとき、画像サイズの異なる画像間での予測処理が困難であるため、画像サイズを変更した最初の符号化フレームについては画像符号化器 2はフレーム内符号化する。

なお、その他の動作については実施の形態 7 と同様であるので、その説明を省略する。また、この実施の形態 8の画像サイズの変更を他の実施の形態における所定の処理と組み合わせて実行するようにしてもよい以上のように、この実施の形態 8によれば、前処理として動画像信号の画像サイズを制御し、 M P E G 2方式で、その制御後の動画像信号を符号化し、 M P E G 2方式に適合した符号化後のデ一夕を出力するようにしたので、復号側で出力されるフレ一ムレ一卜に影響を及ぼすことなく、画質の劣化を抑制しつつデータ圧縮を実現することができるという効果が得られる。また、 M P E G 2方式に従った符号化後のデータが出力されるため、通常の M P E G 2デコーダを復号側で使用でき、復号側の構成を変更することなく、符号量を低減することができるという効果が得られる。実施の形態 9.

この発明の実施の形態 9による画像符号化装置は、実施の形態 8による画像符号化装置において画像サイズを変更する際に、 GOP (G r o up o f P i c t u r e ) ヘッダの直後から画像サイズを変更するようにしたものである。 GOPは、 MP E G方式で採用されている画像単位である。なお、この実施の形態 9による画像符号化装置の構成については、実施の形態 1によるものと同様であるので、その説明を省略す ο

次に動作について説明する。

GOPは GOPヘッダと複数のピクチャから構成され、 G0Pヘッダの直後のフレームはフレーム内符号化モ一ドで符号化される。デジタル放送や DVD (Digital Versatile Disc) などの記録媒体からのビットストリームには、適当な間隔で GO Pヘッダが挿入されている。

そこで、入力画像制御器 1は、画像のサイズを変更する場合に、次の G 0 Pヘッダが検出されるまで待ち、入力動画像信号から G 0 Pヘッダが検出されると、その直後のフレームの画像サイズを変更する。

なお、その他の動作については実施の形態 8と同様であるので、その説明を省略する。

以上のように、この実施の形態 9によれば、画像サイズを変更する際に、 G 0 Pへヅダ直後のフレームの画像サイズを変更するようにしたので、フレーム内符号化モードでの符号化の頻度を低減することができるという効果が得られる。実施の形態 1 0.

この発明の実施の形態 1 0による画像符号化装置は、入力動画像信号の高周波成分を抑制するようにしたものである。なお、この実施の形態

1 0による画像符号化装置の構成については、実施の形態 1によるものと同様であるので、その説明を省略する。

次に動作について説明する。

入力画像制御器 1は、画像符号化器 2により生成される符号量が増加した場合に、入力動画像信号に対して低域通過フィル夕処理を施して高周波成分を除去する。この場合、処理したフレームに対してフレーム間予測符号化を実行可能であるので、画像サイズを変更する場合のようにフレーム内符号化を実行する必要はない。

なお、その他の動作については実施の形態 7 と同様であるので、その説明を省略する。

以上のように、この実施の形態 1 0によれば、入力動画像信号の高周波成分を抑制するようにしたので、符号量を抑制することができるという効果が得られる。さらに、通過帯域の異なる画像信号を符号化する際に、量子化ステツプサイズが大きく変動すると復号画像の画質が大きく損なわれるため、量子化ステツプサイズの変動幅をあらかじめ制限しておき、その制限範囲内でのみ変動させるようにしておくと効果を高めることができる。実施の形態 1 1 .

この発明の実施の形態 1 1による画像符号化装置は、番組の変更ゃシーンの変更に応じて所定の処理を実行するようにしたものである。なお、この実施の形態 1 1による画像符号化装置の構成については、実施の形態 1によるものと同様であるので、その説明を省略する。

次に動作について説明する。

例えばスタジオ内で撮影された比較的動きの少ない番組から動きの大きい野外で撮影されたスポーヅ番組に切り替わる場合や、ニュース番組中でスタジオ内のアナウンサーが写っているシーンから野外の雑踏のシ —ンに切り替わる場合など、画像内容の変動量が変更することが予めわかっている場合がある。

そこで、番組やシーンの種類の変更に応じてその旨を示す制御信号を入力画像制御器 1に供給し、入力画像制御器 1が、その制御信号に応じて、上述の実施の形態のように所定の処理を実行する。すなわち、入力画像制御器 1は、動きの少ないシーンでは、フレームレートや画像サイズを変更せずに入力動画像信号から制御後動画像信号を生成し、動きの大きいシーンでは、フィールドゃフレームを間引いたり画像サイズを縮小したりする。

なお、その他の動作については実施の形態 7によるものと同様であるので、その説明を省略する。

以上のように、この実施の形態 1 1によれば、番組の変更やシーンの変更に応じて所定の処理を実行するようにしたので、入力動画像信号から画面の画素値の分散値などを測定することなく、それらの変更を示す制御信号に応じて所定の処理を実行することができ、処理遅延や回路規模を低減することができるという効果が得られる。

なお、上記実施の形態においては M P E G 2方式を使用した場合について具体的な説明をしたが、同様の機能を有する他の符号化方式を使用することももちろん可能である。産業上の利用可能性

以上のように、本発明は、デジタル放送する際に動画像信号を符号化したり、記録媒体に動画像データを記録する際に動画像信号を符号化したりするのに適している。

Claims

, 請求の範囲

1 . 動画像信号を符号化し、符号化したデ一夕をビットストリームとして出力する画像符号化装置において、

復号時に動画像信号のフレームレートを一定にして出力するように規定されている符号化方式で符号化する際に符号化後のデータの量が低減する所定の処理を動画像信号に対して実行し、処理後の動画像信号を出力するとともに、その処理内容を示す処理情報を出力する入力画像制御器と、

前記入力画像制御器により処理された動画像信号を前記処理情報に基づいて前記符号化方式に適合したデータへ符号化する画像符号化器とを備えることを特徴とする画像符号化装置。

2 . 符号化方式は、 M P E G 2方式である

ことを特徴とする請求の範囲第 1項記載の画像符号化装置。

3 . 入力画像制御器は、動画像信号がイン夕レース方式の信号である場合に、所定の割合で、フレームのうちの一方のフィールドを除去し、処理後の動画像信号を出力するとともに、除去したフィールドを示す処理情報を出力し、

画像符号化器は、前記処理情報に基づいてフィ一ルドの除去を検知し、除去されたフィールドの代わりに別のフィ一ルドを復号時に出力する指令をォ一バーへッド情報として付加して前記処理後の動画像信号を符号化する

4 . 入力画像制御器は、動画像信号がプログレッシブ方式の信号である場合に、所定の割合でフレームを除去し、処理後の動画像信号を出力するとともに、除去したフレームを示す処理情報を出力し、

画像符号化器は、前記処理情報に基づいてフレームの除去を検知し、除去されたフレームの代わりに別のフレームを復号時に出力する指令をオーバーへッド情報として付加して前記処理後の動画像信号を符号化する

5 . 入力画像制御器は、動画像信号がイン夕レース方式の信号である場合に、所定の割合で、フレームのうちの一方のフィールドを除去し、処理後の動画像信号を出力するとともに、除去したフィールドを示す処理情報を出力し、

画像符号化器は、前記処理情報に基づいてフィールドの除去を検知し、除去されたフィ一ルドについては他のフィ一ルドに基づいて予測符号化して、前記除去されたフィールドに対応する符号化後のデータを生成する

6 . 画像符号化器は、水平方向および垂直方向のすべての動きベクトルを 0として予測符号化を実行する

ことを特徴とする請求の範囲第 5項記載の画像符号化装置。

7 . 画像符号化器は、水平方向のすべての動きベクトルを 0 とし、垂直方向のすべての動きベクトルを + 0 . 5または一 0 . 5 として予測符号化を実行することを特徴とする請求の範囲第 5項記載の画像符号化装置。

8 . 画像符号化器および入力画像制御器のいずれかが、除去されたフィールドの前後のフィ一ルドである 2つのフィールドから動きぺクトルを測定し、

画像符号化器は、前記測定した動きべクトルを前記 2つのフィ一ルドと前記除去されたフィールドとの各間隔に応じて内挿して、前記除去されたフィールドについての予測符号化を実行する

9 . 入力画像制御器は、動画像信号の画像サイズを変更し、処理後の動画像信号を出力し、画像サイズを変更したことを示す処理情報を出力し画像符号化器は、処理後の動画像信号のうち、処理情報に基づいて画像サイズが変更されたフレームを検知し、最初の符号化フレームをフレーム内符号化する

1 0 . 入力画像制御器は、所定の画像単位の先頭で動画像信号の画像サィズを変更し、

画像符号化器は、画像サイズを変更されたフレームをフレーム内符号化する

ことを特徴とする請求の範囲第 9項記載の画像符号化装置。

1 1 . 入力画像制御器は、 G 0 Pヘッダの直後のフレームの画像サイズを変更することを特徴とする請求の範囲第 1 0項記載の画像符号化装置。

1 2 . 入力画像制御器は、動画像信号の高周波成分を抑制する

1 3 . 入力画像制御器は、各フレームのピクチャタイプに応じて所定の処理を実行する

1 4 . 入力画像制御器は、各フレームにおける画素値の分散、フレーム間の画素値の差分、および動きべクトルの少なくとも 1つに基づいて、画像符号化器により符号化されたデータのデ一夕量を判断し、そのデ一夕量に応じて所定の処理を実行する

1 5 . 入力画像制御器は、撮影シーンの種類に基づいて画像符号化器により符号化されるデ一夕のデ一夕量を判断し、その撮影シーンの種類に応じて所定の処理を実行する

1 6 . 動画像信号を符号化し、符号化したデータをビットストリームとして出力する画像符号化方法において、

復号時に動画像信号のフレ一ムレ一トを一定にして出力するように規定されている符号化方式で符号化する際に符号化後のデ一夕の量が低減する所定の処理を動画像信号に対して実行し、処理後の動画像信号を出力するとともに、その処理内容を示す処理情報を出力するステップと、前記処理後の動画像信号を前記処理情報に基づいて前記符号化方式に適合したデ一夕へ符号化するステヅプと

を備えることを特徴とする画像符号化方法。

1 7 . 動画像信号を符号化し、符号化したデ一夕をビットストリームとして出力する画像符号化装置において、

動画像信号がィン夕レース方式の信号である場合に、所定の割合で各フレームの 2つのフィールドを同一のものとし、処理後の動画像信号を出力する入力画像制御器と、

前記入力画像制御器により処理された動画像信号を、復号時に動画像信号のフレームレートを一定にして出力するように規定されている符号化方式で符号化する画像符号化器と

を備えることを特徴とする画像符号化装置。