JP4129374B2 - 画像符号化方法および画像復号化方法 - Google Patents
画像符号化方法および画像復号化方法 Download PDFInfo
- Publication number
- JP4129374B2 JP4129374B2 JP2002234426A JP2002234426A JP4129374B2 JP 4129374 B2 JP4129374 B2 JP 4129374B2 JP 2002234426 A JP2002234426 A JP 2002234426A JP 2002234426 A JP2002234426 A JP 2002234426A JP 4129374 B2 JP4129374 B2 JP 4129374B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel interpolation
- pixel
- unit
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像の動きを予測して画像信号を圧縮符号化する画像符号化装置、画像復号化装置、画像符号化方法、画像復号化方法およびそれをソフトウェアで実施するためのプログラムが記録された記録媒体に関する。
【０００２】
【従来の技術】
近年、マルチメディアアプリケーションの発展に伴い、画像・音声・テキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。この時、全てのメディアをディジタル化することにより、統一的にメディアを扱うことが可能になる。しかしながら、ディジタル化された画像は膨大なデータ量を持つため、蓄積・伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。画像圧縮技術の標準規格としては、ＩＴＵ‐Ｔ（国際電気通信連合 電気通信標準化部門）のH.261、H.263、ＩＳＯ（国際標準化機構）のＭＰＥＧ（Moving Picture Experts Group）-1、MPEG-2、MPEG-4などがある。
【０００３】
図１７は、動画像における動き補償の概念を示す図である。ただし、参照画像信号Ref内の被写体Carと、入力された画像信号Img内の被写体CurCarとは同一の被写体とする。また、画像信号Img内の破線で表現された被写体は、参照画像信号Ref内での被写体の位置を示す。画像符号化装置が画像信号Img内の画素ブロックCurBlkを符号化する場合には、予測画像信号Predとして、参照画像信号Ref内の同じ被写体CurCarの画像であって、被写体CurCarの画像において同一位置に相当する位置の画像を表している予測画像ブロックPredBlkの画素を使用すれば予測効率が高くなる。すなわち、参照画像信号Ref内の同じ被写体CurCarの画像を画像信号Img内の被写体CurCarと同じ位置に移動して、画素値の差分を求めれば、画素値の差分の絶対値が小さくなり、データ量の振幅が小さくなるため圧縮が容易になる。予測画像ブロックPredBlkの画素位置から画素ブロックCurBlkの画素位置への写像に必要な情報を、動きパラメータ信号MotionParamと呼ぶ。この動きパラメータ信号MotionParamとして、例えば、MPEG-1、2、4、H.261、H.263では、ブロックの平行移動を表現した動きベクトルが使用される。
【０００４】
図１８は、従来の画像符号化装置１００の構成を示すブロック図である。画像符号化装置１００は、差分器１０１、画像符号化部１０２、可変長符号化部１０３、画像復号化部１０４、加算器１０５、画像メモリ１０６、画素ブロック取得部１０７、スイッチ１０８、スイッチ１０９、画素補間部１１０、動き推定部１１１および画素補間使用判定部１１２を備える。まず、画像符号化装置１００は、外部から画像信号Imgを入力する。次に、差分器１０１は、外部から入力された画像信号Imgと、参照画像信号Refから得られた予測画像信号Predとの画素値の差分である差分画像信号Resを出力する。予測画像信号Predは、既に符号化されたフレームであって、画像復号化部１０４において復号化され、場合に応じて画素補間部１１０によって補間され、動き推定部１１１からの動きベクトルに基づいてブロックごとに切り出された画像である。画像符号化部１０２は、差分画像信号Resを符号化して、差分画像符号化信号CodedResを出力する。画面内符号化の場合には、画面間の動き補償を行わないので、予測画像の画素値は"０"と考える。可変長符号化部１０３は、差分画像符号化信号CodedResと動きパラメータ信号MotionParamとを可変長符号化し、１つの符号化信号Bitstreamとして画像符号化装置１００の外部へ出力する。画像復号化部１０４は、動き予測の参照画像として使用するため、差分画像符号化信号CodedResを復号化して、復号差分画像信号ReconResを出力する。加算器１０５は、復号差分画像信号ReconResと予測画像信号Predとの画素値を加算し、復号画像信号Reconとして出力する。復号画像信号Reconは画像メモリ１０６に格納され、以降のフレームを符号化する際に参照画像として使用される。画像メモリ１０６は、加算器１０５から出力された符号化済みのフレームの何枚かを予測用の参照画像信号Refとして保持している。
【０００５】
画素ブロック取得部１０７は、画像メモリ１０６に保持されている参照フレームとなるフレームから、動き推定部１１１からの動きベクトルに従って画素ブロックBlkを切り出し、スイッチ１０８に出力する。スイッチ１０８は、画素補間使用判定部１１２からの補間判定信号UsePolatorに従って端子"１"と端子"２"とを切り替える。端子"１"は、スイッチ１０９の端子"１"と接続され、端子"２"は、画素補間部１１０に接続されている。画素補間部１１０は、動きベクトルによって示されるブロックの移動量が整数画素単位より小さい単位の移動量を含んでいる場合、それに対応する位置の画素値を生成し、スイッチ１０９の端子"２"に出力する。スイッチ１０９は、画素補間使用判定部１１２からの補間判定信号UsePolatorに従って端子"１"と端子"２"とを切り替えて接続する。動き推定部１１１は、外部から入力された画像信号Imgと参照画像信号Refとから、動きパラメータ信号MotionParamを求める。画素補間使用判定部１１２は、動き推定部１１１によって求められた動きパラメータ信号MotionParamに応じて、参照画像信号Refから予測画像信号Predを生成する際に画素補間を行うか否かを判定する。
【０００６】
すなわち、図１７に示した被写体の動きによっては、整数画素単位より小さい単位の動きで予測を行うと予測効果が高い場合があるからで、一般に、整数画素単位より小さい単位の動きを伴う予測画像の画素値の計算には画素補間を使用する。この画素補間は、参照画像の画素値に対して線形フィルタによるフィルタリングを行うことにより実行される。この線形フィルタのタップ数を増やせば良好な周波数特性を持つフィルタを実現でき、予測効果が高くなるが処理量は大きくなる。一方、フィルタのタップ数が少ないとフィルタの周波数特性は悪くなり、予測効果は低くなるが処理量は小さくなる。
【０００７】
画素補間使用判定部１１２は、動きパラメータ信号MotionParamから予測画像の生成に画素補間を行うべきか否かを判断する。具体的には、画素補間使用判定部１１２は、動きパラメータ信号MotionParamが、整数画素単位より小さい単位の移動量を含んでいる場合には画素補間を使用すると判断し、値"１"の画素補間使用制御信号UsePolatorを出力する。動きパラメータ信号MotionParamが、整数画素単位の動きを示している場合には画素補間を使用すべきでないと判断し、値"０"の画素補間使用制御信号UsePolatorを出力する。画素補間使用制御信号UsePolatorが"０"の場合には、スイッチ１０８とスイッチ１０９とは端子"１"側に切り替わり、画素補間使用制御信号UsePolatorが"１"の場合にはスイッチ１０８とスイッチ１０９とは端子"２"側に切り替わるとする。スイッチ１０８とスイッチ１０９とが端子"２"に接続された場合には画素補間部１１０を使用し、画素ブロックBlkを画素補間して予測画像信号Predとする。スイッチ１０８とスイッチ１０９とが"０"ならば、画素補間は行われず、画素ブロックBlkをそのまま予測画像信号Predとして使用する。
【０００８】
図１９は、従来の画像復号化装置２００の構成を示すブロック図である。まず、画像復号化装置２００は外部から符号化信号Bitstreamを入力する。次に可変長復号化部２０１により、符号化信号Bitstreamを可変長復号化し、差分画像符号化信号CodedResと動きパラメータ信号MotionParamとに分離する。画像復号化部２０２は、差分画像符号化信号CodedResを復号し、復号差分画像信号ReconResとして出力する。加算器２０３は、予測画像信号Predと復号差分画像信号ReconResとを加算し、復号画像信号Reconとして出力する。また、復号画像信号Reconの何枚かを参照画像Refとして画像メモリ２０４に格納しておく。画素ブロック取得部２０７は、参照画像信号Ref内で動きパラメータ信号MotionParamが示す位置から画素集合を取得する（但し、補間処理のため実際の予測ブロックより大きな領域が取得される場合がある）。
【０００９】
画素補間使用判定部２１２は、動きパラメータ信号MotionParamから、予測画像の取得に画素補間を使用すべきか否かを判断する。例えば、MPEG-1、2、4のように画素ブロックの並行移動を示す動きベクトルの場合には、動きベクトルが整数で割り切れるか否かで、画素補間を使用すべきか否かを判断できる。画素補間使用判定部２１２は、画素補間を使用すべきであると判断した時は、値"１"の画素補間使用制御信号UsePolatorを、画素補間を使用すべきでないと判断した時は、値"０"の画素補間使用制御信号UsePolatorを出力する。画素補間使用制御信号UsePolatorが"０"の場合にはスイッチ２０８とスイッチ２０９とは端子"１"側に切り替わり、画素補間使用制御信号UsePolatorが"１"の場合にはスイッチ２０８とスイッチ２０９とは端子"２"側に切り替わる。スイッチ２０８とスイッチ２０９とが"２"ならば、画素補間部２０９による画素補間を使用し、画素ブロックBlkを画素補間して予測画像信号Predとする。スイッチ２０８とスイッチ２０９とが端子"１"ならば、画素補間は行わず、画素ブロックBlkをそのまま予測画像信号Predとして使用する。
【００１０】
【発明が解決しようとする課題】
しかしながら、携帯電話機やＰＤＡ(Personal Digital Assistant)などの携帯機器では、バッテリなどを電源として長時間使用できるように消費電力を抑えるため、処理能力が低い演算器しか使用することができず、処理量が小さい画素補間方法しか使用できない場合がある。一方、画像によっては、高い符号化効率を実現するために、処理量が大きいにもかかわらず、予測効果が高い画素補間方法を使用したい場合もある。動画像の符号化方式が、これらの要求に柔軟に対応できれば、運用範囲が広がり有益である。
上記課題に鑑みて、本発明は、符号化される画像信号に応じて、異なる画素補間方法を選択することができる画像符号化方法および画像復号化方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記目的を達成するために本発明の画像符号化方法は、復号化済み画像に対して画素補間を行って、入力画像との差分である差分画像を算出するための予測画像を生成し、前記差分画像を符号化する画像符号化方法であって、復号化手段が、入力される符号化信号を復号化する復号化ステップと、保持手段が、前記復号化ステップで復号化された復号化済み画像を保持する保持ステップと、エッジ重要度判定手段が、前記復号化済み画像の特徴を検出し、エッジ情報の重要度を判定するエッジ重要度判定ステップと、選択手段が、前記エッジ重要度判定ステップによりエッジ情報が重要であると判定された場合、複数の画素補間方法の中からタップ数が多い画素補間方法を選択する選択ステップと、予測画像生成手段が、選択された画素補間方法を使用して、前記予測画像を生成する予測画像生成ステップと、符号化信号生成手段が、複数の画素補間方法の中からどの画素補間方法が選択されたかを示す情報を前記符号化信号に含ませる符号化信号生成ステップとを含むことを特徴とする。
【００１９】
【発明の実施の形態】
以下、本発明の具体的な実施の形態について、図面を参照しながら説明する。
【００２０】
（実施の形態１）
図１は、本発明の画像符号化装置４００の構成を示すブロック図である。なお、図１８に示した従来の画像符号化装置１００における各構成要素と同じ動作をする構成要素および信号については、同じ参照符号を付し説明を省略する。
【００２１】
画像符号化装置４００は、外部から入力されるピクチャ種別信号PicTypeに応じて、選択的に精度の異なる画素補間を行う画像符号化装置であって、差分器１０１、画像符号化部１０２、可変長符号化部１０３、画像復号化部１０４、加算器１０５、画像メモリ１０６、画素ブロック取得部１０７、スイッチ１０８、スイッチ１０９、スイッチ４０１、スイッチ４０２、画素補間部Ａ４０３、画素補間部Ｂ４０４、動き推定部１１１および画素補間使用判定部１１２を備える。画像符号化装置４００は、ピクチャ種別信号PicTypeを含んだ画像信号Imgを外部から入力する。スイッチ４０１およびスイッチ４０２にピクチャ種別信号PicTypeとして、例えば、通常、他のフレームに参照されることのない、Ｂピクチャを示す"１"が入力された場合には、スイッチ４０１およびスイッチ４０２は端子"１"側に切り替わり、画素補間部Ａ４０３による画素補間が行われる。すなわち、スイッチ４０１およびスイッチ４０２がそれぞれ端子"１"に接続されている際に、画素ブロック信号Blkに対して画素補間部Ａ４０３による画素補間が適用される。画素補間部Ａ４０３では、フィルタタップ数の少ない例えば、タップ数"４"の簡素化された補間方法が用いられる。ピクチャ種別信号PicTypeとして、例えば、他のフレームに参照されるＰピクチャを示す"２"が入力された場合には、すなわち、Ｂピクチャを示す"１"以外の値が入力された場合には、スイッチ４０１およびスイッチ４０２が端子"２"側に切り替わり、画素ブロック信号Blkに対して画素補間部Ｂ４０４による画素補間が適用される。画素補間部Ｂ４０４では、フィルタタップ数の多い例えば、タップ数が"８"の精度の高い補間方法が用いられる。このように画素補間された画素ブロックBlkは、予測画像信号Predとして差分器１０１に入力される。
【００２２】
なお、Ｂピクチャは同時に２つの画像を参照して予測画像を生成するため、参照する各画像で画素補間が必要になる。従って、１つの画像のみを参照するＰピクチャと比べて画素補間の演算量が２倍となるため、Ｂピクチャで簡素化された補間方法を使用することは、各ピクチャで必要な演算量を平滑化できる点でも有効である。従って、他のフレームで参照されるＢピクチャにおいても、簡素化された補間方法を使用することは有益である。
【００２３】
また、ピクチャ種別信号PicTypeの値"２"、"１"、"０"は説明の便宜上定義した値で、複数の画素補間方法を区別できる値であれば、どのような値でもよい。使用した画素補間方法を示すピクチャ種別信号PicTypeを画像復号化装置に通知することにより、画像復号化装置では画像符号化装置が使用した画素補間部と同一の画素補間方法を使用することができる。
【００２４】
図２は、本発明の画像復号化装置５００の構成を示すブロック図である。なお、同図において、図１９に示した画像復号化装置２００と同様の構成要素についてはすでに説明しているので、同一の符号を付し説明を省略する。画像復号化装置５００は、ピクチャの種別ごとに異なる画素補間方法が使用された符号化信号Bitstreamを復号化する画像復号化装置であって、可変長復号化部２０１、画像復号化部２０２、加算器２０３、画像メモリ２０４、画素ブロック取得部２０７、スイッチ２０８、スイッチ２０９、画素補間使用判定部２１２、スイッチ５０１、スイッチ５０２、画素補間部Ａ５０３および画素補間部Ｂ５０４を備える。画像復号化装置５００において、可変長符号化部５０５は、外部から入力された符号化信号Bitstreamを可変長復号化して、可変長復号化された符号化信号Bitstreamから、ピクチャ種別信号PicTypeと差分画像符号化信号CodedResと動きパラメータ信号MotionParamとを分離し、ピクチャ種別信号PicTypeをスイッチ５０１およびスイッチ５０２へ、動きパラメータ信号MotionParamを画素補間使用判定部２１２および画素ブロック取得部２０７へ、差分画像符号化信号CodedResを画像復号化部２０２へ、それぞれ出力する。スイッチ５０１およびスイッチ５０２にピクチャ種別信号PicTypeとして、例えば、他のフレームに参照されることのないＢピクチャを示す"１"が入力された場合には、スイッチ５０１およびスイッチ５０２は端子"１"側に切り替わり、画素補間部Ａ５０３による画素補間が行われる。すなわち、スイッチ５０１およびスイッチ５０２がそれぞれ端子"１"に接続されている際に、画素ブロック信号Blkに対して画素補間部Ａ５０３による画素補間が適用される。画素補間部Ａ５０３では、フィルタタップ数の少ない例えば、タップ数"４"の簡素化された補間方法が用いられる。ピクチャ種別信号PicTypeとして、例えば、他のフレームに参照されるＰピクチャを示す"２"が入力された場合には、すなわち、Ｂピクチャを示す"１"以外の値が入力された場合には、スイッチ５０１およびスイッチ５０２が端子"２"側に切り替わり、画素ブロック信号Blkに対して画素補間部Ｂ５０４による画素補間が適用される。画素補間部Ｂ５０４では、フィルタタップ数の多い例えば、タップ数が"８"の精度の高い補間方法が用いられる。
なお、Ｂピクチャは同時に２つの画像を参照して予測画像を生成するため、参照する各画像で画素補間が必要になる。従って、１つの画像のみを参照するＰピクチャと比べて画素補間の演算量が２倍となるため、Ｂピクチャで簡素化された補間方法を使用することは、各ピクチャで必要な演算量を平滑化できる点でも有効である。従って、他のフレームで参照されるＢピクチャにおいても、簡素化された補間方法を使用することは有益である。
また、画像符号化装置でP、Bピクチャとも同じ画素補間フィルタを使用したビットストリームを復号する場合でも、画像復号化装置５００では、Bピクチャのみ簡素化された画素補間フィルタを使用することができる。この場合、Bピクチャの画素補間フィルタは画像符号化装置で使用した画素補間フィルタとは異なるためBピクチャでは画質劣化が発生するが、Bピクチャは他のピクチャから参照されることは少ないため、Pピクチャで画質劣化が発生した場合に較べて、以降のピクチャに対して画質劣化が伝播することが少ない。
更に、画像符号化装置で使用した画素補間フィルタと同じフィルタを画像復号装置５００に実装されていない場合には、画像符号化装置で使用された画素補間フィルタのタップ数以下で最も近いタップ数を持つ画素補間フィルタを替わりに使用することもできる。この場合、画像符号化装置で使用した画素補間フィルタと異なる画素補間フィルタを使用することになるため、画質劣化が発生するが、ビットストリームの復号を継続することができる。
【００２５】
図３(ａ)は、１／２画素フィルタにおいて、既存の画素からｉ軸方向に１／２画素ずれた位置にある画素の画素値を計算する方法の一例を示す図である。図３(ｂ)は、１／２画素フィルタにおいて、既存の画素からｊ軸方向に１／２画素ずれた位置にある画素の画素値を計算する方法の一例を示す図である。図３(ａ)および図３(ｂ)において、○は整数位置の画素を示し、×は小数位置の画素を示している。また、同図において、ｉ，ｊは整数である。Ｉ(ｘ，ｙ)は、座標(ｘ，ｙ)における画素値を示している。１／２画素フィルタは、○で示される整数位置の画素における画素値から、×で示される実際には画素が存在しない小数位置の画素の画素値を計算するソフトウェアおよび集積回路などによって実現される。図３(ａ)では、座標（ｉ−０.５,ｊ）の位置にある画素の画素値Ｉ（ｉ−０.５,ｊ）を求める場合について説明する。例えば、タップ数Ｎ（Ｎは偶数の自然数）が"２"の場合、座標（ｉ−０.５,ｊ）の位置にある画素に対して、ｉ軸方向の両側に隣接する２つの画素の画素値Ｉ（ｉ−１,ｊ）および画素値Ｉ（ｉ,ｊ）が用いられる。画素値Ｉ（ｉ−０.５,ｊ）は、ｉ軸方向の画素値の積和である式１を用いて、以下のように表される。
【数１】
【００２６】
式１において、ａｋはフィルタ係数を示し、trunc(n)はnに対する小数以下切捨てを示している。このように、式１において適当なフィルタ係数ａｋを選んでおくことによって、１／２画素である（ｉ−０.５,ｊ）の位置にある画素の画素値Ｉ（ｉ−０.５,ｊ）が、その両側の画素におけるＮ個の画素値の平均値として求められる。また、例えば、タップ数Ｎが"４"の場合、（ｉ−０.５,ｊ）の位置にある画素に対して、ｉ軸方向の両側に隣接する２つの画素の画素値Ｉ（ｉ−１,ｊ）および画素値Ｉ（ｉ,ｊ）の他に、さらにｉ軸方向の両側に隣接する画素の画素値Ｉ（ｉ−２,ｊ）および画素値Ｉ（ｉ＋１,ｊ）が用いられる。同様に、タップ数Ｎが"６"、"８"と増加した場合には、式１のＮに、それらの値を代入することによって容易に求めることができる。
【００２７】
図３(ｂ)では、座標（ｉ,ｊ−０.５）の位置にある画素の画素値Ｉ（ｉ,ｊ−０.５）を求める場合について説明する。すなわち、予測画像が参照画像のｊ軸方向に小数画素分移動する場合である。例えば、タップ数Ｍ（Ｍは偶数の自然数）が"２"の場合、座標（ｉ,ｊ−０.５）の位置にある画素に対して、ｊ軸方向の両側に隣接する２つの画素の画素値Ｉ（ｉ,ｊ−１）および画素値Ｉ（ｉ,ｊ）が用いられる。この画素値Ｉ（ｉ,ｊ−０.５）は、ｊ軸方向の画素値の積和である式２を用いて、以下のように表される。
【数２】
【００２８】
式２において、ａｍはフィルタ係数を示している。この場合も、タップ数が"４"、"６"、"８"と増加した場合には、式２のＭに、この値を代入することによって、座標（ｉ,ｊ−０.５）の位置の画素について画素値を求めることができる。
また、図示しないが、予測画像が参照画像のｉ軸方向にもｊ軸方向にもそれぞれ１／２画素分移動する場合には、座標（ｉ−０.５,ｊ−０.５）における予測画像の画素値Ｉ（ｉ−０.５,ｊ−０.５）は、ｉ軸方向とｊ軸方向との画素値の積和である式３を用いて以下のように表される。
【数３】
【００２９】
以上の式から分かるように、画素補間部Ａおよび画素補間部Ｂを実現する画素フィルタは、フィルタタップ数が多いほど、予測精度が高くなる反面、演算処理量が多くなり、画像符号化装置の処理負荷が重くなる。
【００３０】
上記のように、画像符号化装置４００および画像復号化装置５００の画素補間部には、異なる予測性能・処理量の画素補間部を複数個、使用することができる。異なる予測性能・処理量の画素補間部を使用することには次の利点がある。簡単に説明するため、画素補間部Ａは画素補間部Ｂに比べて処理量が少なく、画素補間部Ｂは画素補間部Ａに比べて予測効率が高いとする。本発明の画像符号化装置が出力する符号化信号を復号化する画像復号化装置として、画素補間部Ａのみを備えた画像復号化装置と画素補間部Ａと画素補間部Ｂとの双方を備えた画像復号化装置の２種類の画像符号化装置を考える。
【００３１】
前者の画像符号化装置は要求される処理量が小さく、処理能力が低い機器に適している。後者の画像復号化装置は処理量が大きい機器に適している。後者の画像復号化装置は、画素補間部Ａおよび画素補間部Ｂのいずれの画素補間部を使用した符号化信号も復号化することが可能であり、前者の画像復号化装置に対して上位互換性を持つことができる。上記の説明のように画像復号化装置に応じて適切な予測性能・処理量の画素補間部を選択することにより、幅広い種類の機器に符号化方式を適用することができる。
【００３２】
また、画像復号化装置の処理能力に応じた符号化信号の生成という用途以外にも、画像符号化装置の処理能力に応じて画素補間部を切り替えることができる。例えば、符号化する画像サイズやフレームレートが大きい場合には、符号化処理全体に要する処理量が大きくなる。従って、符号化する画像サイズやフレームレートが一定値以下の場合には画素補間部Ｂを使用し、符号化する画像サイズやフレームレートが一定値以上の場合には、要求される処理能力が低い、すなわち処理負荷が小さい画素補間部Ａを使用して、符号化処理全体に要する処理量が高くならないようにすることができる。
【００３３】
また、複数の処理を同時に実行するタイムシェアリングシステム上で画像符号化を実現する場合には、他の処理の影響で画像符号化に費やせる処理量が動的に変化する可能性がある。そこで、画像符号化に費やせる処理量が一定以上の場合には処理量が多い画素補間部Ｂを使用し、画像符号化に費やせる処理量が一定以下の場合には処理量がより少ない画素補間部Ａを使用することができる。
【００３４】
また、特定の性質の画像に適した画素補間部を複数備えて、画像の性質に応じてフレーム単位に画素補間部を切り替えてもよい。例えば、文字などエッジ情報が重要な場合にはエッジの保存性に優れた画素補間部を使用する。複数の画素補間部の切り替えが可能になれば、画像の性質に適切な画素補間方法を選択できるため、より予測効率を向上できる。
【００３５】
更に、Ｂピクチャ等のように同時に２つの画像を参照して予測画像を生成する場合は、参照する各画像で画素補間が必要になり、１つの画像のみを参照するＰピクチャと比べて画素補間の演算量が２倍となるため、Ｂピクチャのみで簡素化された補間方法を使用すれば、各ピクチャで必要な演算量を平滑化できるため、実時間で動作するソフトウェアでの実現が容易になる。
【００３６】
図４（ａ）は、動画像を表す各フレームのピクチャ種別と画素補間の方法との関係を示す図である。図４（ｂ）は、本発明の画像符号化装置４００および画像復号化装置５００における補間方法選択の手順を示すフローチャートである。図４（ａ）に示すように、画像符号化装置４００には、各フレームがＩピクチャであるか、Ｂピクチャであるか、Ｐピクチャであるかを示すピクチャ種別信号PicTypeが外部から与えられる。Ｉピクチャでは、画面内符号化を行うので、予測画像の画素値は"０"である。従って、画素補間使用判定部１１２はスイッチ１０８とスイッチ１０９とを端子"１"に切り替えて、画素補間そのものを行わない。また、Ｂピクチャでは、ピクチャ種別信号PicTypeの値に従ってスイッチ４０１とスイッチ４０２とが端子"１"に切り替えられ、画素補間部Ａ４０３による簡易的な画素補間Ａが用いられる。また、Ｐピクチャでは、ピクチャ種別信号PicTypeの値に従って、スイッチ４０１とスイッチ４０２とが端子"２"に切り替えられ、画素補間部Ｂ４０４による高精度の画素補間Ｂが用いられる。
【００３７】
すなわち、画像符号化装置４００では、ピクチャ種別信号PicTypeの値に応じてスイッチ４０１とスイッチ４０２とを切り替えることにより、図４（ｂ）のフローチャートに示される選択処理を行っている。スイッチ４０１とスイッチ４０２とは、入力されるピクチャ種別信号PicTypeの値がＢピクチャを示す値であるか否かを判定し（Ｓ７０１）、Ｂピクチャを示す値であれば、それぞれが端子"１"を接続することによって画素補間部Ａ４０３による補間方法Ａを選択する（Ｓ７０２）。また、ピクチャ種別信号PicTypeの値がＢピクチャを示す値でない場合には、それぞれが端子"２"を接続することによって画素補間部Ｂ４０４による補間方法Ｂを選択する（Ｓ７０３）。画像符号化装置４００では、上記ステップＳ７０１からＳ７０３の処理を、入力される画像信号Imgのフレームごとに繰り返す。
【００３８】
上記のように、画像符号化装置４００によれば、本来、画像符号化処理のための処理負荷が比較的大きいＢピクチャに対して、より処理負荷が小さい画素補間部を選択するので、処理能力が比較的低い画像符号化装置でも画素補間を行うことができる。また、他のフレームに参照されにくいＢピクチャに対して、より精度の低い画素補間部を選択するので、より精度の低い画素補間部を選択したことによる影響が他のフレームに及ぶことを小さく留めるすることができる。さらに、通常、画像信号に含まれているピクチャ種別信号PicTypeに基づいて画素補間部を選択するので、符号化信号Bitstream内に、どのフレームに対してどの画素補間部を示す情報を含ませる必要がなく、その分、可変長符号化部の処理量を低減することができる。また、本来、画像符号化装置の処理負荷が比較的少ないＰピクチャに対しては、処理負荷は大きくなるが、より予測精度の高い画素補間部を選択するので、処理能力が比較的低い画像符号化装置でも、より予測精度の高い画素補間を行うことができる。また、他のフレームに参照されるＰピクチャに対しては、より予測精度の高い画素補間を行うことができるので、画質の劣化を最低限に防止することができる。
【００３９】
図５は、フレーム単位で画素補間方法を切り替える画像符号化装置８００の構成を示すブロック図である。図５において、図１８の画像符号化装置１００および図１の画像符号化装置４００と同様の構成要素および信号には同じ符号を付し、説明を省略する。画像符号化装置８００は、差分器１０１、画像符号化部１０２、画像復号化部１０４、加算器１０５、画像メモリ１０６、画素ブロック取得部１０７、スイッチ１０８、スイッチ１０９、動き推定部１１１、画素補間使用判定部１１２、画素補間部Ａ４０３、画素補間部Ｂ４０４、画素補間切り替え位置判定部８０１、スイッチ８０２、可変長符号化部８０３、スイッチ８０４およびスイッチ８０５を備える。画素補間切り替え位置判定部８０１は、入力された画像信号Imgから画素補間部Ａ４０３と画素補間部Ｂ４０４とを切り替える単位（フレーム、スライス、マクロブロック、ブロックなど）を検出した場合には、画素補間切り替え制御信号SetPolatorType"１"を出力することにより、スイッチ８０２をオン(導通状態)にする。
【００４０】
ここでは、例えば、画像信号Imgのフレームを、画素補間方法の切り替え単位としてスイッチ８０２を切り替える。スイッチ８０２は、切り替え単位となる各フレームの先頭において、ごく短い時間帯だけ、画素補間種別信号PolatorTypeをスイッチ８０４およびスイッチ８０５に導通させ、前記切り替え単位の他の時間帯では、画素補間種別信号PolatorTypeがスイッチ８０４およびスイッチ８０５に入力されるのを遮断する機能を有している。これは、切り替え単位の符号化途中で画素補間部Ａ４０３と画素補間部Ｂ４０４とが切り替わってしまうことを防止するためである。スイッチ８０２は、各フレームの先頭を切り替えのタイミングとして画素補間切り替え制御信号SetPolatorType"１"によりオンにされると、一定時間、端子を閉じて、外部から入力される画素補間種別信号PolatorTypeをスイッチ８０４およびスイッチ８０５に導通する。この画素補間種別信号PolatorTypeは、画像符号化装置８００内の図示しない送信バッファ内のデータ残量などを目安として測定された、画像符号化装置８００の処理負荷に応じて、または画像復号化装置に想定される復号化能力に応じて、画素補間の種別を選択するために外部から入力される信号である。スイッチ８０２は、前記一定時間を経過すると端子を開いてオフになり、再び画素補間切り替え制御信号SetPolatorType"１"が入力されるとオンになるという動作をする。また、スイッチ８０４とスイッチ８０５とは、一旦、スイッチ８０２を介して外部から画素補間種別信号PolatorTypeが入力されると、次に異なる値の画素補間種別信号PolatorTypeが入力されるまで、当該画素補間種別信号PolatorTypeの値によって示される接続端子を接続したままの状態を保持する。
【００４１】
例えば、あるフレームの先頭でスイッチ８０２が導通された短い時間帯に入力された画素補間種別信号PolatorTypeの値が"１"であったとすると、スイッチ８０４とスイッチ８０５とは、それぞれ端子"１"を接続し、その状態を保持する。この後、次のフレームの先頭でスイッチ８０２が導通された短い時間帯に入力された画素補間種別信号PolatorTypeの値が"０"であったとすると、スイッチ８０４とスイッチ８０５とは、それぞれ端子"２"に接続し、その状態を保持する。これにより、フレームの先頭においてのみ画素補間方法の切り替えが起こり、フレームの符号化途中で画素補間方法が切り替わることを防止することができる。
【００４２】
切り替え判定を用いた画素補間では、予測精度の異なる複数の画素補間部を備え、フレーム毎に、複数の画素補間方法のうちから処理量の制限を越えない範囲で予測効率が最適なフィルタを選択的に実行することにより行う。また、切り替え判定を用いた他の画素補間として、各フレームの符号化途中で画像符号化装置の処理能力が足りなくなった場合に、次のフレームで処理量が少ない画素補間方法に切り替えるとしてもよい。その結果、画素補間種別信号PolatorTypeにより、新たな画素補間部が選択される。
【００４３】
図６は、画像符号化装置８００における補間方法選択の手順を示すフローチャートである。具体的には、画像符号化装置８００では、画素補間切り替え制御信号SetPolatorTypeの値に応じてスイッチ８０２を接続し、スイッチ８０２が接続されている間に外部から入力される画素補間種別信号PolatorTypeの値に応じてスイッチ８０４とスイッチ８０５とを切り替えることにより、図６のフローチャートに示される選択処理を行っている。画像符号化装置８００は、各フレームの先頭を示すフレームヘッダなどを画像信号Imgから検出し(Ｓ９０１)、画素補間切り替え位置判定部８０１から例えば、画素補間切り替え制御信号SetPolatorType"１"を出力してスイッチ８０２をオンにする（Ｓ９０２）。画像符号化装置８００は、スイッチ８０２がオンになっている間に入力された画素補間種別信号PolatorTypeの値が"１"であるか否かを判定し（Ｓ９０３）、"１"であれば、スイッチ８０４とスイッチ８０５とをそれぞれ端子"１"に接続させ画素補間部Ａ４０３による補間方法Ａを選択する（Ｓ９０４）。画素補間種別信号PolatorTypeの値が"１"でなければ、スイッチ８０４とスイッチ８０５とをそれぞれ端子"２"に接続させ画素補間部Ｂ４０４による補間方法Ｂを選択する（Ｓ９０５）。画像符号化装置８００は、上記ステップＳ９０１からＳ９０５までの処理を、入力される画像信号Imgのフレームごとに繰り返す。
【００４４】
画像符号化装置８００は、さらに、可変長符号化部８０３において、画素補間種別の切り替え単位をフレームとした場合、画像符号化装置８００の出力である符号化信号Bitstreamのフレームごとに、例えば、符号化信号Bitstreamの各フレームヘッダに画素補間種別信号PolatorTypeの値を記録して出力する。図７（ａ）は、本発明の符号化信号Bitstreamのストリーム構成を示す図である。図７（ｂ）は、フレームを単位として画素補間の方法を切り替える場合の符号化信号Bitstreamのストリーム構成を示す図である。本発明の符号化信号の特徴は、画素補間種別信号PolatorTypeを符号化信号Bitstreamに含むことである。このストリーム構成により、本発明の符号化信号Bitstreamを復号化する画像復号化装置では、画素補間種別信号を調べることにより、符号化に使用した画素補間部と同一の画素補間方法を使用することができる。
【００４５】
図７（ａ）に示した符号化信号Bitstreamでは、符号化信号Bitstream全体に付されるヘッダ１００１の中（例えば、斜線部）に、各フレームの画素補間に用いられた補間方法を示す画素補間種別信号PolatorTypeの値が記述されている。また、図７（ｂ）に示した符号化信号Bitstreamでは、フレームごとに設けられるフレームヘッダ１００２の中（例えば、斜線部）に、当該フレームの画素補間に用いられた補間方法を示す画素補間種別信号PolatorTypeの値が記述される。このように、画素補間種別信号PolatorTypeを符号化信号Bitstreamの先頭部分であるヘッダ１００１や、ランダムアクセスポイントの先頭となるフレームヘッダ１００２などに格納することによって、画像復号化装置では、ヘッダ１００１もしくはランダムアクセスポイントから符号化信号Bitstreamを入力することにより、当該フレームの復号化前にそのフレームの画素補間種別を特定することができる。
【００４６】
なお、ここではフレーム単位で画素補間部を切り替えると説明したが、フレーム単位だけでなく、フレームより小さい画像領域単位（１画素以上が集合した領域であればよい、例えば、ＭＰＥＧのスライス・マクロブロック・ブロックなど）で画素補間部を切り替えてもよい。例えば、スライスを切り替え単位とする場合には、各スライスに対応する画素補間種別信号PolatorTypeの値を、符号化信号Bitstream全体に対して付されるヘッダに記述してもよいし、フレームごとにまとめてフレームヘッダに記述してもよい。また、それぞれのスライスに対応するスライスヘッダに、各スライスの画素補間種別信号の値を記述しておいてもよい。また、マクロブロックまたはブロックを画素補間方法の切り替え単位とする場合には、各マクロブロックまたは各ブロックの画素補間種別信号の値をスライスごとにまとめて、スライスヘッダに記述しておけばよい。
【００４７】
以上説明したように、本発明の画像符号化装置に入力される画素補間種別信号PolatorTypeの値を、画像復号化装置の処理能力に応じた画素補間部を選択するよう設定しておくことにより、本発明の画像符号化装置が出力する符号化信号を再生する画像復号化装置の処理能力に応じた符号化信号を作成することが可能になる。また、画像符号化装置の処理能力に応じて画素補間部を選択することができる。
【００４８】
なお、既存の画像符号化方式には、予測画像信号の位置に応じて、その位置の画素値を生成する画素補間方法を切り替える符号化方式がある。例えば、１／２画素位置の画素値を生成する場合には１／２画素位置用の画素補間方法を選択し、１／４画素位置の画素値を生成する場合には１／４画素位置用の画素補間方法を選択するような符号化方式である。しかし、それらの符号化方式は、所望の画素位置について、いずれか一方の画素補間方法を選択せざるを得ないことに対して、本発明の符号化方式では、予測画像信号の同一位置の画素値の計算につき複数の画素補間部を備えるので、同一画素位置の画素値の計算に対して複数の画素補間方法を自由に選択することができるという点で異なる。本発明の画像符号化方式に、異なる画素位置に対して複数の画素補間方法を切り替える上記の方法を組み合わせることもできる。この場合、異なる画素位置に対してそれぞれの画素値を計算する複数の画素補間部を備えるとともに、同一画素位置に対して予測精度の異なる画素値を計算する複数の画素補間部を備えるものとする。
【００４９】
なお、上記実施の形態においては、２つの画素補間部を備えた画像符号化装置について説明したが、３つ以上の画素補間部を備えるとしてもよい。その場合には、３つ以上の画素補間部のいずれか１つを選択して使用し、使用した画素補間部の種別を示す画素補間種別信号を符号化信号に含めればよい。
【００５０】
図８は、本実施の形態の他の画像復号化装置１１００の構成を示すブロック図である。図８において、図２に示した画像復号化装置５００と同じ動作をする構成要素および信号については、すでに説明しているので、同じ符号を付し説明を省略する。画像復号化装置１１００は、画像復号化部２０２、加算器２０３、画像メモリ２０４、画素ブロック取得部２０７、スイッチ２０８、スイッチ２０９、画素補間使用判定部２１２、画素補間部Ａ５０３、画素補間部Ｂ５０４、可変長復号化部１１０１、画素補間種別変換部１１０２、スイッチ１１０３およびスイッチ１１０４を備える。画像復号化装置１１００には、図５に示した画像符号化装置８００によって出力された符号化信号Bitstream2が入力される。すなわち、画像復号化装置１１００に入力される符号化信号Bitstream2には、画素補間種別信号PolatorType1が記述されている。画像復号化装置１１００は、符号化信号Bitstream2中の画素補間種別信号PolatorType1で示された画素補間部が画像復号化装置１１００に備えられていない場合には、画像符号化装置１１００が備えている画素補間部のいずれかを代わりに用いることを特徴とする。
【００５１】
画像復号化装置１１００は、画素補間種別信号PolatorType1の値"１"と"２"とが示す２種類の画素補間部すなわち、画素補間部Ａ５０３（フィルタタップ数Ｎ＝４）および画素補間部Ｂ５０４（フィルタタップ数Ｎ＝８）しか備えていないとする。画像復号化装置１１００において、可変長復号化部１１０１は、符号化信号Bitstream2を可変長復号化し、差分画像符号化信号CodedResと動きパラメータ信号MotionParamと画素補間種別信号PolatorType1とに分離する。画素補間種別変換部１１０２は、画素補間種別信号PolatorType1によって指定されうる画素補間部の種別と、当該各画素補間部の特性を示すパラメータと、実装の有無とを示す、あらかじめ作成された補間種別表を内部に保持している。画素補間種別変換部１１０２は、当該補間種別表に基づいて、画素補間種別信号PolatorType1の値で示される画素補間部が画像復号化装置１１００に実装されているか否かを判断する。
【００５２】
図９は、図８に示した画素補間種別変換部１１０２に保持されている補間種別表１２００の一例を示す図である。図のように、補間種別表１２００には、画素補間種別信号PolatorType1の値で示される各画素補間部の実装の有無１２０１と、画素補間種別信号PolatorType1の値１２０１および画素補間種別信号PolatorType1の値で示される各画素補間部の特性を表したフィルタタップ数（Ｎ）１２０３が記述されている。画素補間種別変換部１１０２は、画素補間種別信号PolatorType1の値が、画像復号化装置１１００に実装されていない画素補間部Ｃ（フィルタタップ数Ｎ＝１６）を示す値、例えば"３"であった場合には、実装されている画素補間部のうちで、補間種別表１２００に記述されているフィルタタップ数（Ｎ）１２０３が画素補間種別信号PolatorType1で示された画素補間部Ｃに最も近い画素補間部Ｂ５０４（フィルタタップ数Ｎ＝８）を選択し、画素補間種別信号PolatorType1の値を、例えば"２"の値に変換して、画素補間種別信号PolatorType2として出力する。この変換処理によって画像復号化装置１１００では、符号化時に使用された画素補間部とは異なる画素補間部を用いるので画質劣化を生じることは否めないが、差分画像符号化信号CodedResと動きパラメータ信号MotionParamとの復号化処理は可能であるため、復号化された映像の概観（プレビュー）が可能になる。画素補間種別信号PolatorType2として"１"が入力された場合には、スイッチ１１０３と、スイッチ１１０４とは端子"１"側に切り替わり、復号画像信号Reconに対して画素補間部Ａ５０３が使用される。画素補間種別信号PolatorType2として"２"が入力された場合には、スイッチ１１０３と、スイッチ１１０４とが端子"２"側に切り替わり、復号画像信号Reconに対して画素補間部Ｂ５０４が使用される。
【００５３】
以上説明したように、本発明の画像復号化装置１１００によれば、画像復号化装置１１００に実装されていない画素補間部を示す画素補間種別信号PolatorType2が含まれている符号化信号Bitstreamが入力された場合でも、入力符号化信号Bitstreamを支障なく復号化することができるという効果がある。なお、画像復号化装置１１００が有する画素補間部が１つの場合には強制的にその画素補間部を使用することにより、入力符号化信号Bitstreamを復号化することができる。また、本実施の形態の画像復号化装置１１００では、２個の画素補間部を備えているが３個以上の画素補間部があっても同様の処理が可能である。なお、実施の形態１で示したように、画素補間種別がフレーム単位、あるいは、フレームより小さい画像領域の単位で切り替わる場合には、画像復号化装置１１００は画素補間種別が変更された時点で画素補間部を切り替えるものとする。なお、ここでは、複数の画素補間部の特性をフィルタタップ数で表したが、必ずしもフィルタタップ数である必要はなく、他のパラメータであってもよい。更に、画像復号化装置１１００が画像符号化装置で使用される可能性がある画素補間フィルタを全て備えていることが明らかである場合には、画像復号化装置１１００の画素補間種別変換部１１０２はなくてもよい。この場合には、画素補間種別信号PolatorType1をそのまま画素補間種別信号PolatorType2として使用する。
【００５４】
（実施の形態２）
図１０は、本発明の実施の形態２に係る画像符号化装置１３００の構成を示すブロック図である。なお、図１８、図１および図５に示した画像符号化装置１００、画像符号化装置４００および画像符号化装置８００における各構成要素と同じ動作をする構成要素および信号については、同じ参照符号を付し説明を省略する。画像符号化装置１３００は、符号化の対象となるフレームが他のフレームに参照されないフレームである場合は、画素補間における処理量がより小さい画素補間部を使用し、他のフレームで参照フレームとして使用される場合には、予測効率は高いが処理量が大きい画素補間部を使用する画像符号化装置であって、差分器１０１、画像符号化部１０２、画像復号化部１０４、加算器１０５、画像メモリ１０６、画素ブロック取得部１０７、スイッチ１０８、スイッチ１０９、画素補間使用判定部１１２、スイッチ１３０１、スイッチ１３０２、可変長符号化部１３０３、スイッチ１３０４および動き推定部１３０５を備える。動き推定部１３０５には、外部から、符号化対象フレームが後に参照フレームとして使用かれるか否かを示す参照指示信号AvairableRefが入力される。参照指示信号AvairableRefは、画像符号化装置１３００のオペレータが図示しないキーボードなどの入力部を用いて入力した設定に基づいて外部から入力される信号であって、値が"０"のとき、当該符号化対象フレームが参照フレームとして使用されないことを示し、値が"１"のとき、当該符号化対象フレームが後に参照フレームとして使用されることを示している。
【００５５】
これに対応して、スイッチ１３０１およびスイッチ１３０２は、参照指示信号AvairableRefの値が"０"のとき、すなわち、他のフレームに参照されない符号化対象フレームに対しては、それぞれ端子"１"を接続し、処理量がより小さい画素補間部Ａ４０３を選択する。また、参照指示信号AvairableRefの値が"１"のとき、すなわち、後に参照フレームとして使用される符号化対象フレームに対しては、それぞれ端子"２"を接続し、予測効率は高いけれども処理量はより大きい画素補間部Ｂ４０４を選択する。また、スイッチ１３０４は、参照指示信号AvairableRefの値が"０"のときオフになり、当該フレームの復号差分画像信号ReconResは、画像メモリ１０６に格納されない。逆に、参照指示信号AvairableRefの値が"１"のとき、スイッチ１３０４はオンになり、当該フレームの復号差分画像信号ReconResが画像メモリ１０６に格納される。可変長符号化部１３０３は、画像符号化装置１３００の出力である、図７に示したストリーム構成を有する符号化信号Bitstream3のフレームごとに、例えば、符号化信号Bitstream3の各フレームヘッダに参照指示信号AvairableRefの値を記録して出力する。
【００５６】
図１１は、図１０に示した画像符号化装置１３００の出力である符号化信号Bitstream3を復号化する画像復号化装置１４００の構成を示すブロック図である。同図において、図１９、図２および図８に示した画像復号化装置２００、画像復号化装置５００および画像復号化装置１１００における各構成要素と同じ動作をする構成要素および信号については、すでに説明しているので、同じ参照符号を付し説明を省略する。画像復号化装置１４００は、前述の参照指示信号AvairableRefを含んだ符号化信号Bitstream3を復号化する画像復号化装置であって、画像復号化部２０２、加算器２０３、画像メモリ２０４、画素ブロック取得部２０７、スイッチ２０８、スイッチ２０９、画素補間使用判定部２１２、可変長復号化部１４０１、スイッチ１４０２、スイッチ１４０３およびスイッチ１４０４を備える。可変長復号化部１４０１は、入力された符号化信号Bitstream3を可変長復号化し、差分画像符号化信号CodedResと動きパラメータ信号MotionParamと参照指示信号AvairableRefとに分離する。分離された参照指示信号AvairableRefは、スイッチ１４０２とスイッチ１４０３とスイッチ１４０４とに入力される。スイッチ１４０４は、参照指示信号AvairableRefの値が"０"のとき、すなわち、当該フレームの復号画像信号Reconが参照フレームとして使用されない場合、オフになる。したがって、当該フレームの復号画像信号Reconは、画像メモリ２０４に格納されない。逆に、参照指示信号AvairableRefの値が"１"のとき、すなわち、当該フレームの復号画像信号Reconが参照フレームとなる場合、オンになる。したがって、当該フレームの復号画像信号Reconが画像メモリ２０４に格納される。また、スイッチ１４０２とスイッチ１４０３とは、参照指示信号AvairableRefの値が"０"のとき、すなわち、当該フレームの復号画像信号Reconが参照フレームとして使用されない場合、それぞれ端子"１"を接続し、画素補間の処理量の少ない画素補間部Ａ５０３を選択する。逆に、参照指示信号AvairableRefの値が"１"のとき、それぞれ端子"２"を接続し、画素補間の処理量は多くなるが予測効率の高い画素補間部Ｂ５０４を選択する。
【００５７】
以上のように、本実施の形態の画像符号化装置１３００および画像復号化装置１４００では、他のフレームに参照される符号化対象フレームにおいて処理量の少ない画素補間方法を使用すると、処理量の少ない画素補間方法の予測精度の低さによる画質の劣化が他のフレームの画質にも影響することになるが、他のフレームに参照されない符号化対象フレームについてだけ、処理量の少ない画素補間方法を使用するので、予測精度の低さによる符号化対象フレームの画質の劣化が他のフレームに影響を与えることなく、画像符号化装置１３００および画像復号化装置における画素補間のための処理負荷を軽減することができる。従って、画像符号化装置１３００および画像復号化装置としては、予測精度の劣化を最小限に留めつつ、画像符号化処理における処理負荷を大きく低減することができる。
【００５８】
なお、本実施の形態の画像復号化装置１４００では、スイッチ１４０４を設け、他のフレームに参照されないフレームの復号画像信号Reconが画像メモリ２０４に格納されないようにしたが、すでに説明した本発明の他の画像復号化装置においても、スイッチ１４０４を備えるようにしてもよい。
【００５９】
また、上記実施の形態１および実施の形態２では、画素補間部Ａ４０３と画素補間部Ｂ４０４とをスイッチで切り替えて使用すると説明したが、本発明はこれに限定されず、画素補間部Ａ４０３と画素補間部Ｂ４０４とを、複数の動作モードで動作する１つの画素補間部に置き換えてもよい。この画素補間部は、例えば、目的とする予測精度または処理負荷に応じて、複数の演算方法または複数の演算式に従って演算を行う１つの画素フィルタであって、外部から与えられるパラメータに従って１つの動作モード（演算方法または演算式）が決定されるものとする。
（実施の形態３）
さらに、上記各実施の形態で示した画像符号化方法または画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【００６０】
図１２は、上記実施の形態１から実施の形態３の画像符号化方法または画像復号化方法のプログラムを格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。
図１２（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１２（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての画像符号化方法が記録されている。
【００６１】
また、図１２（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての画像符号化方法または画像復号化方法をフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスク内のプログラムにより上記画像符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【００６２】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【００６３】
図１３から図１６は、上記実施の形態で示した符号化処理または復号化処理を行う機器、およびこの機器を用いたシステムを説明する図である。
図１３は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４が接続される。しかし、コンテンツ供給システムex１００は図１３のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、電話網ex１０４に直接接続されてもよい。
【００６４】
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。
【００６５】
また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。
【００６６】
図１４は、携帯電話ex１１５の一例を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キー群から構成される本体部ex２０４、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記憶メディアex２０７、携帯電話ex１１５に記憶メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記憶メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。
【００６７】
このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【００６８】
さらに、携帯電話ex１１５について図１５を用いて説明する。図１５は、携帯電話ex１１５の構成を示すブロック図である。携帯電話ex１１５は表示部ex２０２及び本体部ex２０４の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部２０８を介して出力する。さらに、データ通信モード時に電子メールを送信する場合、本体部ex２０４の操作キーの操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。
【００６９】
データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。
【００７０】
画像符号化部ex３１２は、カメラ部ex２０３から供給された画像データを上記実施の形態で示した符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。
【００７１】
多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。
【００７２】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
【００７３】
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより符号化画像データと音声データとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。
【００７４】
次に、画像復号化部ex３０９は、符号化画像データを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１６に示すようにディジタル放送用システムにも上記実施の形態の少なくとも符号化方法または復号化方法いずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ受信機ex４０１またはセットトップボックスex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体である蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した復号化方法を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に復号化装置を実装し、これをテレビモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に符号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。
【００７５】
なお、カーナビゲーションex４１３の構成は例えば図１５に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ受信機ex４０１等でも考えられる。また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【００７６】
このように、本明細書に示した符号化方法、復号化方法を実装することにより本実施の形態で示したいずれの装置・システムに関しても実現可能になる。
【００７７】
以上のように、本発明に係る画像符号化装置および画像復号化装置は、画像を伝送する携帯電話機に備えられる画像符号化装置および画像復号化装置として、また、カーナビゲーションシステムに備えられる画像符号化装置および画像復号化装置として有用である。また、本発明の画像符号化方法および画像復号化方法を実行するプログラムおよびそれを記録した記録媒体として有用である。さらに、本発明の画像符号化装置によって生成される符号化信号を記録した記録媒体として有用である。
【００７８】
【発明の効果】
上記目的を達成するために本発明の画像符号化方法は、予測画像の生成に画素補間を伴う画像符号化方法であって、複数の画素補間方法から１つの画素補間方法を選択する選択ステップと、選択された画素補間方法を用いて対象画素位置の画素値を生成する画素値生成ステップとを含むことを特徴とする。
従って、本発明の画像符号化装置によれば、複数の画素補間方法から１つの画素補間方法を選択することにより、画像符号化装置の処理能力や符号化信号を受信する画像復号化装置の処理能力に応じた符号化信号を作成することが可能になる。
【００７９】
また、上記目的を達成するために本発明の画像復号化方法は、復号化済み画像に対して画素補間を行い予測画像を生成する画像復号化方法であって、入力される符号化信号を復号化して得られる復号化画像が、前記符号化信号を復号化して得られる他の復号化画像に参照されない画像である場合、複数の画素補間方法の中から処理負荷の軽い画素補間方法を選択する選択ステップと、選択された画素補間方法を使用して、前記予測画像を生成する予測画像生成ステップとを含むことを特徴とする。
【００８０】
従って、本発明の画像復号化装置によれば、他の画像に参照されない画像につき、処理負荷の軽い画素補間方法を選択するので、当該画像を用いて生成される予測画像につき処理負荷の軽い画素補間方法を用いて画素値を生成したことによる画質の劣化が他の画像に影響することなく、全体として、画像復号化処理における処理負荷を軽減することができる。
【００８１】
更に、上記目的を達成するために本発明の画像符号化方法および画像復号化方法は、予測画像に対して画素補間を行う画像復号化方法であって、予測で参照する画像数が複数である場合、複数の画素補間方法の中から処理負荷の軽い画素補間方法を選択する選択ステップと、選択された画素補間方法を使用して、前記予測画像の画素値を生成する画素値生成ステップとを含むことを特徴とする。
【００８２】
従って、本発明の画像符号化装置および画像復号化装置によれば、予測で参照する画像数が複数であり特に処理負荷の重い予測を行う場合に、処理負荷の軽い画素補間方法を選択するので、当該画像の画像符号化および画像復号化の負荷処理が軽減でき、全体として、画像符号化および画像復号化処理における処理負荷を平坦化することができる。
【図面の簡単な説明】
【図１】本発明の画像符号化装置の構成を示すブロック図である。
【図２】本発明の画像復号化装置の構成を示すブロック図である。
【図３】図３(ａ)は、１／２画素フィルタにおいて、既存の画素からｉ軸方向に１／２画素ずれた位置にある画素の画素値を計算する方法の一例を示す図である。図３(ｂ)は、１／２画素フィルタにおいて、既存の画素からｊ軸方向に１／２画素ずれた位置にある画素の画素値を計算する方法の一例を示す図である。
【図４】図４（ａ）は、動画像を表す各フレームのピクチャ種別と画素補間の方法との関係を示す図である。図４（ｂ）は、本発明の画像符号化装置および画像復号化装置における補間方法選択の手順を示すフローチャートである。
【図５】フレーム単位で画素補間方法を切り替える画像符号化装置の構成を示すブロック図である。
【図６】画像符号化装置における補間方法選択の手順を示すフローチャートである。
【図７】図７（ａ）は、本発明の符号化信号Bitstreamのストリーム構成を示す図である。図７（ｂ）は、フレームを単位として画素補間の方法を切り替える場合の符号化信号Bitstreamのストリーム構成を示す図である。
【図８】本実施の形態の他の画像復号化装置の構成を示すブロック図である。
【図９】図８に示した画素補間種別変換部に保持されている補間種別表の一例を示す図である。
【図１０】本発明の実施の形態２に係る画像符号化装置の構成を示すブロック図である。
【図１１】図１０に示した画像符号化装置の出力である符号化信号Bitstream3を復号化する画像復号化装置の構成を示すブロック図である。
【図１２】図１２（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示す図である。図１２（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示す図である。図１２（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す図である。
【図１３】コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。
【図１４】携帯電話の外観の一例を示す図である。
【図１５】携帯電話の構成を示すブロック図である。
【図１６】上記実施の形態で示した符号化処理または復号化処理を行う機器、およびこの機器を用いたシステムを説明する図である。
【図１７】動画像における動き補償の概念を示す図である。
【図１８】従来の画像符号化装置の構成を示すブロック図である。
【図１９】従来の画像復号化装置の構成を示すブロック図である。
【符号の説明】
１０１ 差分器
１０２ 画像符号化部
１０３ 可変長符号化部
１０４ 画像復号化部
１０５ 加算器
１０６ 画像メモリ
１０７ 画素ブロック取得部
１０８ スイッチ
１０９ スイッチ
１１１ 動き推定部
１１２ 画素補間使用判定部
４０３ 画素補間部Ａ
４０４ 画素補間部Ｂ
Img 画像信号
Res 差分画像信号
CodedRes 差分画像符号化信号
Bitstream 符号化信号
ReconRes 復号差分画像信号
Recon 復号画像信号
Ref 参照画像信号
Blk 画素ブロック
UsePolator 画素補間使用制御信号
Pred 予測画像信号
MotionParam 動きパラメータ信号
PicType ピクチャ種別信号
【発明の属する技術分野】
本発明は、画像の動きを予測して画像信号を圧縮符号化する画像符号化装置、画像復号化装置、画像符号化方法、画像復号化方法およびそれをソフトウェアで実施するためのプログラムが記録された記録媒体に関する。
【０００２】
【従来の技術】
近年、マルチメディアアプリケーションの発展に伴い、画像・音声・テキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。この時、全てのメディアをディジタル化することにより、統一的にメディアを扱うことが可能になる。しかしながら、ディジタル化された画像は膨大なデータ量を持つため、蓄積・伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。画像圧縮技術の標準規格としては、ＩＴＵ‐Ｔ（国際電気通信連合 電気通信標準化部門）のH.261、H.263、ＩＳＯ（国際標準化機構）のＭＰＥＧ（Moving Picture Experts Group）-1、MPEG-2、MPEG-4などがある。
【０００３】
図１７は、動画像における動き補償の概念を示す図である。ただし、参照画像信号Ref内の被写体Carと、入力された画像信号Img内の被写体CurCarとは同一の被写体とする。また、画像信号Img内の破線で表現された被写体は、参照画像信号Ref内での被写体の位置を示す。画像符号化装置が画像信号Img内の画素ブロックCurBlkを符号化する場合には、予測画像信号Predとして、参照画像信号Ref内の同じ被写体CurCarの画像であって、被写体CurCarの画像において同一位置に相当する位置の画像を表している予測画像ブロックPredBlkの画素を使用すれば予測効率が高くなる。すなわち、参照画像信号Ref内の同じ被写体CurCarの画像を画像信号Img内の被写体CurCarと同じ位置に移動して、画素値の差分を求めれば、画素値の差分の絶対値が小さくなり、データ量の振幅が小さくなるため圧縮が容易になる。予測画像ブロックPredBlkの画素位置から画素ブロックCurBlkの画素位置への写像に必要な情報を、動きパラメータ信号MotionParamと呼ぶ。この動きパラメータ信号MotionParamとして、例えば、MPEG-1、2、4、H.261、H.263では、ブロックの平行移動を表現した動きベクトルが使用される。
【０００４】
図１８は、従来の画像符号化装置１００の構成を示すブロック図である。画像符号化装置１００は、差分器１０１、画像符号化部１０２、可変長符号化部１０３、画像復号化部１０４、加算器１０５、画像メモリ１０６、画素ブロック取得部１０７、スイッチ１０８、スイッチ１０９、画素補間部１１０、動き推定部１１１および画素補間使用判定部１１２を備える。まず、画像符号化装置１００は、外部から画像信号Imgを入力する。次に、差分器１０１は、外部から入力された画像信号Imgと、参照画像信号Refから得られた予測画像信号Predとの画素値の差分である差分画像信号Resを出力する。予測画像信号Predは、既に符号化されたフレームであって、画像復号化部１０４において復号化され、場合に応じて画素補間部１１０によって補間され、動き推定部１１１からの動きベクトルに基づいてブロックごとに切り出された画像である。画像符号化部１０２は、差分画像信号Resを符号化して、差分画像符号化信号CodedResを出力する。画面内符号化の場合には、画面間の動き補償を行わないので、予測画像の画素値は"０"と考える。可変長符号化部１０３は、差分画像符号化信号CodedResと動きパラメータ信号MotionParamとを可変長符号化し、１つの符号化信号Bitstreamとして画像符号化装置１００の外部へ出力する。画像復号化部１０４は、動き予測の参照画像として使用するため、差分画像符号化信号CodedResを復号化して、復号差分画像信号ReconResを出力する。加算器１０５は、復号差分画像信号ReconResと予測画像信号Predとの画素値を加算し、復号画像信号Reconとして出力する。復号画像信号Reconは画像メモリ１０６に格納され、以降のフレームを符号化する際に参照画像として使用される。画像メモリ１０６は、加算器１０５から出力された符号化済みのフレームの何枚かを予測用の参照画像信号Refとして保持している。
【０００５】
画素ブロック取得部１０７は、画像メモリ１０６に保持されている参照フレームとなるフレームから、動き推定部１１１からの動きベクトルに従って画素ブロックBlkを切り出し、スイッチ１０８に出力する。スイッチ１０８は、画素補間使用判定部１１２からの補間判定信号UsePolatorに従って端子"１"と端子"２"とを切り替える。端子"１"は、スイッチ１０９の端子"１"と接続され、端子"２"は、画素補間部１１０に接続されている。画素補間部１１０は、動きベクトルによって示されるブロックの移動量が整数画素単位より小さい単位の移動量を含んでいる場合、それに対応する位置の画素値を生成し、スイッチ１０９の端子"２"に出力する。スイッチ１０９は、画素補間使用判定部１１２からの補間判定信号UsePolatorに従って端子"１"と端子"２"とを切り替えて接続する。動き推定部１１１は、外部から入力された画像信号Imgと参照画像信号Refとから、動きパラメータ信号MotionParamを求める。画素補間使用判定部１１２は、動き推定部１１１によって求められた動きパラメータ信号MotionParamに応じて、参照画像信号Refから予測画像信号Predを生成する際に画素補間を行うか否かを判定する。
【０００６】
すなわち、図１７に示した被写体の動きによっては、整数画素単位より小さい単位の動きで予測を行うと予測効果が高い場合があるからで、一般に、整数画素単位より小さい単位の動きを伴う予測画像の画素値の計算には画素補間を使用する。この画素補間は、参照画像の画素値に対して線形フィルタによるフィルタリングを行うことにより実行される。この線形フィルタのタップ数を増やせば良好な周波数特性を持つフィルタを実現でき、予測効果が高くなるが処理量は大きくなる。一方、フィルタのタップ数が少ないとフィルタの周波数特性は悪くなり、予測効果は低くなるが処理量は小さくなる。
【０００７】
画素補間使用判定部１１２は、動きパラメータ信号MotionParamから予測画像の生成に画素補間を行うべきか否かを判断する。具体的には、画素補間使用判定部１１２は、動きパラメータ信号MotionParamが、整数画素単位より小さい単位の移動量を含んでいる場合には画素補間を使用すると判断し、値"１"の画素補間使用制御信号UsePolatorを出力する。動きパラメータ信号MotionParamが、整数画素単位の動きを示している場合には画素補間を使用すべきでないと判断し、値"０"の画素補間使用制御信号UsePolatorを出力する。画素補間使用制御信号UsePolatorが"０"の場合には、スイッチ１０８とスイッチ１０９とは端子"１"側に切り替わり、画素補間使用制御信号UsePolatorが"１"の場合にはスイッチ１０８とスイッチ１０９とは端子"２"側に切り替わるとする。スイッチ１０８とスイッチ１０９とが端子"２"に接続された場合には画素補間部１１０を使用し、画素ブロックBlkを画素補間して予測画像信号Predとする。スイッチ１０８とスイッチ１０９とが"０"ならば、画素補間は行われず、画素ブロックBlkをそのまま予測画像信号Predとして使用する。
【０００８】
図１９は、従来の画像復号化装置２００の構成を示すブロック図である。まず、画像復号化装置２００は外部から符号化信号Bitstreamを入力する。次に可変長復号化部２０１により、符号化信号Bitstreamを可変長復号化し、差分画像符号化信号CodedResと動きパラメータ信号MotionParamとに分離する。画像復号化部２０２は、差分画像符号化信号CodedResを復号し、復号差分画像信号ReconResとして出力する。加算器２０３は、予測画像信号Predと復号差分画像信号ReconResとを加算し、復号画像信号Reconとして出力する。また、復号画像信号Reconの何枚かを参照画像Refとして画像メモリ２０４に格納しておく。画素ブロック取得部２０７は、参照画像信号Ref内で動きパラメータ信号MotionParamが示す位置から画素集合を取得する（但し、補間処理のため実際の予測ブロックより大きな領域が取得される場合がある）。
【０００９】
画素補間使用判定部２１２は、動きパラメータ信号MotionParamから、予測画像の取得に画素補間を使用すべきか否かを判断する。例えば、MPEG-1、2、4のように画素ブロックの並行移動を示す動きベクトルの場合には、動きベクトルが整数で割り切れるか否かで、画素補間を使用すべきか否かを判断できる。画素補間使用判定部２１２は、画素補間を使用すべきであると判断した時は、値"１"の画素補間使用制御信号UsePolatorを、画素補間を使用すべきでないと判断した時は、値"０"の画素補間使用制御信号UsePolatorを出力する。画素補間使用制御信号UsePolatorが"０"の場合にはスイッチ２０８とスイッチ２０９とは端子"１"側に切り替わり、画素補間使用制御信号UsePolatorが"１"の場合にはスイッチ２０８とスイッチ２０９とは端子"２"側に切り替わる。スイッチ２０８とスイッチ２０９とが"２"ならば、画素補間部２０９による画素補間を使用し、画素ブロックBlkを画素補間して予測画像信号Predとする。スイッチ２０８とスイッチ２０９とが端子"１"ならば、画素補間は行わず、画素ブロックBlkをそのまま予測画像信号Predとして使用する。
【００１０】
【発明が解決しようとする課題】
しかしながら、携帯電話機やＰＤＡ(Personal Digital Assistant)などの携帯機器では、バッテリなどを電源として長時間使用できるように消費電力を抑えるため、処理能力が低い演算器しか使用することができず、処理量が小さい画素補間方法しか使用できない場合がある。一方、画像によっては、高い符号化効率を実現するために、処理量が大きいにもかかわらず、予測効果が高い画素補間方法を使用したい場合もある。動画像の符号化方式が、これらの要求に柔軟に対応できれば、運用範囲が広がり有益である。
上記課題に鑑みて、本発明は、符号化される画像信号に応じて、異なる画素補間方法を選択することができる画像符号化方法および画像復号化方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記目的を達成するために本発明の画像符号化方法は、復号化済み画像に対して画素補間を行って、入力画像との差分である差分画像を算出するための予測画像を生成し、前記差分画像を符号化する画像符号化方法であって、復号化手段が、入力される符号化信号を復号化する復号化ステップと、保持手段が、前記復号化ステップで復号化された復号化済み画像を保持する保持ステップと、エッジ重要度判定手段が、前記復号化済み画像の特徴を検出し、エッジ情報の重要度を判定するエッジ重要度判定ステップと、選択手段が、前記エッジ重要度判定ステップによりエッジ情報が重要であると判定された場合、複数の画素補間方法の中からタップ数が多い画素補間方法を選択する選択ステップと、予測画像生成手段が、選択された画素補間方法を使用して、前記予測画像を生成する予測画像生成ステップと、符号化信号生成手段が、複数の画素補間方法の中からどの画素補間方法が選択されたかを示す情報を前記符号化信号に含ませる符号化信号生成ステップとを含むことを特徴とする。
【００１９】
【発明の実施の形態】
以下、本発明の具体的な実施の形態について、図面を参照しながら説明する。
【００２０】
（実施の形態１）
図１は、本発明の画像符号化装置４００の構成を示すブロック図である。なお、図１８に示した従来の画像符号化装置１００における各構成要素と同じ動作をする構成要素および信号については、同じ参照符号を付し説明を省略する。
【００２１】
画像符号化装置４００は、外部から入力されるピクチャ種別信号PicTypeに応じて、選択的に精度の異なる画素補間を行う画像符号化装置であって、差分器１０１、画像符号化部１０２、可変長符号化部１０３、画像復号化部１０４、加算器１０５、画像メモリ１０６、画素ブロック取得部１０７、スイッチ１０８、スイッチ１０９、スイッチ４０１、スイッチ４０２、画素補間部Ａ４０３、画素補間部Ｂ４０４、動き推定部１１１および画素補間使用判定部１１２を備える。画像符号化装置４００は、ピクチャ種別信号PicTypeを含んだ画像信号Imgを外部から入力する。スイッチ４０１およびスイッチ４０２にピクチャ種別信号PicTypeとして、例えば、通常、他のフレームに参照されることのない、Ｂピクチャを示す"１"が入力された場合には、スイッチ４０１およびスイッチ４０２は端子"１"側に切り替わり、画素補間部Ａ４０３による画素補間が行われる。すなわち、スイッチ４０１およびスイッチ４０２がそれぞれ端子"１"に接続されている際に、画素ブロック信号Blkに対して画素補間部Ａ４０３による画素補間が適用される。画素補間部Ａ４０３では、フィルタタップ数の少ない例えば、タップ数"４"の簡素化された補間方法が用いられる。ピクチャ種別信号PicTypeとして、例えば、他のフレームに参照されるＰピクチャを示す"２"が入力された場合には、すなわち、Ｂピクチャを示す"１"以外の値が入力された場合には、スイッチ４０１およびスイッチ４０２が端子"２"側に切り替わり、画素ブロック信号Blkに対して画素補間部Ｂ４０４による画素補間が適用される。画素補間部Ｂ４０４では、フィルタタップ数の多い例えば、タップ数が"８"の精度の高い補間方法が用いられる。このように画素補間された画素ブロックBlkは、予測画像信号Predとして差分器１０１に入力される。
【００２２】
なお、Ｂピクチャは同時に２つの画像を参照して予測画像を生成するため、参照する各画像で画素補間が必要になる。従って、１つの画像のみを参照するＰピクチャと比べて画素補間の演算量が２倍となるため、Ｂピクチャで簡素化された補間方法を使用することは、各ピクチャで必要な演算量を平滑化できる点でも有効である。従って、他のフレームで参照されるＢピクチャにおいても、簡素化された補間方法を使用することは有益である。
【００２３】
また、ピクチャ種別信号PicTypeの値"２"、"１"、"０"は説明の便宜上定義した値で、複数の画素補間方法を区別できる値であれば、どのような値でもよい。使用した画素補間方法を示すピクチャ種別信号PicTypeを画像復号化装置に通知することにより、画像復号化装置では画像符号化装置が使用した画素補間部と同一の画素補間方法を使用することができる。
【００２４】
図２は、本発明の画像復号化装置５００の構成を示すブロック図である。なお、同図において、図１９に示した画像復号化装置２００と同様の構成要素についてはすでに説明しているので、同一の符号を付し説明を省略する。画像復号化装置５００は、ピクチャの種別ごとに異なる画素補間方法が使用された符号化信号Bitstreamを復号化する画像復号化装置であって、可変長復号化部２０１、画像復号化部２０２、加算器２０３、画像メモリ２０４、画素ブロック取得部２０７、スイッチ２０８、スイッチ２０９、画素補間使用判定部２１２、スイッチ５０１、スイッチ５０２、画素補間部Ａ５０３および画素補間部Ｂ５０４を備える。画像復号化装置５００において、可変長符号化部５０５は、外部から入力された符号化信号Bitstreamを可変長復号化して、可変長復号化された符号化信号Bitstreamから、ピクチャ種別信号PicTypeと差分画像符号化信号CodedResと動きパラメータ信号MotionParamとを分離し、ピクチャ種別信号PicTypeをスイッチ５０１およびスイッチ５０２へ、動きパラメータ信号MotionParamを画素補間使用判定部２１２および画素ブロック取得部２０７へ、差分画像符号化信号CodedResを画像復号化部２０２へ、それぞれ出力する。スイッチ５０１およびスイッチ５０２にピクチャ種別信号PicTypeとして、例えば、他のフレームに参照されることのないＢピクチャを示す"１"が入力された場合には、スイッチ５０１およびスイッチ５０２は端子"１"側に切り替わり、画素補間部Ａ５０３による画素補間が行われる。すなわち、スイッチ５０１およびスイッチ５０２がそれぞれ端子"１"に接続されている際に、画素ブロック信号Blkに対して画素補間部Ａ５０３による画素補間が適用される。画素補間部Ａ５０３では、フィルタタップ数の少ない例えば、タップ数"４"の簡素化された補間方法が用いられる。ピクチャ種別信号PicTypeとして、例えば、他のフレームに参照されるＰピクチャを示す"２"が入力された場合には、すなわち、Ｂピクチャを示す"１"以外の値が入力された場合には、スイッチ５０１およびスイッチ５０２が端子"２"側に切り替わり、画素ブロック信号Blkに対して画素補間部Ｂ５０４による画素補間が適用される。画素補間部Ｂ５０４では、フィルタタップ数の多い例えば、タップ数が"８"の精度の高い補間方法が用いられる。
なお、Ｂピクチャは同時に２つの画像を参照して予測画像を生成するため、参照する各画像で画素補間が必要になる。従って、１つの画像のみを参照するＰピクチャと比べて画素補間の演算量が２倍となるため、Ｂピクチャで簡素化された補間方法を使用することは、各ピクチャで必要な演算量を平滑化できる点でも有効である。従って、他のフレームで参照されるＢピクチャにおいても、簡素化された補間方法を使用することは有益である。
また、画像符号化装置でP、Bピクチャとも同じ画素補間フィルタを使用したビットストリームを復号する場合でも、画像復号化装置５００では、Bピクチャのみ簡素化された画素補間フィルタを使用することができる。この場合、Bピクチャの画素補間フィルタは画像符号化装置で使用した画素補間フィルタとは異なるためBピクチャでは画質劣化が発生するが、Bピクチャは他のピクチャから参照されることは少ないため、Pピクチャで画質劣化が発生した場合に較べて、以降のピクチャに対して画質劣化が伝播することが少ない。
更に、画像符号化装置で使用した画素補間フィルタと同じフィルタを画像復号装置５００に実装されていない場合には、画像符号化装置で使用された画素補間フィルタのタップ数以下で最も近いタップ数を持つ画素補間フィルタを替わりに使用することもできる。この場合、画像符号化装置で使用した画素補間フィルタと異なる画素補間フィルタを使用することになるため、画質劣化が発生するが、ビットストリームの復号を継続することができる。
【００２５】
図３(ａ)は、１／２画素フィルタにおいて、既存の画素からｉ軸方向に１／２画素ずれた位置にある画素の画素値を計算する方法の一例を示す図である。図３(ｂ)は、１／２画素フィルタにおいて、既存の画素からｊ軸方向に１／２画素ずれた位置にある画素の画素値を計算する方法の一例を示す図である。図３(ａ)および図３(ｂ)において、○は整数位置の画素を示し、×は小数位置の画素を示している。また、同図において、ｉ，ｊは整数である。Ｉ(ｘ，ｙ)は、座標(ｘ，ｙ)における画素値を示している。１／２画素フィルタは、○で示される整数位置の画素における画素値から、×で示される実際には画素が存在しない小数位置の画素の画素値を計算するソフトウェアおよび集積回路などによって実現される。図３(ａ)では、座標（ｉ−０.５,ｊ）の位置にある画素の画素値Ｉ（ｉ−０.５,ｊ）を求める場合について説明する。例えば、タップ数Ｎ（Ｎは偶数の自然数）が"２"の場合、座標（ｉ−０.５,ｊ）の位置にある画素に対して、ｉ軸方向の両側に隣接する２つの画素の画素値Ｉ（ｉ−１,ｊ）および画素値Ｉ（ｉ,ｊ）が用いられる。画素値Ｉ（ｉ−０.５,ｊ）は、ｉ軸方向の画素値の積和である式１を用いて、以下のように表される。
【数１】
式１において、ａｋはフィルタ係数を示し、trunc(n)はnに対する小数以下切捨てを示している。このように、式１において適当なフィルタ係数ａｋを選んでおくことによって、１／２画素である（ｉ−０.５,ｊ）の位置にある画素の画素値Ｉ（ｉ−０.５,ｊ）が、その両側の画素におけるＮ個の画素値の平均値として求められる。また、例えば、タップ数Ｎが"４"の場合、（ｉ−０.５,ｊ）の位置にある画素に対して、ｉ軸方向の両側に隣接する２つの画素の画素値Ｉ（ｉ−１,ｊ）および画素値Ｉ（ｉ,ｊ）の他に、さらにｉ軸方向の両側に隣接する画素の画素値Ｉ（ｉ−２,ｊ）および画素値Ｉ（ｉ＋１,ｊ）が用いられる。同様に、タップ数Ｎが"６"、"８"と増加した場合には、式１のＮに、それらの値を代入することによって容易に求めることができる。
【００２７】
図３(ｂ)では、座標（ｉ,ｊ−０.５）の位置にある画素の画素値Ｉ（ｉ,ｊ−０.５）を求める場合について説明する。すなわち、予測画像が参照画像のｊ軸方向に小数画素分移動する場合である。例えば、タップ数Ｍ（Ｍは偶数の自然数）が"２"の場合、座標（ｉ,ｊ−０.５）の位置にある画素に対して、ｊ軸方向の両側に隣接する２つの画素の画素値Ｉ（ｉ,ｊ−１）および画素値Ｉ（ｉ,ｊ）が用いられる。この画素値Ｉ（ｉ,ｊ−０.５）は、ｊ軸方向の画素値の積和である式２を用いて、以下のように表される。
【数２】
式２において、ａｍはフィルタ係数を示している。この場合も、タップ数が"４"、"６"、"８"と増加した場合には、式２のＭに、この値を代入することによって、座標（ｉ,ｊ−０.５）の位置の画素について画素値を求めることができる。
また、図示しないが、予測画像が参照画像のｉ軸方向にもｊ軸方向にもそれぞれ１／２画素分移動する場合には、座標（ｉ−０.５,ｊ−０.５）における予測画像の画素値Ｉ（ｉ−０.５,ｊ−０.５）は、ｉ軸方向とｊ軸方向との画素値の積和である式３を用いて以下のように表される。
【数３】
以上の式から分かるように、画素補間部Ａおよび画素補間部Ｂを実現する画素フィルタは、フィルタタップ数が多いほど、予測精度が高くなる反面、演算処理量が多くなり、画像符号化装置の処理負荷が重くなる。
【００３０】
上記のように、画像符号化装置４００および画像復号化装置５００の画素補間部には、異なる予測性能・処理量の画素補間部を複数個、使用することができる。異なる予測性能・処理量の画素補間部を使用することには次の利点がある。簡単に説明するため、画素補間部Ａは画素補間部Ｂに比べて処理量が少なく、画素補間部Ｂは画素補間部Ａに比べて予測効率が高いとする。本発明の画像符号化装置が出力する符号化信号を復号化する画像復号化装置として、画素補間部Ａのみを備えた画像復号化装置と画素補間部Ａと画素補間部Ｂとの双方を備えた画像復号化装置の２種類の画像符号化装置を考える。
【００３１】
前者の画像符号化装置は要求される処理量が小さく、処理能力が低い機器に適している。後者の画像復号化装置は処理量が大きい機器に適している。後者の画像復号化装置は、画素補間部Ａおよび画素補間部Ｂのいずれの画素補間部を使用した符号化信号も復号化することが可能であり、前者の画像復号化装置に対して上位互換性を持つことができる。上記の説明のように画像復号化装置に応じて適切な予測性能・処理量の画素補間部を選択することにより、幅広い種類の機器に符号化方式を適用することができる。
【００３２】
また、画像復号化装置の処理能力に応じた符号化信号の生成という用途以外にも、画像符号化装置の処理能力に応じて画素補間部を切り替えることができる。例えば、符号化する画像サイズやフレームレートが大きい場合には、符号化処理全体に要する処理量が大きくなる。従って、符号化する画像サイズやフレームレートが一定値以下の場合には画素補間部Ｂを使用し、符号化する画像サイズやフレームレートが一定値以上の場合には、要求される処理能力が低い、すなわち処理負荷が小さい画素補間部Ａを使用して、符号化処理全体に要する処理量が高くならないようにすることができる。
【００３３】
また、複数の処理を同時に実行するタイムシェアリングシステム上で画像符号化を実現する場合には、他の処理の影響で画像符号化に費やせる処理量が動的に変化する可能性がある。そこで、画像符号化に費やせる処理量が一定以上の場合には処理量が多い画素補間部Ｂを使用し、画像符号化に費やせる処理量が一定以下の場合には処理量がより少ない画素補間部Ａを使用することができる。
【００３４】
また、特定の性質の画像に適した画素補間部を複数備えて、画像の性質に応じてフレーム単位に画素補間部を切り替えてもよい。例えば、文字などエッジ情報が重要な場合にはエッジの保存性に優れた画素補間部を使用する。複数の画素補間部の切り替えが可能になれば、画像の性質に適切な画素補間方法を選択できるため、より予測効率を向上できる。
【００３５】
更に、Ｂピクチャ等のように同時に２つの画像を参照して予測画像を生成する場合は、参照する各画像で画素補間が必要になり、１つの画像のみを参照するＰピクチャと比べて画素補間の演算量が２倍となるため、Ｂピクチャのみで簡素化された補間方法を使用すれば、各ピクチャで必要な演算量を平滑化できるため、実時間で動作するソフトウェアでの実現が容易になる。
【００３６】
図４（ａ）は、動画像を表す各フレームのピクチャ種別と画素補間の方法との関係を示す図である。図４（ｂ）は、本発明の画像符号化装置４００および画像復号化装置５００における補間方法選択の手順を示すフローチャートである。図４（ａ）に示すように、画像符号化装置４００には、各フレームがＩピクチャであるか、Ｂピクチャであるか、Ｐピクチャであるかを示すピクチャ種別信号PicTypeが外部から与えられる。Ｉピクチャでは、画面内符号化を行うので、予測画像の画素値は"０"である。従って、画素補間使用判定部１１２はスイッチ１０８とスイッチ１０９とを端子"１"に切り替えて、画素補間そのものを行わない。また、Ｂピクチャでは、ピクチャ種別信号PicTypeの値に従ってスイッチ４０１とスイッチ４０２とが端子"１"に切り替えられ、画素補間部Ａ４０３による簡易的な画素補間Ａが用いられる。また、Ｐピクチャでは、ピクチャ種別信号PicTypeの値に従って、スイッチ４０１とスイッチ４０２とが端子"２"に切り替えられ、画素補間部Ｂ４０４による高精度の画素補間Ｂが用いられる。
【００３７】
すなわち、画像符号化装置４００では、ピクチャ種別信号PicTypeの値に応じてスイッチ４０１とスイッチ４０２とを切り替えることにより、図４（ｂ）のフローチャートに示される選択処理を行っている。スイッチ４０１とスイッチ４０２とは、入力されるピクチャ種別信号PicTypeの値がＢピクチャを示す値であるか否かを判定し（Ｓ７０１）、Ｂピクチャを示す値であれば、それぞれが端子"１"を接続することによって画素補間部Ａ４０３による補間方法Ａを選択する（Ｓ７０２）。また、ピクチャ種別信号PicTypeの値がＢピクチャを示す値でない場合には、それぞれが端子"２"を接続することによって画素補間部Ｂ４０４による補間方法Ｂを選択する（Ｓ７０３）。画像符号化装置４００では、上記ステップＳ７０１からＳ７０３の処理を、入力される画像信号Imgのフレームごとに繰り返す。
【００３８】
上記のように、画像符号化装置４００によれば、本来、画像符号化処理のための処理負荷が比較的大きいＢピクチャに対して、より処理負荷が小さい画素補間部を選択するので、処理能力が比較的低い画像符号化装置でも画素補間を行うことができる。また、他のフレームに参照されにくいＢピクチャに対して、より精度の低い画素補間部を選択するので、より精度の低い画素補間部を選択したことによる影響が他のフレームに及ぶことを小さく留めるすることができる。さらに、通常、画像信号に含まれているピクチャ種別信号PicTypeに基づいて画素補間部を選択するので、符号化信号Bitstream内に、どのフレームに対してどの画素補間部を示す情報を含ませる必要がなく、その分、可変長符号化部の処理量を低減することができる。また、本来、画像符号化装置の処理負荷が比較的少ないＰピクチャに対しては、処理負荷は大きくなるが、より予測精度の高い画素補間部を選択するので、処理能力が比較的低い画像符号化装置でも、より予測精度の高い画素補間を行うことができる。また、他のフレームに参照されるＰピクチャに対しては、より予測精度の高い画素補間を行うことができるので、画質の劣化を最低限に防止することができる。
【００３９】
図５は、フレーム単位で画素補間方法を切り替える画像符号化装置８００の構成を示すブロック図である。図５において、図１８の画像符号化装置１００および図１の画像符号化装置４００と同様の構成要素および信号には同じ符号を付し、説明を省略する。画像符号化装置８００は、差分器１０１、画像符号化部１０２、画像復号化部１０４、加算器１０５、画像メモリ１０６、画素ブロック取得部１０７、スイッチ１０８、スイッチ１０９、動き推定部１１１、画素補間使用判定部１１２、画素補間部Ａ４０３、画素補間部Ｂ４０４、画素補間切り替え位置判定部８０１、スイッチ８０２、可変長符号化部８０３、スイッチ８０４およびスイッチ８０５を備える。画素補間切り替え位置判定部８０１は、入力された画像信号Imgから画素補間部Ａ４０３と画素補間部Ｂ４０４とを切り替える単位（フレーム、スライス、マクロブロック、ブロックなど）を検出した場合には、画素補間切り替え制御信号SetPolatorType"１"を出力することにより、スイッチ８０２をオン(導通状態)にする。
【００４０】
ここでは、例えば、画像信号Imgのフレームを、画素補間方法の切り替え単位としてスイッチ８０２を切り替える。スイッチ８０２は、切り替え単位となる各フレームの先頭において、ごく短い時間帯だけ、画素補間種別信号PolatorTypeをスイッチ８０４およびスイッチ８０５に導通させ、前記切り替え単位の他の時間帯では、画素補間種別信号PolatorTypeがスイッチ８０４およびスイッチ８０５に入力されるのを遮断する機能を有している。これは、切り替え単位の符号化途中で画素補間部Ａ４０３と画素補間部Ｂ４０４とが切り替わってしまうことを防止するためである。スイッチ８０２は、各フレームの先頭を切り替えのタイミングとして画素補間切り替え制御信号SetPolatorType"１"によりオンにされると、一定時間、端子を閉じて、外部から入力される画素補間種別信号PolatorTypeをスイッチ８０４およびスイッチ８０５に導通する。この画素補間種別信号PolatorTypeは、画像符号化装置８００内の図示しない送信バッファ内のデータ残量などを目安として測定された、画像符号化装置８００の処理負荷に応じて、または画像復号化装置に想定される復号化能力に応じて、画素補間の種別を選択するために外部から入力される信号である。スイッチ８０２は、前記一定時間を経過すると端子を開いてオフになり、再び画素補間切り替え制御信号SetPolatorType"１"が入力されるとオンになるという動作をする。また、スイッチ８０４とスイッチ８０５とは、一旦、スイッチ８０２を介して外部から画素補間種別信号PolatorTypeが入力されると、次に異なる値の画素補間種別信号PolatorTypeが入力されるまで、当該画素補間種別信号PolatorTypeの値によって示される接続端子を接続したままの状態を保持する。
【００４１】
例えば、あるフレームの先頭でスイッチ８０２が導通された短い時間帯に入力された画素補間種別信号PolatorTypeの値が"１"であったとすると、スイッチ８０４とスイッチ８０５とは、それぞれ端子"１"を接続し、その状態を保持する。この後、次のフレームの先頭でスイッチ８０２が導通された短い時間帯に入力された画素補間種別信号PolatorTypeの値が"０"であったとすると、スイッチ８０４とスイッチ８０５とは、それぞれ端子"２"に接続し、その状態を保持する。これにより、フレームの先頭においてのみ画素補間方法の切り替えが起こり、フレームの符号化途中で画素補間方法が切り替わることを防止することができる。
【００４２】
切り替え判定を用いた画素補間では、予測精度の異なる複数の画素補間部を備え、フレーム毎に、複数の画素補間方法のうちから処理量の制限を越えない範囲で予測効率が最適なフィルタを選択的に実行することにより行う。また、切り替え判定を用いた他の画素補間として、各フレームの符号化途中で画像符号化装置の処理能力が足りなくなった場合に、次のフレームで処理量が少ない画素補間方法に切り替えるとしてもよい。その結果、画素補間種別信号PolatorTypeにより、新たな画素補間部が選択される。
【００４３】
図６は、画像符号化装置８００における補間方法選択の手順を示すフローチャートである。具体的には、画像符号化装置８００では、画素補間切り替え制御信号SetPolatorTypeの値に応じてスイッチ８０２を接続し、スイッチ８０２が接続されている間に外部から入力される画素補間種別信号PolatorTypeの値に応じてスイッチ８０４とスイッチ８０５とを切り替えることにより、図６のフローチャートに示される選択処理を行っている。画像符号化装置８００は、各フレームの先頭を示すフレームヘッダなどを画像信号Imgから検出し(Ｓ９０１)、画素補間切り替え位置判定部８０１から例えば、画素補間切り替え制御信号SetPolatorType"１"を出力してスイッチ８０２をオンにする（Ｓ９０２）。画像符号化装置８００は、スイッチ８０２がオンになっている間に入力された画素補間種別信号PolatorTypeの値が"１"であるか否かを判定し（Ｓ９０３）、"１"であれば、スイッチ８０４とスイッチ８０５とをそれぞれ端子"１"に接続させ画素補間部Ａ４０３による補間方法Ａを選択する（Ｓ９０４）。画素補間種別信号PolatorTypeの値が"１"でなければ、スイッチ８０４とスイッチ８０５とをそれぞれ端子"２"に接続させ画素補間部Ｂ４０４による補間方法Ｂを選択する（Ｓ９０５）。画像符号化装置８００は、上記ステップＳ９０１からＳ９０５までの処理を、入力される画像信号Imgのフレームごとに繰り返す。
【００４４】
画像符号化装置８００は、さらに、可変長符号化部８０３において、画素補間種別の切り替え単位をフレームとした場合、画像符号化装置８００の出力である符号化信号Bitstreamのフレームごとに、例えば、符号化信号Bitstreamの各フレームヘッダに画素補間種別信号PolatorTypeの値を記録して出力する。図７（ａ）は、本発明の符号化信号Bitstreamのストリーム構成を示す図である。図７（ｂ）は、フレームを単位として画素補間の方法を切り替える場合の符号化信号Bitstreamのストリーム構成を示す図である。本発明の符号化信号の特徴は、画素補間種別信号PolatorTypeを符号化信号Bitstreamに含むことである。このストリーム構成により、本発明の符号化信号Bitstreamを復号化する画像復号化装置では、画素補間種別信号を調べることにより、符号化に使用した画素補間部と同一の画素補間方法を使用することができる。
【００４５】
図７（ａ）に示した符号化信号Bitstreamでは、符号化信号Bitstream全体に付されるヘッダ１００１の中（例えば、斜線部）に、各フレームの画素補間に用いられた補間方法を示す画素補間種別信号PolatorTypeの値が記述されている。また、図７（ｂ）に示した符号化信号Bitstreamでは、フレームごとに設けられるフレームヘッダ１００２の中（例えば、斜線部）に、当該フレームの画素補間に用いられた補間方法を示す画素補間種別信号PolatorTypeの値が記述される。このように、画素補間種別信号PolatorTypeを符号化信号Bitstreamの先頭部分であるヘッダ１００１や、ランダムアクセスポイントの先頭となるフレームヘッダ１００２などに格納することによって、画像復号化装置では、ヘッダ１００１もしくはランダムアクセスポイントから符号化信号Bitstreamを入力することにより、当該フレームの復号化前にそのフレームの画素補間種別を特定することができる。
【００４６】
なお、ここではフレーム単位で画素補間部を切り替えると説明したが、フレーム単位だけでなく、フレームより小さい画像領域単位（１画素以上が集合した領域であればよい、例えば、ＭＰＥＧのスライス・マクロブロック・ブロックなど）で画素補間部を切り替えてもよい。例えば、スライスを切り替え単位とする場合には、各スライスに対応する画素補間種別信号PolatorTypeの値を、符号化信号Bitstream全体に対して付されるヘッダに記述してもよいし、フレームごとにまとめてフレームヘッダに記述してもよい。また、それぞれのスライスに対応するスライスヘッダに、各スライスの画素補間種別信号の値を記述しておいてもよい。また、マクロブロックまたはブロックを画素補間方法の切り替え単位とする場合には、各マクロブロックまたは各ブロックの画素補間種別信号の値をスライスごとにまとめて、スライスヘッダに記述しておけばよい。
【００４７】
以上説明したように、本発明の画像符号化装置に入力される画素補間種別信号PolatorTypeの値を、画像復号化装置の処理能力に応じた画素補間部を選択するよう設定しておくことにより、本発明の画像符号化装置が出力する符号化信号を再生する画像復号化装置の処理能力に応じた符号化信号を作成することが可能になる。また、画像符号化装置の処理能力に応じて画素補間部を選択することができる。
【００４８】
なお、既存の画像符号化方式には、予測画像信号の位置に応じて、その位置の画素値を生成する画素補間方法を切り替える符号化方式がある。例えば、１／２画素位置の画素値を生成する場合には１／２画素位置用の画素補間方法を選択し、１／４画素位置の画素値を生成する場合には１／４画素位置用の画素補間方法を選択するような符号化方式である。しかし、それらの符号化方式は、所望の画素位置について、いずれか一方の画素補間方法を選択せざるを得ないことに対して、本発明の符号化方式では、予測画像信号の同一位置の画素値の計算につき複数の画素補間部を備えるので、同一画素位置の画素値の計算に対して複数の画素補間方法を自由に選択することができるという点で異なる。本発明の画像符号化方式に、異なる画素位置に対して複数の画素補間方法を切り替える上記の方法を組み合わせることもできる。この場合、異なる画素位置に対してそれぞれの画素値を計算する複数の画素補間部を備えるとともに、同一画素位置に対して予測精度の異なる画素値を計算する複数の画素補間部を備えるものとする。
【００４９】
なお、上記実施の形態においては、２つの画素補間部を備えた画像符号化装置について説明したが、３つ以上の画素補間部を備えるとしてもよい。その場合には、３つ以上の画素補間部のいずれか１つを選択して使用し、使用した画素補間部の種別を示す画素補間種別信号を符号化信号に含めればよい。
【００５０】
図８は、本実施の形態の他の画像復号化装置１１００の構成を示すブロック図である。図８において、図２に示した画像復号化装置５００と同じ動作をする構成要素および信号については、すでに説明しているので、同じ符号を付し説明を省略する。画像復号化装置１１００は、画像復号化部２０２、加算器２０３、画像メモリ２０４、画素ブロック取得部２０７、スイッチ２０８、スイッチ２０９、画素補間使用判定部２１２、画素補間部Ａ５０３、画素補間部Ｂ５０４、可変長復号化部１１０１、画素補間種別変換部１１０２、スイッチ１１０３およびスイッチ１１０４を備える。画像復号化装置１１００には、図５に示した画像符号化装置８００によって出力された符号化信号Bitstream2が入力される。すなわち、画像復号化装置１１００に入力される符号化信号Bitstream2には、画素補間種別信号PolatorType1が記述されている。画像復号化装置１１００は、符号化信号Bitstream2中の画素補間種別信号PolatorType1で示された画素補間部が画像復号化装置１１００に備えられていない場合には、画像符号化装置１１００が備えている画素補間部のいずれかを代わりに用いることを特徴とする。
【００５１】
画像復号化装置１１００は、画素補間種別信号PolatorType1の値"１"と"２"とが示す２種類の画素補間部すなわち、画素補間部Ａ５０３（フィルタタップ数Ｎ＝４）および画素補間部Ｂ５０４（フィルタタップ数Ｎ＝８）しか備えていないとする。画像復号化装置１１００において、可変長復号化部１１０１は、符号化信号Bitstream2を可変長復号化し、差分画像符号化信号CodedResと動きパラメータ信号MotionParamと画素補間種別信号PolatorType1とに分離する。画素補間種別変換部１１０２は、画素補間種別信号PolatorType1によって指定されうる画素補間部の種別と、当該各画素補間部の特性を示すパラメータと、実装の有無とを示す、あらかじめ作成された補間種別表を内部に保持している。画素補間種別変換部１１０２は、当該補間種別表に基づいて、画素補間種別信号PolatorType1の値で示される画素補間部が画像復号化装置１１００に実装されているか否かを判断する。
【００５２】
図９は、図８に示した画素補間種別変換部１１０２に保持されている補間種別表１２００の一例を示す図である。図のように、補間種別表１２００には、画素補間種別信号PolatorType1の値で示される各画素補間部の実装の有無１２０１と、画素補間種別信号PolatorType1の値１２０１および画素補間種別信号PolatorType1の値で示される各画素補間部の特性を表したフィルタタップ数（Ｎ）１２０３が記述されている。画素補間種別変換部１１０２は、画素補間種別信号PolatorType1の値が、画像復号化装置１１００に実装されていない画素補間部Ｃ（フィルタタップ数Ｎ＝１６）を示す値、例えば"３"であった場合には、実装されている画素補間部のうちで、補間種別表１２００に記述されているフィルタタップ数（Ｎ）１２０３が画素補間種別信号PolatorType1で示された画素補間部Ｃに最も近い画素補間部Ｂ５０４（フィルタタップ数Ｎ＝８）を選択し、画素補間種別信号PolatorType1の値を、例えば"２"の値に変換して、画素補間種別信号PolatorType2として出力する。この変換処理によって画像復号化装置１１００では、符号化時に使用された画素補間部とは異なる画素補間部を用いるので画質劣化を生じることは否めないが、差分画像符号化信号CodedResと動きパラメータ信号MotionParamとの復号化処理は可能であるため、復号化された映像の概観（プレビュー）が可能になる。画素補間種別信号PolatorType2として"１"が入力された場合には、スイッチ１１０３と、スイッチ１１０４とは端子"１"側に切り替わり、復号画像信号Reconに対して画素補間部Ａ５０３が使用される。画素補間種別信号PolatorType2として"２"が入力された場合には、スイッチ１１０３と、スイッチ１１０４とが端子"２"側に切り替わり、復号画像信号Reconに対して画素補間部Ｂ５０４が使用される。
【００５３】
以上説明したように、本発明の画像復号化装置１１００によれば、画像復号化装置１１００に実装されていない画素補間部を示す画素補間種別信号PolatorType2が含まれている符号化信号Bitstreamが入力された場合でも、入力符号化信号Bitstreamを支障なく復号化することができるという効果がある。なお、画像復号化装置１１００が有する画素補間部が１つの場合には強制的にその画素補間部を使用することにより、入力符号化信号Bitstreamを復号化することができる。また、本実施の形態の画像復号化装置１１００では、２個の画素補間部を備えているが３個以上の画素補間部があっても同様の処理が可能である。なお、実施の形態１で示したように、画素補間種別がフレーム単位、あるいは、フレームより小さい画像領域の単位で切り替わる場合には、画像復号化装置１１００は画素補間種別が変更された時点で画素補間部を切り替えるものとする。なお、ここでは、複数の画素補間部の特性をフィルタタップ数で表したが、必ずしもフィルタタップ数である必要はなく、他のパラメータであってもよい。更に、画像復号化装置１１００が画像符号化装置で使用される可能性がある画素補間フィルタを全て備えていることが明らかである場合には、画像復号化装置１１００の画素補間種別変換部１１０２はなくてもよい。この場合には、画素補間種別信号PolatorType1をそのまま画素補間種別信号PolatorType2として使用する。
【００５４】
（実施の形態２）
図１０は、本発明の実施の形態２に係る画像符号化装置１３００の構成を示すブロック図である。なお、図１８、図１および図５に示した画像符号化装置１００、画像符号化装置４００および画像符号化装置８００における各構成要素と同じ動作をする構成要素および信号については、同じ参照符号を付し説明を省略する。画像符号化装置１３００は、符号化の対象となるフレームが他のフレームに参照されないフレームである場合は、画素補間における処理量がより小さい画素補間部を使用し、他のフレームで参照フレームとして使用される場合には、予測効率は高いが処理量が大きい画素補間部を使用する画像符号化装置であって、差分器１０１、画像符号化部１０２、画像復号化部１０４、加算器１０５、画像メモリ１０６、画素ブロック取得部１０７、スイッチ１０８、スイッチ１０９、画素補間使用判定部１１２、スイッチ１３０１、スイッチ１３０２、可変長符号化部１３０３、スイッチ１３０４および動き推定部１３０５を備える。動き推定部１３０５には、外部から、符号化対象フレームが後に参照フレームとして使用かれるか否かを示す参照指示信号AvairableRefが入力される。参照指示信号AvairableRefは、画像符号化装置１３００のオペレータが図示しないキーボードなどの入力部を用いて入力した設定に基づいて外部から入力される信号であって、値が"０"のとき、当該符号化対象フレームが参照フレームとして使用されないことを示し、値が"１"のとき、当該符号化対象フレームが後に参照フレームとして使用されることを示している。
【００５５】
これに対応して、スイッチ１３０１およびスイッチ１３０２は、参照指示信号AvairableRefの値が"０"のとき、すなわち、他のフレームに参照されない符号化対象フレームに対しては、それぞれ端子"１"を接続し、処理量がより小さい画素補間部Ａ４０３を選択する。また、参照指示信号AvairableRefの値が"１"のとき、すなわち、後に参照フレームとして使用される符号化対象フレームに対しては、それぞれ端子"２"を接続し、予測効率は高いけれども処理量はより大きい画素補間部Ｂ４０４を選択する。また、スイッチ１３０４は、参照指示信号AvairableRefの値が"０"のときオフになり、当該フレームの復号差分画像信号ReconResは、画像メモリ１０６に格納されない。逆に、参照指示信号AvairableRefの値が"１"のとき、スイッチ１３０４はオンになり、当該フレームの復号差分画像信号ReconResが画像メモリ１０６に格納される。可変長符号化部１３０３は、画像符号化装置１３００の出力である、図７に示したストリーム構成を有する符号化信号Bitstream3のフレームごとに、例えば、符号化信号Bitstream3の各フレームヘッダに参照指示信号AvairableRefの値を記録して出力する。
【００５６】
図１１は、図１０に示した画像符号化装置１３００の出力である符号化信号Bitstream3を復号化する画像復号化装置１４００の構成を示すブロック図である。同図において、図１９、図２および図８に示した画像復号化装置２００、画像復号化装置５００および画像復号化装置１１００における各構成要素と同じ動作をする構成要素および信号については、すでに説明しているので、同じ参照符号を付し説明を省略する。画像復号化装置１４００は、前述の参照指示信号AvairableRefを含んだ符号化信号Bitstream3を復号化する画像復号化装置であって、画像復号化部２０２、加算器２０３、画像メモリ２０４、画素ブロック取得部２０７、スイッチ２０８、スイッチ２０９、画素補間使用判定部２１２、可変長復号化部１４０１、スイッチ１４０２、スイッチ１４０３およびスイッチ１４０４を備える。可変長復号化部１４０１は、入力された符号化信号Bitstream3を可変長復号化し、差分画像符号化信号CodedResと動きパラメータ信号MotionParamと参照指示信号AvairableRefとに分離する。分離された参照指示信号AvairableRefは、スイッチ１４０２とスイッチ１４０３とスイッチ１４０４とに入力される。スイッチ１４０４は、参照指示信号AvairableRefの値が"０"のとき、すなわち、当該フレームの復号画像信号Reconが参照フレームとして使用されない場合、オフになる。したがって、当該フレームの復号画像信号Reconは、画像メモリ２０４に格納されない。逆に、参照指示信号AvairableRefの値が"１"のとき、すなわち、当該フレームの復号画像信号Reconが参照フレームとなる場合、オンになる。したがって、当該フレームの復号画像信号Reconが画像メモリ２０４に格納される。また、スイッチ１４０２とスイッチ１４０３とは、参照指示信号AvairableRefの値が"０"のとき、すなわち、当該フレームの復号画像信号Reconが参照フレームとして使用されない場合、それぞれ端子"１"を接続し、画素補間の処理量の少ない画素補間部Ａ５０３を選択する。逆に、参照指示信号AvairableRefの値が"１"のとき、それぞれ端子"２"を接続し、画素補間の処理量は多くなるが予測効率の高い画素補間部Ｂ５０４を選択する。
【００５７】
以上のように、本実施の形態の画像符号化装置１３００および画像復号化装置１４００では、他のフレームに参照される符号化対象フレームにおいて処理量の少ない画素補間方法を使用すると、処理量の少ない画素補間方法の予測精度の低さによる画質の劣化が他のフレームの画質にも影響することになるが、他のフレームに参照されない符号化対象フレームについてだけ、処理量の少ない画素補間方法を使用するので、予測精度の低さによる符号化対象フレームの画質の劣化が他のフレームに影響を与えることなく、画像符号化装置１３００および画像復号化装置における画素補間のための処理負荷を軽減することができる。従って、画像符号化装置１３００および画像復号化装置としては、予測精度の劣化を最小限に留めつつ、画像符号化処理における処理負荷を大きく低減することができる。
【００５８】
なお、本実施の形態の画像復号化装置１４００では、スイッチ１４０４を設け、他のフレームに参照されないフレームの復号画像信号Reconが画像メモリ２０４に格納されないようにしたが、すでに説明した本発明の他の画像復号化装置においても、スイッチ１４０４を備えるようにしてもよい。
【００５９】
また、上記実施の形態１および実施の形態２では、画素補間部Ａ４０３と画素補間部Ｂ４０４とをスイッチで切り替えて使用すると説明したが、本発明はこれに限定されず、画素補間部Ａ４０３と画素補間部Ｂ４０４とを、複数の動作モードで動作する１つの画素補間部に置き換えてもよい。この画素補間部は、例えば、目的とする予測精度または処理負荷に応じて、複数の演算方法または複数の演算式に従って演算を行う１つの画素フィルタであって、外部から与えられるパラメータに従って１つの動作モード（演算方法または演算式）が決定されるものとする。
（実施の形態３）
さらに、上記各実施の形態で示した画像符号化方法または画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【００６０】
図１２は、上記実施の形態１から実施の形態３の画像符号化方法または画像復号化方法のプログラムを格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。
図１２（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１２（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての画像符号化方法が記録されている。
【００６１】
また、図１２（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての画像符号化方法または画像復号化方法をフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスク内のプログラムにより上記画像符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【００６２】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【００６３】
図１３から図１６は、上記実施の形態で示した符号化処理または復号化処理を行う機器、およびこの機器を用いたシステムを説明する図である。
図１３は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４が接続される。しかし、コンテンツ供給システムex１００は図１３のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、電話網ex１０４に直接接続されてもよい。
【００６４】
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。
【００６５】
また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。
【００６６】
図１４は、携帯電話ex１１５の一例を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キー群から構成される本体部ex２０４、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記憶メディアex２０７、携帯電話ex１１５に記憶メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記憶メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。
【００６７】
このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【００６８】
さらに、携帯電話ex１１５について図１５を用いて説明する。図１５は、携帯電話ex１１５の構成を示すブロック図である。携帯電話ex１１５は表示部ex２０２及び本体部ex２０４の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部２０８を介して出力する。さらに、データ通信モード時に電子メールを送信する場合、本体部ex２０４の操作キーの操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。
【００６９】
データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。
【００７０】
画像符号化部ex３１２は、カメラ部ex２０３から供給された画像データを上記実施の形態で示した符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。
【００７１】
多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。
【００７２】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
【００７３】
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより符号化画像データと音声データとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。
【００７４】
次に、画像復号化部ex３０９は、符号化画像データを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１６に示すようにディジタル放送用システムにも上記実施の形態の少なくとも符号化方法または復号化方法いずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ受信機ex４０１またはセットトップボックスex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体である蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した復号化方法を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に復号化装置を実装し、これをテレビモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に符号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。
【００７５】
なお、カーナビゲーションex４１３の構成は例えば図１５に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ受信機ex４０１等でも考えられる。また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【００７６】
このように、本明細書に示した符号化方法、復号化方法を実装することにより本実施の形態で示したいずれの装置・システムに関しても実現可能になる。
【００７７】
以上のように、本発明に係る画像符号化装置および画像復号化装置は、画像を伝送する携帯電話機に備えられる画像符号化装置および画像復号化装置として、また、カーナビゲーションシステムに備えられる画像符号化装置および画像復号化装置として有用である。また、本発明の画像符号化方法および画像復号化方法を実行するプログラムおよびそれを記録した記録媒体として有用である。さらに、本発明の画像符号化装置によって生成される符号化信号を記録した記録媒体として有用である。
【００７８】
【発明の効果】
上記目的を達成するために本発明の画像符号化方法は、予測画像の生成に画素補間を伴う画像符号化方法であって、複数の画素補間方法から１つの画素補間方法を選択する選択ステップと、選択された画素補間方法を用いて対象画素位置の画素値を生成する画素値生成ステップとを含むことを特徴とする。
従って、本発明の画像符号化装置によれば、複数の画素補間方法から１つの画素補間方法を選択することにより、画像符号化装置の処理能力や符号化信号を受信する画像復号化装置の処理能力に応じた符号化信号を作成することが可能になる。
【００７９】
また、上記目的を達成するために本発明の画像復号化方法は、復号化済み画像に対して画素補間を行い予測画像を生成する画像復号化方法であって、入力される符号化信号を復号化して得られる復号化画像が、前記符号化信号を復号化して得られる他の復号化画像に参照されない画像である場合、複数の画素補間方法の中から処理負荷の軽い画素補間方法を選択する選択ステップと、選択された画素補間方法を使用して、前記予測画像を生成する予測画像生成ステップとを含むことを特徴とする。
【００８０】
従って、本発明の画像復号化装置によれば、他の画像に参照されない画像につき、処理負荷の軽い画素補間方法を選択するので、当該画像を用いて生成される予測画像につき処理負荷の軽い画素補間方法を用いて画素値を生成したことによる画質の劣化が他の画像に影響することなく、全体として、画像復号化処理における処理負荷を軽減することができる。
【００８１】
更に、上記目的を達成するために本発明の画像符号化方法および画像復号化方法は、予測画像に対して画素補間を行う画像復号化方法であって、予測で参照する画像数が複数である場合、複数の画素補間方法の中から処理負荷の軽い画素補間方法を選択する選択ステップと、選択された画素補間方法を使用して、前記予測画像の画素値を生成する画素値生成ステップとを含むことを特徴とする。
【００８２】
従って、本発明の画像符号化装置および画像復号化装置によれば、予測で参照する画像数が複数であり特に処理負荷の重い予測を行う場合に、処理負荷の軽い画素補間方法を選択するので、当該画像の画像符号化および画像復号化の負荷処理が軽減でき、全体として、画像符号化および画像復号化処理における処理負荷を平坦化することができる。
【図面の簡単な説明】
【図１】本発明の画像符号化装置の構成を示すブロック図である。
【図２】本発明の画像復号化装置の構成を示すブロック図である。
【図３】図３(ａ)は、１／２画素フィルタにおいて、既存の画素からｉ軸方向に１／２画素ずれた位置にある画素の画素値を計算する方法の一例を示す図である。図３(ｂ)は、１／２画素フィルタにおいて、既存の画素からｊ軸方向に１／２画素ずれた位置にある画素の画素値を計算する方法の一例を示す図である。
【図４】図４（ａ）は、動画像を表す各フレームのピクチャ種別と画素補間の方法との関係を示す図である。図４（ｂ）は、本発明の画像符号化装置および画像復号化装置における補間方法選択の手順を示すフローチャートである。
【図５】フレーム単位で画素補間方法を切り替える画像符号化装置の構成を示すブロック図である。
【図６】画像符号化装置における補間方法選択の手順を示すフローチャートである。
【図７】図７（ａ）は、本発明の符号化信号Bitstreamのストリーム構成を示す図である。図７（ｂ）は、フレームを単位として画素補間の方法を切り替える場合の符号化信号Bitstreamのストリーム構成を示す図である。
【図８】本実施の形態の他の画像復号化装置の構成を示すブロック図である。
【図９】図８に示した画素補間種別変換部に保持されている補間種別表の一例を示す図である。
【図１０】本発明の実施の形態２に係る画像符号化装置の構成を示すブロック図である。
【図１１】図１０に示した画像符号化装置の出力である符号化信号Bitstream3を復号化する画像復号化装置の構成を示すブロック図である。
【図１２】図１２（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示す図である。図１２（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示す図である。図１２（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す図である。
【図１３】コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。
【図１４】携帯電話の外観の一例を示す図である。
【図１５】携帯電話の構成を示すブロック図である。
【図１６】上記実施の形態で示した符号化処理または復号化処理を行う機器、およびこの機器を用いたシステムを説明する図である。
【図１７】動画像における動き補償の概念を示す図である。
【図１８】従来の画像符号化装置の構成を示すブロック図である。
【図１９】従来の画像復号化装置の構成を示すブロック図である。
【符号の説明】
１０１ 差分器
１０２ 画像符号化部
１０３ 可変長符号化部
１０４ 画像復号化部
１０５ 加算器
１０６ 画像メモリ
１０７ 画素ブロック取得部
１０８ スイッチ
１０９ スイッチ
１１１ 動き推定部
１１２ 画素補間使用判定部
４０３ 画素補間部Ａ
４０４ 画素補間部Ｂ
Img 画像信号
Res 差分画像信号
CodedRes 差分画像符号化信号
Bitstream 符号化信号
ReconRes 復号差分画像信号
Recon 復号画像信号
Ref 参照画像信号
Blk 画素ブロック
UsePolator 画素補間使用制御信号
Pred 予測画像信号
MotionParam 動きパラメータ信号
PicType ピクチャ種別信号
Claims (5)
- 復号化済み画像に対して画素補間を行って、入力画像との差分である差分画像を算出するための予測画像を生成し、前記差分画像を符号化する画像符号化方法であって、
復号化手段が、入力される符号化信号を復号化する復号化ステップと、
保持手段が、前記復号化ステップで復号化された復号化済み画像を保持する保持ステップと、
エッジ重要度判定手段が、前記復号化済み画像の特徴を検出し、エッジ情報の重要度を判定するエッジ重要度判定ステップと、
選択手段が、前記エッジ重要度判定ステップによりエッジ情報が重要であると判定された場合、複数の画素補間方法の中からタップ数が多い画素補間方法を選択する選択ステップと、
予測画像生成手段が、選択された画素補間方法を使用して、前記予測画像を生成する予測画像生成ステップと、
符号化信号生成手段が、複数の画素補間方法の中からどの画素補間方法が選択されたかを示す情報を前記符号化信号に含ませる符号化信号生成ステップと
を含むことを特徴とする画像符号化方法。 - 前記エッジ重要度判定ステップは、前記復号化済み画像に文字が含まれているか否かを判定の基準とする
ことを特徴とする請求項１記載の画像符号化方法。 - 前記複数の画素補間方法は、前記予測画像の精度が異なる
ことを特徴とする請求項１又は請求項２記載の画像符号化方法。 - 前記選択ステップでは、入力される画像のフレームごとに、１つの画素補間方法を選択する
ことを特徴とする請求項１記載の画像符号化方法。 - 前記選択ステップでは、入力される画像のスライスごとに、１つの画素補間方法を選択する
ことを特徴とする請求項１記載の画像符号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002234426A JP4129374B2 (ja) | 2001-09-18 | 2002-08-12 | 画像符号化方法および画像復号化方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001283265 | 2001-09-18 | ||
| JP2001-283265 | 2001-09-18 | ||
| JP2002234426A JP4129374B2 (ja) | 2001-09-18 | 2002-08-12 | 画像符号化方法および画像復号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003169337A JP2003169337A (ja) | 2003-06-13 |
| JP4129374B2 true JP4129374B2 (ja) | 2008-08-06 |
Family
ID=26622418
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002234426A Expired - Fee Related JP4129374B2 (ja) | 2001-09-18 | 2002-08-12 | 画像符号化方法および画像復号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4129374B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4102973B2 (ja) | 2002-04-24 | 2008-06-18 | 日本電気株式会社 | 動画像の符号化方法および復号化方法、これを用いた装置とプログラム |
| KR100624429B1 (ko) * | 2003-07-16 | 2006-09-19 | 삼성전자주식회사 | 칼라 영상을 위한 비디오 부호화/복호화 장치 및 그 방법 |
| FR2867328A1 (fr) * | 2004-03-02 | 2005-09-09 | Thomson Licensing Sa | Procede de decodage d'une sequence d'images codee avec echelonnabilite spatiale et temporelle |
| DE602005015067D1 (de) | 2004-09-30 | 2009-08-06 | Toshiba Kk | Informationsbearbeitungsgerät und Programm |
| DE102005016827A1 (de) * | 2005-04-12 | 2006-10-19 | Siemens Ag | Adaptive Interpolation bei der Bild- oder Videokodierung |
| EP1894416A1 (en) * | 2005-06-17 | 2008-03-05 | Koninklijke Philips Electronics N.V. | Coding and decoding method and device for improving video error concealment |
| JP2007133263A (ja) * | 2005-11-11 | 2007-05-31 | Sharp Corp | 画像処理装置、画像処理方法、画像処理プログラム、および記録媒体 |
| JP2007306538A (ja) * | 2006-04-12 | 2007-11-22 | Matsushita Electric Ind Co Ltd | 画像復号装置及び方法 |
| JP4804423B2 (ja) * | 2006-08-08 | 2011-11-02 | キヤノン株式会社 | 動きベクトル検出装置及び動きベクトル検出方法 |
| EP2432226B1 (en) * | 2009-05-11 | 2019-06-26 | NTT DoCoMo, Inc. | Moving image encoding device, method, and program, and moving image decoding device, method, and program |
| JP2011135184A (ja) * | 2009-12-22 | 2011-07-07 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| JP5581688B2 (ja) * | 2009-12-24 | 2014-09-03 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| JP5571542B2 (ja) * | 2010-12-22 | 2014-08-13 | 日本電信電話株式会社 | 映像符号化方法、及び映像復号方法 |
| EP3280139B1 (en) | 2011-11-08 | 2020-03-18 | Kabushiki Kaisha Toshiba | Image decoding method and image decoding apparatus |
| CN112333467B (zh) * | 2020-11-27 | 2023-03-21 | 中国船舶工业系统工程研究院 | 一种用于检测视频的关键帧的方法、系统和介质 |
-
2002
- 2002-08-12 JP JP2002234426A patent/JP4129374B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003169337A (ja) | 2003-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100557911B1 (ko) | 화상 부호화 방법 및 화상 복호화 방법 | |
| JP4621811B2 (ja) | 画像符号化復号化装置 | |
| JP4718578B2 (ja) | 画像復号化方法および画像復号化装置 | |
| JP4685636B2 (ja) | 復号化装置、符号化装置、補間フレーム生成システム、集積回路装置、復号化プログラムおよび符号化プログラム | |
| JP4440572B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP4129374B2 (ja) | 画像符号化方法および画像復号化方法 | |
| KR20050018728A (ko) | 움직임 벡터 도출 방법, 동화상 부호화 방법, 및 동화상복호화 방법 | |
| JP2004088737A (ja) | 画像符号化方法および画像復号化方法 | |
| JP3824268B2 (ja) | 動きベクトル導出方法、および動きベクトル導出装置 | |
| JP2004040512A (ja) | 画像符号化方法および画像復号方法 | |
| JP2005341545A (ja) | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラムおよび動画像復号プログラム | |
| JP4406239B2 (ja) | 動き補償方法および動き補償装置 | |
| JP4105218B2 (ja) | 受信装置及び送信装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050311 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070703 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070830 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071023 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080422 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080519 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4129374 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120523 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120523 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130523 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130523 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |