JP4318019B2 - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents
画像処理装置および方法、記録媒体、並びにプログラム Download PDFInfo
- Publication number
- JP4318019B2 JP4318019B2 JP2002154077A JP2002154077A JP4318019B2 JP 4318019 B2 JP4318019 B2 JP 4318019B2 JP 2002154077 A JP2002154077 A JP 2002154077A JP 2002154077 A JP2002154077 A JP 2002154077A JP 4318019 B2 JP4318019 B2 JP 4318019B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- interpolation
- stored
- prediction compensation
- interpolated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン放送、インターネットなどのネットワークメディアを介して送受信する際に、若しくは光ディスク、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる画像情報の符号化や復号、また、更新周波数の変換を行う装置に用いて好適な画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
近年、画像情報をデジタルとして取り扱い、その際、効率の良い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Expert Group）などの方式に準拠した装置が、放送局などの情報配信、および一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、MPEG２（ISO/IEC 13818-2）は、汎用画像圧縮方式として定義された規格であり、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、例えばDVD（Digital Versatile Disk）規格に代表されるように、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに広く用いられている。
【０００４】
このMPEG２圧縮方式を用いることにより、例えば、７２０×４８０画素を持つ標準解像度の飛び越し走査画像に対しては４乃至８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像に対しては１８乃至２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００５】
MPEG２は主として放送用に適合する高画質符号化を対象としていたが、より高い圧縮率の符号化方式には対応していなかったので、MPEG４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO/IEC 14496-2としてその規格が国際標準に承認された。
【０００６】
さらに、近年、テレビ会議用の画像符号化を当初の目的として、国際電気連合の電気通信標準化部門であるITU-T (International Telecommunication Union − Telecommunication Standardization Sector)によるＨ.２６Ｌ（ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。Ｈ．２６Ｌは、MPEG２やMPEG４といった符号化方式に比べ、その符号化、復号に、より多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。
【０００７】
また、現在、MPEG４の活動の一環として、このＨ．２６Ｌに基づいた、Ｈ．２６Ｌではサポートされない機能をも取り入れた、より高い符号化効率を実現する符号化技術の標準化がITU-Tと共同でＪＶＴ（Joint Video Team）として行われている。
【０００８】
ここで、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償とによる画像圧縮について説明する。図１は、従来の画像情報符号化装置の一例の構成を示す図である。
【０００９】
図１に示した画像情報符号化装置１０において、入力端子１１より入力されたアナログ信号からなる画像情報は、Ａ／Ｄ変換部１２により、デジタル信号に変換される。そして、画面並べ替えバッファ１３は、Ａ／Ｄ変換部１２より供給された画像情報のＧＯＰ（Group of Pictures）構造に応じて、フレームの並べ替えを行う。
【００１０】
ここで、画面並べ替えバッファ１３は、イントラ（画像内）符号化が行われる画像に対しては、フレーム全体の画像情報を直交変換部１５に供給する。直交変換部１５は、画像情報に対して離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換を施し、変換係数を量子化部１６に供給する。量子化部１６は、直交変換部１５から供給された変換係数に対して量子化処理を施す。
【００１１】
可逆符号化部１７は、量子化部１６から供給された量子化された変換係数や量子化スケール等から符号化モードを決定し、この符号化モードに対して可変長符号化、又は算術符号化等の可逆符号化を施し、画像符号化単位のヘッダ部に挿入される情報を形成する。そして、可逆符号化部１７は、符号化された符号化モードを蓄積バッファ１８に供給して蓄積させる。この符号化された符号化モードは、画像圧縮情報として出力端子１９より出力される。
【００１２】
また、可逆符号化部１７は、量子化された変換係数に対して可変長符号化、若しくは算術符号化等の可逆符号化を施し、符号化された変換係数を蓄積バッファ１８に供給して蓄積させる。この符号化された変換係数は、画像圧縮情報として出力端子１９より出力される。
【００１３】
量子化部１６の挙動は、蓄積バッファ１８に蓄積された変換係数のデータ量に基づいて、レート制御部２０によって制御される。また、量子化部２０は、量子化後の変換係数を逆量子化部２１に供給し、逆量子化部２１は、その量子化後の変換係数を逆量子化する。逆直交変換部２２は、逆量子化された変換係数に対して逆直交変換処理を施して復号画像情報を生成し、その情報をフレームメモリ２３に供給して蓄積させる。
【００１４】
また、画面並べ替えバッファ１３は、インター（画像間）符号化が行われる画像に関しては、画像情報を動き予測・補償部２４に供給する。動き予測・補償部２４は、同時に参照される画像情報をフレームメモリ２３より取り出し、動き予測・補償処理を施して参照画像情報を生成する。動き予測・補償部２４は、生成した参照画像情報を加算器１４に供給し、加算器１４は、参照画像情報を対応する画像情報との差分信号に変換する。また、動き予測・補償部２４は、同時に動きベクトル情報を可逆符号化部１７に供給する。
【００１５】
可逆符号化部１７は、量子化部１６から供給され量子化された変換係数および量子化スケール、並びに動き予測・補償部２４から供給された動きベクトル情報等から符号化モードを決定し、その決定した符号化モードに対して可変長符号化または算術符号化等の可逆符号化を施し、画像符号化単位のヘッダ部に挿入される情報を生成する。そして、可逆符号化部１７は、符号化された符号化モードを蓄積バッファ１８に供給して蓄積させる。この符号化された符号化モードは、画像圧縮情報として出力される。
【００１６】
また、可逆符号化部１７は、その動きベクトル情報に対して可変長符号化若しくは算術符号化等の可逆符号化処理を施し、画像符号化単位のヘッダ部に挿入される情報を生成する。
【００１７】
また、イントラ符号化と異なり、インター符号化の場合、直交変換部１５に入力される画像情報は、加算器１４より得られた差分信号である。なお、その他の処理については、イントラ符号化を施される画像圧縮情報と同様であるため、その説明を省略する。
【００１８】
次に、上述した画像情報符号化装置１０に対応する画像情報復号装置の一例の構成を図２に示す。図２に示した画像情報復号装置４０において、入力端子４１より入力された画像圧縮情報は、蓄積バッファ４２において一時的に格納された後、可逆復号部４３に転送される。
【００１９】
可逆復号部４３は、定められた画像圧縮情報のフォーマットに基づき、画像圧縮情報に対して可変長復号若しくは算術復号等の処理を施し、ヘッダ部に格納された符号化モード情報を取得し逆量子化部４４等に供給する。また同様に、可逆復号部４３は、量子化された変換係数を取得し逆量子化部４４に供給する。さらに、可逆復号部４３は、復号するフレームがインター符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き予測・補償部５１に供給する。
【００２０】
逆量子化部４４は、可逆復号部４３から供給された量子化後の変換係数を逆量子化し、変換係数を逆直交変換部４５に供給する。逆直交変換部４５は、定められた画像圧縮情報のフォーマットに基づき、変換係数に対して逆離散コサイン変換若しくは逆カルーネン・レーベ変換等の逆直交変換を施す。
【００２１】
ここで、対象となるフレームがイントラ符号化されたものである場合、逆直交変換処理が施された画像情報は、画面並べ替えバッファ４７に格納され、Ｄ／Ａ変換部４８におけるＤ／Ａ変換処理の後に出力端子４９から出力される。
【００２２】
また、対象となるフレームがインター符号化されたものである場合、動き予測・補償部５１は、可逆復号処理が施された動きベクトル情報とフレームメモリ５０に格納された画像情報とに基づいて参照画像を生成し、加算器４６に供給する。加算器４６は、この参照画像と逆直交変換部４５からの出力とを合成する。なお、その他の処理については、イントラ符号化されたフレームと同様であるため、説明を省略する。
【００２３】
図３は、動き予測により画像情報信号の更新周波数を変換する画像情報変換装置７０の一例の構成を示す図である。図３に示した画像情報変換装置７０は、動き予測部７１、セレクタ７２、フレームメモリ７３、補間画像生成部７４、および、遅延バッファ７５から構成されている。
【００２４】
図３に示した画像情報変換装置７０において、動き予測部７１は、フレームメモリ７３に格納されている参照フレームと入力画像情報より、フレーム間の動きを予測する。動き予測部７１により決定された動き予測から、補間画像生成部７４は、補間画像を生成する。生成された補間画像は、一旦、遅延バッファ７５に格納される。セレクタ７２は、目的とする更新周波数に合わせて、入力された画像と遅延バッファ７５に格納された補間画像を適宜切り替えて、画像情報を出力する。
【００２５】
このような処理により、例えば、図４に示すように、入力画像情報の間に補間フレームを挿入し、フレーム枚数を増加させることで、更新周波数を上げることが可能である。また逆に、図５に示すように、入力画像情報を削除（入力フレームを削除）し、補間フレームを挿入し、フレーム枚数を減少させることで、更新周波数を下げることが可能である。すなわち、このような処理を行うことにより、画像情報変換装置７０においては、フレームレートが変換される。
【００２６】
ところで、ＭＰＥＧ４においては、図６に示すように、動きベクトルが、ＶＯＰ（Video Object Plane）境界の外を指してもよいように規定されている。動きベクトルによって指定される領域が、ＶＯＰ境界外にある場合、予測値としてＶＯＰ境界上に位置する画素の情報が用いられることになる。Ｈ．２６Ｌにおいても、動きベクトルが、ＶＯＰ境界の外を指してもよいと規定されている。
【００２７】
Ｈ．２６Ｌにおいては、１／４、１／８画素といった高精度の動き予測補償処理が規定されている。この小数精度予測画像を生成するために、数タップフィルタと線形内挿を組み合わせることが規定されている。
【００２８】
以下に、Ｈ．２６Ｌで規定されている１／４、１／８画素精度の動き予測補償処理について説明する。図７は、Ｈ．２６Ｌにおいて定められた１／４画素精度の動き予測補償処理を説明するための図である。まず、フレームメモリ内に格納された画素を元に、水平方向および垂直方向、それぞれ６タップのＦＩＲ（Finite Impulse Response）フィルタを用いて、１／２画素精度の画素値が生成される。ＦＩＲフィルタ係数の一例として、以下のものが定められている。
（１ ―５ ２０ ２０ ―５ １）／／３２
このＦＩＲフィルタ係数において、／／は、丸め（四捨五入）付きの除算であることを示す。本明細書においては、／／は、丸め付きの除算であることを示すとする。
【００２９】
１／４画素精度の画素値は、上記で得られた１／２画素精度の隣接した２つの画素値から線形内挿によって得られる。
【００３０】
図８は、Ｈ．２６Ｌにおいて定められた１／８画素精度の動き予測補償処理を説明するための図である。まず、フレームメモリ内に格納された画素を元に、水平方向および垂直方向、それぞれ８タップのＦＩＲフィルタを用いて、１／４、２／４、３／４画素精度の画素値が生成される。ＦＩＲフィルタ係数として、それぞれ以下のものが定められている。
（―３ １２ ―３７ ２２９ ７１ ―２１ ６ ―１）／／２５６
（―３ １２ ―３９ １５８ １５８ ―３９ １２ ―３）／／２５６
（―１ ６ ―２１ ７１ ２２９ ―３７ １２ ―３）／／２５６
【００３１】
１／８画素精度の画素値は、上述したようにして生成された１／４、２／４、３／４画素精度の画素値から、図８に示すような２つの画素値の線形内挿によって得られる。
【００３２】
【発明が解決しようとする課題】
フレーム動き予測補償またはフィールド動き予測補償をマクロブロック単位で選択できる符号化装置や、その符号化装置からの画像圧縮情報を復号する復号装置において、動き予測補償による予測画像を獲得する際、小数精度の予測画像を獲得するための計算量が問題となる。すなわち、小数精度の補間画素の計算は、上述したように、数タップフィルタと線形内挿によって行われていた。しかしながら、毎画素これらの計算を行うことは、重い処理となり、他の処理に影響がおよぶ可能性があるといった問題があった。
【００３３】
特に、動き予測処理においては、所定の領域の近傍に位置する多くの画素が、何度も繰り返し参照されることとなるため、画像信号を符号化あるいは復号する際に、予測画像を高速に獲得することは重要であるが、困難であるといった問題があった。
【００３４】
本発明はこのような状況に鑑みてなされたものであり、補間画素の計算にかかる処理を軽減し、その補間画素を高速に取得できるようにすることを目的とする。
【００３５】
【課題を解決するための手段】
本発明の画像処理装置は、フレームを記憶するフレームメモリと、１／Ｎ画素精度の補間画像を一定の大きさの分割領域で分割した状態で記憶する記憶手段と、前記記憶手段に記憶されている前記補間画像のうち、必要とされる前記分割領域を用いて予測補償の処理を実行する予測補償手段とを備え、前記分割領域が未定義の場合、前記フレームメモリに記憶されている前記フレームの対応する領域から、定義された補間計算により前記補間画像を生成し、前記記憶手段に記憶し、前記予測補償手段は、予測補償に１／Ｎ画素精度の補間画像が必要な場合、前記記憶手段に記憶されている前記１／Ｎ画素精度の補間画像を読み出し、そのまま用い、予測補償に１／Ｍ（Ｍ＞Ｎ）画素精度の補間画像が必要な場合、前記記憶手段に記憶されている前記１／Ｎ画素精度の補間画像を読み出し、その補間画像に所定の数のタップのＦＩＲフィルタを用いて１／Ｍ画素精度の補間画像を生成するか、または、その補間画像に線型内挿を用いて１／Ｍ画素精度の補間画像を生成して予測補償を行う。
【００３６】
前記Ｎまたは前記Ｍは、２、４、８のいずれかであるようにすることができる。
前記記憶手段は、前記フレームメモリと等しい枚数のフレームを記憶するようにすることができる。
【００５９】
前記記憶手段は、ＶＯＰ境界の外からの動き補償に対応するためのパディング領域を有するようにすることができる。
【００６０】
前記予測補償手段は、離散コサイン変換またはカルーネン・レーベ変換による直交変換および小数画素精度のオーバーラップ動き予測補償を行うようにすることができる。
【００６１】
本発明の画像処理方法は、フレームを記憶するフレームメモリと、１／Ｎ画素精度の補間画像を一定の大きさの分割領域で分割した状態で記憶する記憶手段とを備える画像処理装置の画像処理方法において、前記記憶手段に記憶されている前記補間画像のうち、必要とされる前記分割領域を用いて予測補償の処理を実行する予測補償ステップを含み、前記分割領域が未定義の場合、前記フレームメモリに記憶されている前記フレームの対応する領域から、定義された補間計算により前記補間画像を生成し、前記記憶手段に記憶し、前記予測補償ステップの処理は、予測補償に１／Ｎ画素精度の補間画像が必要な場合、前記記憶手段に記憶されている前記１／Ｎ画素精度の補間画像を読み出し、そのまま用い、予測補償に１／Ｍ（Ｍ＞Ｎ）画素精度の補間画像が必要な場合、前記記憶手段に記憶されている前記１／Ｎ画素精度の補間画像を読み出し、その補間画像に所定の数のタップのＦＩＲフィルタを用いて１／Ｍ画素精度の補間画像を生成するか、または、その補間画像に線型内挿を用いて１／Ｍ画素精度の補間画像を生成して予測補償を行う。
【００６２】
本発明の記録媒体のプログラムは、フレームを記憶するフレームメモリと、１／Ｎ画素精度の補間画像を一定の大きさの分割領域で分割した状態で記憶する記憶手段とを備える画像処理装置に、前記記憶手段に記憶されている前記補間画像のうち、必要とされる前記分割領域を用いて予測補償の処理を実行する予測補償ステップを含み、前記分割領域が未定義の場合、前記フレームメモリに記憶されている前記フレームの対応する領域から、定義された補間計算により前記補間画像を生成し、前記記憶手段に記憶し、前記予測補償ステップの処理は、予測補償に１／Ｎ画素精度の補間画像が必要な場合、前記記憶手段に記憶されている前記１／Ｎ画素精度の補間画像を読み出し、そのまま用い、予測補償に１／Ｍ（Ｍ＞Ｎ）画素精度の補間画像が必要な場合、前記記憶手段に記憶されている前記１／Ｎ画素精度の補間画像を読み出し、その補間画像に所定の数のタップのＦＩＲフィルタを用いて１／Ｍ画素精度の補間画像を生成するか、または、その補間画像に線型内挿を用いて１／Ｍ画素精度の補間画像を生成して予測補償を行うコンピュータが読み取り可能なプログラム。
【００６３】
本発明のプログラムは、フレームを記憶するフレームメモリと、１／Ｎ画素精度の補間画像を一定の大きさの分割領域で分割した状態で記憶する記憶手段とを備える画像処理装置に、前記記憶手段に記憶されている前記補間画像のうち、必要とされる前記分割領域を用いて予測補償の処理を実行する予測補償ステップを含み、前記分割領域が未定義の場合、前記フレームメモリに記憶されている前記フレームの対応する領域から、定義された補間計算により前記補間画像を生成し、前記記憶手段に記憶し、前記予測補償ステップの処理は、予測補償に１／Ｎ画素精度の補間画像が必要な場合、前記記憶手段に記憶されている前記１／Ｎ画素精度の補間画像を読み出し、そのまま用い、予測補償に１／Ｍ（Ｍ＞Ｎ）画素精度の補間画像が必要な場合、前記記憶手段に記憶されている前記１／Ｎ画素精度の補間画像を読み出し、その補間画像に所定の数のタップのＦＩＲフィルタを用いて１／Ｍ画素精度の補間画像を生成するか、または、その補間画像に線型内挿を用いて１／Ｍ画素精度の補間画像を生成して予測補償を行う処理を実行させるコンピュータが読み取り可能なプログラム。
【００６６】
本発明の画像処理装置および方法、並びにプログラムにおいては、生成された小数画素精度の画像データが一旦記憶され、その記憶されている画像データが必要に応じて読み出されることにより、予測補償の処理が行われる。
【００６８】
【発明の実施の形態】
以下に、本発明の実施の形態について図面を参照して説明する。図１０は、本発明の画像処理装置を適用した画像情報符号化装置の一実施の形態の構成を示す図である。図１０に示した画像情報符号化装置１００において、図１に示した画像情報符号化装置１０と同様の機能を有するブロックには、同様の符号を付し、適宜、その説明は省略する。
【００６９】
図１０に示した画像情報符号化装置１００は、フレームメモリ２３から出力されたデータが、補間画像バッファ１０１を介して動き予測・補償部２４に供給される構成とされている。
【００７０】
その他の部分の構成は、図１に示した画像情報符号化装置１０と同様であるので、その説明は省略する。
【００７１】
図１０に示した画像情報符号化装置１００に対応し、本発明を適用した画像処理装置の画像情報復号装置の一実施の形態の構成を図１１に示す。図１１に示した画像情報復号装置１２０において、図２に示した画像情報復号装置４０と同様の機能を有するブロックには、同様の符号を付し、適宜、その説明は省略する。
【００７２】
図１１に示した画像情報復号装置１２０は、フレームメモリ５０から出力されたデータが、補間画像バッファ１２１を介して動き予測・補償部５１に供給される構成とされている。
【００７３】
その他の部分の構成は、図２に示した画像情報復号装置４０と同様であるので、その説明は省略する。
【００７４】
本実施の形態において、図１０に示した画像情報符号化装置１００のフレームメモリ２３に蓄積された画像データが、補間画像バッファ１０１を介して動き予測・補償部２４に供給されるまでの動作と、図１１に示した画像情報復号装置１２０のフレームメモリ５０に蓄積された画像データが、補間画像バッファ１２１を介して動き予測・補償部５１に供給されるまでの動作は、基本的に同様に行われる。
【００７５】
ここでは、このようなことを考慮し、図１０に示した画像情報符号化装置１００のフレームメモリ２３に蓄積された画像データが、補間画像バッファ１０１を介して動き予測・補償部２４に供給されるまでの動作を例に挙げて説明し、図１１に示した画像情報復号装置１２０のフレームメモリ５０蓄積された画像データが、補間画像バッファ１２１を介して動き予測・補償部５１に供給されるまでの動作についての説明は省略する。
【００７６】
画像情報符号化装置１００の補間画像バッファ１０１は、フレームメモリ２３と等しい枚数のフレームを保持する。また、画像情報復号装置１２０の補間画像バッファ１２１は、フレームメモリ５０と等しい枚数のフレームを保持する。
【００７７】
ただし、フレームあたりの画枠の大きさは、補間画素精度に依存する。すなわち、補間画像バッファ１０１（１２１）が、１／２画素精度の補間画像を保持する場合、フレームメモリ２３（５０）に格納される画枠の大きさに比べて縦と横それぞれ２倍の画素数をもつ画枠となる。
【００７８】
また、補間画像バッファ１０１（１２１）が、１／４画素精度の補間画像を保持する場合、フレームメモリ２３（５０）に格納される画枠の大きさに比べて縦と横それぞれ４倍の画素数をもつ画枠となる。
【００７９】
また、補間画像バッファ１０１（１２１）が、１／８画素精度の補間画像を保持する場合、フレームメモリ２３（５０）に格納される画枠の大きさに比べて縦と横それぞれ８倍の画素数をもつ画枠となる。
【００８０】
補間画像バッファ１０１（１２１）は、図１２に示すように、Ｍ×Ｎの一定の大きさの矩形で分割される。分割領域の大きさは、ブロックあるいはマクロブロックと等しい大きさでも良いし、それよりも大きくても良い。または、分割領域の大きさは、ブロックあるいはマクロブロックより小さくても良い。すなわち、分割領域の大きさは、システムに合った大きさと設定されれば良い。
【００８１】
始めに、各分割領域は未定義として初期化しておく。
【００８２】
図１３を参照して説明するに、動き予測・補償部２４が、参照フレーム内の所定の部分の予測画像Ｐを処理に必要であり、補間画像バッファ１０１から読み出す必要がある場合、補間画像バッファ１０１に記憶されている画像データから、予測画像Ｐに対応した領域Ｐ’のデータを読み出す。領域Ｐ’に対応するデータだけを読み出すようにしても良いが、領域Ｐ’を含む分割領域Ｓ（Ｐ）のデータを読み出すようにしても良い。
【００８３】
分割領域Ｓ（Ｐ）を読み出すようにした場合、予めフレームを何個の領域に分割するかなどを設定しておく必要がある。設定してある場合、領域Ｐ’を含む分割領域Ｓ（Ｐ）を読み出せばよい。
【００８４】
分割領域Ｓ（Ｐ）が未定義の場合、フレームメモリ２３の対応する領域から、定義された補間計算により補間画像を生成し、図１４に示すように補間画像バッファ１０１の分割領域Ｓ（Ｐ）に格納するようにしても良い。動き予測・補償部２４が要求した予測画像Ｐは、図１４に示すように補間画像バッファ１０１から獲得される。
【００８５】
予測画像Ｐに対応した領域を含む分割領域Ｓ（Ｐ）が、すでに補間画像バッファ１０１に書き込まれていた場合、分割領域Ｓ（Ｐ）に格納されたデータが用いられて予測画像Ｐが獲得される。
【００８６】
図１５に示すように、予測画像Ｐに対応した領域Ｐ’が、複数の分割領域Ｓ（Ｐ）に含まれる場合、各分割領域Ｓ（Ｐ）に対して上述したような処理を行えばよい。
【００８７】
ここで、補間精度が１／４画素精度モードと設定され、補間画像バッファ１０１に１／４画像精度までの画像データがされると設定されているとき、予測画像として１／４画素精度が要求された際、補間画像バッファ１０１に記憶されている画像データ内から直接読み出され、用いられる。
【００８８】
または、補間画像バッファ１０１に１／２画像精度までの画像データが格納されると設定された場合、予測画像として１／２画素精度の画像データが必要とされたとき、補間画像バッファ１０１から読み出された画像データがそのまま用いられ、予測画像として１／４画素精度の画像データが必要とされたとき、補間画像バッファ１０１から読み出された画像データが中間値とされて、さらに線形内挿などの計算によって１／４画素精度が求められる。
【００８９】
補間精度が１／８画素精度モードと設定され、補間画像バッファ１０１に１／８画像精度までの画像データが格納されると設定されているとき、予測画像として１／８画素精度が要求した際、補間画像バッファ１０１に記憶されている画像データ内から直接読み出され、用いられる。
【００９０】
または、補間画像バッファ１０１に１／４画像精度までの画像データが格納されると設定された場合、予測画像として１／４画素精度の画像データが必要とされたとき、補間画像バッファ１０１から読み出された画像データがそのまま用いられ、予測画像が１／８画素精度の画像データが必要とされたとき、補間画像バッファ１０１から読み出された画像データが中間値とされて、さらに線形内挿などの計算によって１／８画素精度の画像が求められる。
【００９１】
ＶＯＰ境界外からの動き補償を許可する場合、図１６に示すように補間画像バッファ１０１の周囲にＰａｄｄｉｎｇ領域を設けて（補間画像バッファ１０１に記憶される画像としてＰａｄｄｉｎｇ領域が含まれるように設定しておき）、上述した場合と同様に扱われるようにしても良い。
【００９２】
図１７は、本発明を適用した画像情報変換装置１３１の一実施の形態の構成を示す図である。図１７に示した画像情報変換装置１３１は、動き予測補償部１３２、セレクタ１３３、フレームメモリ１３４、補間画像バッファ１３５、および遅延バッファ１３６から構成されている。
【００９３】
図１７に示した画像情報変換装置１３１において、動き予測部１３２は、入力画像情報と、補間画像バッファ１３５に格納されている参照フレームとにより、フレーム間の動きを予測し、補間画像を生成する。生成された補間画像は、一旦、遅延バッファ１３６に格納される。セレクタ１３３は、目的とする更新周波数に合わせて、入力された画像情報と遅延バッファ１３６に格納された補間画像の画像情報を適宜切り替えて出力する。
【００９４】
このような処理により、例えば、図４に示すように、入力画像情報の間に補間フレームを挿入し、フレーム枚数を増加させることで、更新周波数を上げることが可能である。また逆に、図５に示すように、入力画像情報を削除（入力フレームを削除）し、補間フレームを挿入し、全体としてフレーム枚数を減少させることで、更新周波数を下げることも可能である。すなわち、このような処理を行うことにより、画像情報変換装置１３１において、フレームレートが変換される。
【００９５】
入力画像１枚につき補間画像を１枚挿入することで、２５Ｈｚの更新周波数の画像信号を５０Ｈｚの更新周波数の画像信号に変換することが可能である。
【００９６】
上述した実施の形態においては、ブロックマッチング法における動作原理を例に挙げて説明したが、本発明が適用できる範囲は、これに限らず、他の動き予測・補償の方式に対しても適用可能である。例えば、分割領域Ｓ（Ｐ）の大きさをマクロブロックの大きさよりも大きく設定したような場合、オーバーラップ動き補償（Michael T. Orchard and Gary J. Sullivan; Overlapped Block Motion Compensation: An Estimation-Theoretic Approach; IEEE Transactions on image processing, vol 3. No. 5, September 1994）などの処理に、本発明を適用することが可能である。
【００９７】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。記録媒体の説明の前に、記録媒体を扱うパーソナルコンピュータについて簡単に説明する。
【００９８】
図１８は、汎用のパーソナルコンピュータの内部構成例を示す図である。パーソナルコンピュータのＣＰＵ（Central Processing Unit）２１１は、ＲＯＭ（Read Only Memory）２１２に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Random Access Memory）２１３には、ＣＰＵ２１１が各種の処理を実行する上において必要なデータやプログラムなどが適宜記憶される。入出力インタフェース２１５は、キーボードやマウスから構成される入力部２１６が接続され、入力部２１６に入力された信号をＣＰＵ２１１に出力する。また、入出力インタフェース２１５には、ディスプレイやスピーカなどから構成される出力部７も接続されている。
【００９９】
さらに、入出力インタフェース２１５には、ハードディスクなどから構成される記憶部２１８、および、インターネットなどのネットワークを介して他の装置とデータの授受を行う通信部２１９も接続されている。ドライブ２２０は、磁気ディスク２３１、光ディスク２３２、光磁気ディスク２３３、半導体メモリ２３４などの記録媒体からデータを読み出したり、データを書き込んだりするときに用いられる。
【０１００】
記録媒体は、図１８に示すように、パーソナルコンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク２３１（フレキシブルディスクを含む）、光ディスク２３２（CD-ROM（Compact Disc-Read Only Memory），DVD（Digital Versatile Disc）を含む）、光磁気ディスク２３３（MD（Mini-Disc）（登録商標）を含む）、若しくは半導体メモリ２３４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているＲＯＭ２１２や記憶部２１８が含まれるハードディスクなどで構成される。
【０１０１】
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１０２】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１０３】
【発明の効果】
以上の如く本発明によれば、既に生成されている画像データを繰り返し生成するようなことを防ぐことができ、その生成に係る演算量を削減することができ、予測補償の処理の高速化をはかることができる。
【図面の簡単な説明】
【図１】従来の画像情報符号化装置の一例の構成を示す図である。
【図２】従来の画像情報復号装置の一例の構成を示す図である。
【図３】更新周波数を変換する変換装置の一例の構成を示す図である。
【図４】補間フレームの挿入によりフレーム数が増加している場合について説明するための図である。
【図５】入力フレームの削除と補間フレームの挿入によりフレーム数が減少している場合について説明するための図である。
【図６】ＶＯＰ境界外からの動き補償を説明するための図である。
【図７】１／４画素精度の動き予測補償処理について説明する図である。
【図８】１／８画素精度の動き予測補償処理について説明する図である。
【図９】１／８画素精度の補間方法について説明する図である。
【図１０】本発明を適用した画像情報符号化装置の一実施の形態の構成を示す図である。
【図１１】本発明を適用した画像情報復号装置の一実施の形態の構成を示す図である。
【図１２】補間画像バッファと領域分割の関係を説明するための図である。
【図１３】参照フレームにおける予測画像Ｐ、補間画像バッファにおける予測画像領域Ｐ’および分割領域Ｓ（Ｐ）の関係を説明するための図である。
【図１４】分割領域からの予測画像の獲得について説明する図である。
【図１５】予測画像領域Ｐ’が複数の分割領域に含まれている状況について説明するための図である。
【図１６】Ｐａｄｄｉｎｇ領域を含む補間画像バッファについて説明するための図である。
【図１７】本発明を適用した更新周波数を変換する装置の一実施の形態の構成を示す図である。
【図１８】媒体を説明する図である。
【符号の説明】
２３ フレームメモリ， ２４ 動き予測・補償部， ５０ フレームメモリ， ５１ 動き予測・補償部， １００ 画像情報符号化装置， １０１ 補間画像バッファ， １２０ 画像情報復号装置， １２１ 補間画像バッファ， １３１ 画像情報変換装置， １３２ 動き予測補償部， １３３ セレクタ，１３４ フレームメモリ， １３５ 補間画像バッファ， １３６ 遅延バッファ
【発明の属する技術分野】
本発明は画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン放送、インターネットなどのネットワークメディアを介して送受信する際に、若しくは光ディスク、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる画像情報の符号化や復号、また、更新周波数の変換を行う装置に用いて好適な画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
近年、画像情報をデジタルとして取り扱い、その際、効率の良い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Expert Group）などの方式に準拠した装置が、放送局などの情報配信、および一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、MPEG２（ISO/IEC 13818-2）は、汎用画像圧縮方式として定義された規格であり、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、例えばDVD（Digital Versatile Disk）規格に代表されるように、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに広く用いられている。
【０００４】
このMPEG２圧縮方式を用いることにより、例えば、７２０×４８０画素を持つ標準解像度の飛び越し走査画像に対しては４乃至８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像に対しては１８乃至２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００５】
MPEG２は主として放送用に適合する高画質符号化を対象としていたが、より高い圧縮率の符号化方式には対応していなかったので、MPEG４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO/IEC 14496-2としてその規格が国際標準に承認された。
【０００６】
さらに、近年、テレビ会議用の画像符号化を当初の目的として、国際電気連合の電気通信標準化部門であるITU-T (International Telecommunication Union − Telecommunication Standardization Sector)によるＨ.２６Ｌ（ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。Ｈ．２６Ｌは、MPEG２やMPEG４といった符号化方式に比べ、その符号化、復号に、より多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。
【０００７】
また、現在、MPEG４の活動の一環として、このＨ．２６Ｌに基づいた、Ｈ．２６Ｌではサポートされない機能をも取り入れた、より高い符号化効率を実現する符号化技術の標準化がITU-Tと共同でＪＶＴ（Joint Video Team）として行われている。
【０００８】
ここで、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償とによる画像圧縮について説明する。図１は、従来の画像情報符号化装置の一例の構成を示す図である。
【０００９】
図１に示した画像情報符号化装置１０において、入力端子１１より入力されたアナログ信号からなる画像情報は、Ａ／Ｄ変換部１２により、デジタル信号に変換される。そして、画面並べ替えバッファ１３は、Ａ／Ｄ変換部１２より供給された画像情報のＧＯＰ（Group of Pictures）構造に応じて、フレームの並べ替えを行う。
【００１０】
ここで、画面並べ替えバッファ１３は、イントラ（画像内）符号化が行われる画像に対しては、フレーム全体の画像情報を直交変換部１５に供給する。直交変換部１５は、画像情報に対して離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換を施し、変換係数を量子化部１６に供給する。量子化部１６は、直交変換部１５から供給された変換係数に対して量子化処理を施す。
【００１１】
可逆符号化部１７は、量子化部１６から供給された量子化された変換係数や量子化スケール等から符号化モードを決定し、この符号化モードに対して可変長符号化、又は算術符号化等の可逆符号化を施し、画像符号化単位のヘッダ部に挿入される情報を形成する。そして、可逆符号化部１７は、符号化された符号化モードを蓄積バッファ１８に供給して蓄積させる。この符号化された符号化モードは、画像圧縮情報として出力端子１９より出力される。
【００１２】
また、可逆符号化部１７は、量子化された変換係数に対して可変長符号化、若しくは算術符号化等の可逆符号化を施し、符号化された変換係数を蓄積バッファ１８に供給して蓄積させる。この符号化された変換係数は、画像圧縮情報として出力端子１９より出力される。
【００１３】
量子化部１６の挙動は、蓄積バッファ１８に蓄積された変換係数のデータ量に基づいて、レート制御部２０によって制御される。また、量子化部２０は、量子化後の変換係数を逆量子化部２１に供給し、逆量子化部２１は、その量子化後の変換係数を逆量子化する。逆直交変換部２２は、逆量子化された変換係数に対して逆直交変換処理を施して復号画像情報を生成し、その情報をフレームメモリ２３に供給して蓄積させる。
【００１４】
また、画面並べ替えバッファ１３は、インター（画像間）符号化が行われる画像に関しては、画像情報を動き予測・補償部２４に供給する。動き予測・補償部２４は、同時に参照される画像情報をフレームメモリ２３より取り出し、動き予測・補償処理を施して参照画像情報を生成する。動き予測・補償部２４は、生成した参照画像情報を加算器１４に供給し、加算器１４は、参照画像情報を対応する画像情報との差分信号に変換する。また、動き予測・補償部２４は、同時に動きベクトル情報を可逆符号化部１７に供給する。
【００１５】
可逆符号化部１７は、量子化部１６から供給され量子化された変換係数および量子化スケール、並びに動き予測・補償部２４から供給された動きベクトル情報等から符号化モードを決定し、その決定した符号化モードに対して可変長符号化または算術符号化等の可逆符号化を施し、画像符号化単位のヘッダ部に挿入される情報を生成する。そして、可逆符号化部１７は、符号化された符号化モードを蓄積バッファ１８に供給して蓄積させる。この符号化された符号化モードは、画像圧縮情報として出力される。
【００１６】
また、可逆符号化部１７は、その動きベクトル情報に対して可変長符号化若しくは算術符号化等の可逆符号化処理を施し、画像符号化単位のヘッダ部に挿入される情報を生成する。
【００１７】
また、イントラ符号化と異なり、インター符号化の場合、直交変換部１５に入力される画像情報は、加算器１４より得られた差分信号である。なお、その他の処理については、イントラ符号化を施される画像圧縮情報と同様であるため、その説明を省略する。
【００１８】
次に、上述した画像情報符号化装置１０に対応する画像情報復号装置の一例の構成を図２に示す。図２に示した画像情報復号装置４０において、入力端子４１より入力された画像圧縮情報は、蓄積バッファ４２において一時的に格納された後、可逆復号部４３に転送される。
【００１９】
可逆復号部４３は、定められた画像圧縮情報のフォーマットに基づき、画像圧縮情報に対して可変長復号若しくは算術復号等の処理を施し、ヘッダ部に格納された符号化モード情報を取得し逆量子化部４４等に供給する。また同様に、可逆復号部４３は、量子化された変換係数を取得し逆量子化部４４に供給する。さらに、可逆復号部４３は、復号するフレームがインター符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き予測・補償部５１に供給する。
【００２０】
逆量子化部４４は、可逆復号部４３から供給された量子化後の変換係数を逆量子化し、変換係数を逆直交変換部４５に供給する。逆直交変換部４５は、定められた画像圧縮情報のフォーマットに基づき、変換係数に対して逆離散コサイン変換若しくは逆カルーネン・レーベ変換等の逆直交変換を施す。
【００２１】
ここで、対象となるフレームがイントラ符号化されたものである場合、逆直交変換処理が施された画像情報は、画面並べ替えバッファ４７に格納され、Ｄ／Ａ変換部４８におけるＤ／Ａ変換処理の後に出力端子４９から出力される。
【００２２】
また、対象となるフレームがインター符号化されたものである場合、動き予測・補償部５１は、可逆復号処理が施された動きベクトル情報とフレームメモリ５０に格納された画像情報とに基づいて参照画像を生成し、加算器４６に供給する。加算器４６は、この参照画像と逆直交変換部４５からの出力とを合成する。なお、その他の処理については、イントラ符号化されたフレームと同様であるため、説明を省略する。
【００２３】
図３は、動き予測により画像情報信号の更新周波数を変換する画像情報変換装置７０の一例の構成を示す図である。図３に示した画像情報変換装置７０は、動き予測部７１、セレクタ７２、フレームメモリ７３、補間画像生成部７４、および、遅延バッファ７５から構成されている。
【００２４】
図３に示した画像情報変換装置７０において、動き予測部７１は、フレームメモリ７３に格納されている参照フレームと入力画像情報より、フレーム間の動きを予測する。動き予測部７１により決定された動き予測から、補間画像生成部７４は、補間画像を生成する。生成された補間画像は、一旦、遅延バッファ７５に格納される。セレクタ７２は、目的とする更新周波数に合わせて、入力された画像と遅延バッファ７５に格納された補間画像を適宜切り替えて、画像情報を出力する。
【００２５】
このような処理により、例えば、図４に示すように、入力画像情報の間に補間フレームを挿入し、フレーム枚数を増加させることで、更新周波数を上げることが可能である。また逆に、図５に示すように、入力画像情報を削除（入力フレームを削除）し、補間フレームを挿入し、フレーム枚数を減少させることで、更新周波数を下げることが可能である。すなわち、このような処理を行うことにより、画像情報変換装置７０においては、フレームレートが変換される。
【００２６】
ところで、ＭＰＥＧ４においては、図６に示すように、動きベクトルが、ＶＯＰ（Video Object Plane）境界の外を指してもよいように規定されている。動きベクトルによって指定される領域が、ＶＯＰ境界外にある場合、予測値としてＶＯＰ境界上に位置する画素の情報が用いられることになる。Ｈ．２６Ｌにおいても、動きベクトルが、ＶＯＰ境界の外を指してもよいと規定されている。
【００２７】
Ｈ．２６Ｌにおいては、１／４、１／８画素といった高精度の動き予測補償処理が規定されている。この小数精度予測画像を生成するために、数タップフィルタと線形内挿を組み合わせることが規定されている。
【００２８】
以下に、Ｈ．２６Ｌで規定されている１／４、１／８画素精度の動き予測補償処理について説明する。図７は、Ｈ．２６Ｌにおいて定められた１／４画素精度の動き予測補償処理を説明するための図である。まず、フレームメモリ内に格納された画素を元に、水平方向および垂直方向、それぞれ６タップのＦＩＲ（Finite Impulse Response）フィルタを用いて、１／２画素精度の画素値が生成される。ＦＩＲフィルタ係数の一例として、以下のものが定められている。
（１ ―５ ２０ ２０ ―５ １）／／３２
このＦＩＲフィルタ係数において、／／は、丸め（四捨五入）付きの除算であることを示す。本明細書においては、／／は、丸め付きの除算であることを示すとする。
【００２９】
１／４画素精度の画素値は、上記で得られた１／２画素精度の隣接した２つの画素値から線形内挿によって得られる。
【００３０】
図８は、Ｈ．２６Ｌにおいて定められた１／８画素精度の動き予測補償処理を説明するための図である。まず、フレームメモリ内に格納された画素を元に、水平方向および垂直方向、それぞれ８タップのＦＩＲフィルタを用いて、１／４、２／４、３／４画素精度の画素値が生成される。ＦＩＲフィルタ係数として、それぞれ以下のものが定められている。
（―３ １２ ―３７ ２２９ ７１ ―２１ ６ ―１）／／２５６
（―３ １２ ―３９ １５８ １５８ ―３９ １２ ―３）／／２５６
（―１ ６ ―２１ ７１ ２２９ ―３７ １２ ―３）／／２５６
【００３１】
１／８画素精度の画素値は、上述したようにして生成された１／４、２／４、３／４画素精度の画素値から、図８に示すような２つの画素値の線形内挿によって得られる。
【００３２】
【発明が解決しようとする課題】
フレーム動き予測補償またはフィールド動き予測補償をマクロブロック単位で選択できる符号化装置や、その符号化装置からの画像圧縮情報を復号する復号装置において、動き予測補償による予測画像を獲得する際、小数精度の予測画像を獲得するための計算量が問題となる。すなわち、小数精度の補間画素の計算は、上述したように、数タップフィルタと線形内挿によって行われていた。しかしながら、毎画素これらの計算を行うことは、重い処理となり、他の処理に影響がおよぶ可能性があるといった問題があった。
【００３３】
特に、動き予測処理においては、所定の領域の近傍に位置する多くの画素が、何度も繰り返し参照されることとなるため、画像信号を符号化あるいは復号する際に、予測画像を高速に獲得することは重要であるが、困難であるといった問題があった。
【００３４】
本発明はこのような状況に鑑みてなされたものであり、補間画素の計算にかかる処理を軽減し、その補間画素を高速に取得できるようにすることを目的とする。
【００３５】
【課題を解決するための手段】
本発明の画像処理装置は、フレームを記憶するフレームメモリと、１／Ｎ画素精度の補間画像を一定の大きさの分割領域で分割した状態で記憶する記憶手段と、前記記憶手段に記憶されている前記補間画像のうち、必要とされる前記分割領域を用いて予測補償の処理を実行する予測補償手段とを備え、前記分割領域が未定義の場合、前記フレームメモリに記憶されている前記フレームの対応する領域から、定義された補間計算により前記補間画像を生成し、前記記憶手段に記憶し、前記予測補償手段は、予測補償に１／Ｎ画素精度の補間画像が必要な場合、前記記憶手段に記憶されている前記１／Ｎ画素精度の補間画像を読み出し、そのまま用い、予測補償に１／Ｍ（Ｍ＞Ｎ）画素精度の補間画像が必要な場合、前記記憶手段に記憶されている前記１／Ｎ画素精度の補間画像を読み出し、その補間画像に所定の数のタップのＦＩＲフィルタを用いて１／Ｍ画素精度の補間画像を生成するか、または、その補間画像に線型内挿を用いて１／Ｍ画素精度の補間画像を生成して予測補償を行う。
【００３６】
前記Ｎまたは前記Ｍは、２、４、８のいずれかであるようにすることができる。
前記記憶手段は、前記フレームメモリと等しい枚数のフレームを記憶するようにすることができる。
【００５９】
前記記憶手段は、ＶＯＰ境界の外からの動き補償に対応するためのパディング領域を有するようにすることができる。
【００６０】
前記予測補償手段は、離散コサイン変換またはカルーネン・レーベ変換による直交変換および小数画素精度のオーバーラップ動き予測補償を行うようにすることができる。
【００６１】
本発明の画像処理方法は、フレームを記憶するフレームメモリと、１／Ｎ画素精度の補間画像を一定の大きさの分割領域で分割した状態で記憶する記憶手段とを備える画像処理装置の画像処理方法において、前記記憶手段に記憶されている前記補間画像のうち、必要とされる前記分割領域を用いて予測補償の処理を実行する予測補償ステップを含み、前記分割領域が未定義の場合、前記フレームメモリに記憶されている前記フレームの対応する領域から、定義された補間計算により前記補間画像を生成し、前記記憶手段に記憶し、前記予測補償ステップの処理は、予測補償に１／Ｎ画素精度の補間画像が必要な場合、前記記憶手段に記憶されている前記１／Ｎ画素精度の補間画像を読み出し、そのまま用い、予測補償に１／Ｍ（Ｍ＞Ｎ）画素精度の補間画像が必要な場合、前記記憶手段に記憶されている前記１／Ｎ画素精度の補間画像を読み出し、その補間画像に所定の数のタップのＦＩＲフィルタを用いて１／Ｍ画素精度の補間画像を生成するか、または、その補間画像に線型内挿を用いて１／Ｍ画素精度の補間画像を生成して予測補償を行う。
【００６２】
本発明の記録媒体のプログラムは、フレームを記憶するフレームメモリと、１／Ｎ画素精度の補間画像を一定の大きさの分割領域で分割した状態で記憶する記憶手段とを備える画像処理装置に、前記記憶手段に記憶されている前記補間画像のうち、必要とされる前記分割領域を用いて予測補償の処理を実行する予測補償ステップを含み、前記分割領域が未定義の場合、前記フレームメモリに記憶されている前記フレームの対応する領域から、定義された補間計算により前記補間画像を生成し、前記記憶手段に記憶し、前記予測補償ステップの処理は、予測補償に１／Ｎ画素精度の補間画像が必要な場合、前記記憶手段に記憶されている前記１／Ｎ画素精度の補間画像を読み出し、そのまま用い、予測補償に１／Ｍ（Ｍ＞Ｎ）画素精度の補間画像が必要な場合、前記記憶手段に記憶されている前記１／Ｎ画素精度の補間画像を読み出し、その補間画像に所定の数のタップのＦＩＲフィルタを用いて１／Ｍ画素精度の補間画像を生成するか、または、その補間画像に線型内挿を用いて１／Ｍ画素精度の補間画像を生成して予測補償を行うコンピュータが読み取り可能なプログラム。
【００６３】
本発明のプログラムは、フレームを記憶するフレームメモリと、１／Ｎ画素精度の補間画像を一定の大きさの分割領域で分割した状態で記憶する記憶手段とを備える画像処理装置に、前記記憶手段に記憶されている前記補間画像のうち、必要とされる前記分割領域を用いて予測補償の処理を実行する予測補償ステップを含み、前記分割領域が未定義の場合、前記フレームメモリに記憶されている前記フレームの対応する領域から、定義された補間計算により前記補間画像を生成し、前記記憶手段に記憶し、前記予測補償ステップの処理は、予測補償に１／Ｎ画素精度の補間画像が必要な場合、前記記憶手段に記憶されている前記１／Ｎ画素精度の補間画像を読み出し、そのまま用い、予測補償に１／Ｍ（Ｍ＞Ｎ）画素精度の補間画像が必要な場合、前記記憶手段に記憶されている前記１／Ｎ画素精度の補間画像を読み出し、その補間画像に所定の数のタップのＦＩＲフィルタを用いて１／Ｍ画素精度の補間画像を生成するか、または、その補間画像に線型内挿を用いて１／Ｍ画素精度の補間画像を生成して予測補償を行う処理を実行させるコンピュータが読み取り可能なプログラム。
【００６６】
本発明の画像処理装置および方法、並びにプログラムにおいては、生成された小数画素精度の画像データが一旦記憶され、その記憶されている画像データが必要に応じて読み出されることにより、予測補償の処理が行われる。
【００６８】
【発明の実施の形態】
以下に、本発明の実施の形態について図面を参照して説明する。図１０は、本発明の画像処理装置を適用した画像情報符号化装置の一実施の形態の構成を示す図である。図１０に示した画像情報符号化装置１００において、図１に示した画像情報符号化装置１０と同様の機能を有するブロックには、同様の符号を付し、適宜、その説明は省略する。
【００６９】
図１０に示した画像情報符号化装置１００は、フレームメモリ２３から出力されたデータが、補間画像バッファ１０１を介して動き予測・補償部２４に供給される構成とされている。
【００７０】
その他の部分の構成は、図１に示した画像情報符号化装置１０と同様であるので、その説明は省略する。
【００７１】
図１０に示した画像情報符号化装置１００に対応し、本発明を適用した画像処理装置の画像情報復号装置の一実施の形態の構成を図１１に示す。図１１に示した画像情報復号装置１２０において、図２に示した画像情報復号装置４０と同様の機能を有するブロックには、同様の符号を付し、適宜、その説明は省略する。
【００７２】
図１１に示した画像情報復号装置１２０は、フレームメモリ５０から出力されたデータが、補間画像バッファ１２１を介して動き予測・補償部５１に供給される構成とされている。
【００７３】
その他の部分の構成は、図２に示した画像情報復号装置４０と同様であるので、その説明は省略する。
【００７４】
本実施の形態において、図１０に示した画像情報符号化装置１００のフレームメモリ２３に蓄積された画像データが、補間画像バッファ１０１を介して動き予測・補償部２４に供給されるまでの動作と、図１１に示した画像情報復号装置１２０のフレームメモリ５０に蓄積された画像データが、補間画像バッファ１２１を介して動き予測・補償部５１に供給されるまでの動作は、基本的に同様に行われる。
【００７５】
ここでは、このようなことを考慮し、図１０に示した画像情報符号化装置１００のフレームメモリ２３に蓄積された画像データが、補間画像バッファ１０１を介して動き予測・補償部２４に供給されるまでの動作を例に挙げて説明し、図１１に示した画像情報復号装置１２０のフレームメモリ５０蓄積された画像データが、補間画像バッファ１２１を介して動き予測・補償部５１に供給されるまでの動作についての説明は省略する。
【００７６】
画像情報符号化装置１００の補間画像バッファ１０１は、フレームメモリ２３と等しい枚数のフレームを保持する。また、画像情報復号装置１２０の補間画像バッファ１２１は、フレームメモリ５０と等しい枚数のフレームを保持する。
【００７７】
ただし、フレームあたりの画枠の大きさは、補間画素精度に依存する。すなわち、補間画像バッファ１０１（１２１）が、１／２画素精度の補間画像を保持する場合、フレームメモリ２３（５０）に格納される画枠の大きさに比べて縦と横それぞれ２倍の画素数をもつ画枠となる。
【００７８】
また、補間画像バッファ１０１（１２１）が、１／４画素精度の補間画像を保持する場合、フレームメモリ２３（５０）に格納される画枠の大きさに比べて縦と横それぞれ４倍の画素数をもつ画枠となる。
【００７９】
また、補間画像バッファ１０１（１２１）が、１／８画素精度の補間画像を保持する場合、フレームメモリ２３（５０）に格納される画枠の大きさに比べて縦と横それぞれ８倍の画素数をもつ画枠となる。
【００８０】
補間画像バッファ１０１（１２１）は、図１２に示すように、Ｍ×Ｎの一定の大きさの矩形で分割される。分割領域の大きさは、ブロックあるいはマクロブロックと等しい大きさでも良いし、それよりも大きくても良い。または、分割領域の大きさは、ブロックあるいはマクロブロックより小さくても良い。すなわち、分割領域の大きさは、システムに合った大きさと設定されれば良い。
【００８１】
始めに、各分割領域は未定義として初期化しておく。
【００８２】
図１３を参照して説明するに、動き予測・補償部２４が、参照フレーム内の所定の部分の予測画像Ｐを処理に必要であり、補間画像バッファ１０１から読み出す必要がある場合、補間画像バッファ１０１に記憶されている画像データから、予測画像Ｐに対応した領域Ｐ’のデータを読み出す。領域Ｐ’に対応するデータだけを読み出すようにしても良いが、領域Ｐ’を含む分割領域Ｓ（Ｐ）のデータを読み出すようにしても良い。
【００８３】
分割領域Ｓ（Ｐ）を読み出すようにした場合、予めフレームを何個の領域に分割するかなどを設定しておく必要がある。設定してある場合、領域Ｐ’を含む分割領域Ｓ（Ｐ）を読み出せばよい。
【００８４】
分割領域Ｓ（Ｐ）が未定義の場合、フレームメモリ２３の対応する領域から、定義された補間計算により補間画像を生成し、図１４に示すように補間画像バッファ１０１の分割領域Ｓ（Ｐ）に格納するようにしても良い。動き予測・補償部２４が要求した予測画像Ｐは、図１４に示すように補間画像バッファ１０１から獲得される。
【００８５】
予測画像Ｐに対応した領域を含む分割領域Ｓ（Ｐ）が、すでに補間画像バッファ１０１に書き込まれていた場合、分割領域Ｓ（Ｐ）に格納されたデータが用いられて予測画像Ｐが獲得される。
【００８６】
図１５に示すように、予測画像Ｐに対応した領域Ｐ’が、複数の分割領域Ｓ（Ｐ）に含まれる場合、各分割領域Ｓ（Ｐ）に対して上述したような処理を行えばよい。
【００８７】
ここで、補間精度が１／４画素精度モードと設定され、補間画像バッファ１０１に１／４画像精度までの画像データがされると設定されているとき、予測画像として１／４画素精度が要求された際、補間画像バッファ１０１に記憶されている画像データ内から直接読み出され、用いられる。
【００８８】
または、補間画像バッファ１０１に１／２画像精度までの画像データが格納されると設定された場合、予測画像として１／２画素精度の画像データが必要とされたとき、補間画像バッファ１０１から読み出された画像データがそのまま用いられ、予測画像として１／４画素精度の画像データが必要とされたとき、補間画像バッファ１０１から読み出された画像データが中間値とされて、さらに線形内挿などの計算によって１／４画素精度が求められる。
【００８９】
補間精度が１／８画素精度モードと設定され、補間画像バッファ１０１に１／８画像精度までの画像データが格納されると設定されているとき、予測画像として１／８画素精度が要求した際、補間画像バッファ１０１に記憶されている画像データ内から直接読み出され、用いられる。
【００９０】
または、補間画像バッファ１０１に１／４画像精度までの画像データが格納されると設定された場合、予測画像として１／４画素精度の画像データが必要とされたとき、補間画像バッファ１０１から読み出された画像データがそのまま用いられ、予測画像が１／８画素精度の画像データが必要とされたとき、補間画像バッファ１０１から読み出された画像データが中間値とされて、さらに線形内挿などの計算によって１／８画素精度の画像が求められる。
【００９１】
ＶＯＰ境界外からの動き補償を許可する場合、図１６に示すように補間画像バッファ１０１の周囲にＰａｄｄｉｎｇ領域を設けて（補間画像バッファ１０１に記憶される画像としてＰａｄｄｉｎｇ領域が含まれるように設定しておき）、上述した場合と同様に扱われるようにしても良い。
【００９２】
図１７は、本発明を適用した画像情報変換装置１３１の一実施の形態の構成を示す図である。図１７に示した画像情報変換装置１３１は、動き予測補償部１３２、セレクタ１３３、フレームメモリ１３４、補間画像バッファ１３５、および遅延バッファ１３６から構成されている。
【００９３】
図１７に示した画像情報変換装置１３１において、動き予測部１３２は、入力画像情報と、補間画像バッファ１３５に格納されている参照フレームとにより、フレーム間の動きを予測し、補間画像を生成する。生成された補間画像は、一旦、遅延バッファ１３６に格納される。セレクタ１３３は、目的とする更新周波数に合わせて、入力された画像情報と遅延バッファ１３６に格納された補間画像の画像情報を適宜切り替えて出力する。
【００９４】
このような処理により、例えば、図４に示すように、入力画像情報の間に補間フレームを挿入し、フレーム枚数を増加させることで、更新周波数を上げることが可能である。また逆に、図５に示すように、入力画像情報を削除（入力フレームを削除）し、補間フレームを挿入し、全体としてフレーム枚数を減少させることで、更新周波数を下げることも可能である。すなわち、このような処理を行うことにより、画像情報変換装置１３１において、フレームレートが変換される。
【００９５】
入力画像１枚につき補間画像を１枚挿入することで、２５Ｈｚの更新周波数の画像信号を５０Ｈｚの更新周波数の画像信号に変換することが可能である。
【００９６】
上述した実施の形態においては、ブロックマッチング法における動作原理を例に挙げて説明したが、本発明が適用できる範囲は、これに限らず、他の動き予測・補償の方式に対しても適用可能である。例えば、分割領域Ｓ（Ｐ）の大きさをマクロブロックの大きさよりも大きく設定したような場合、オーバーラップ動き補償（Michael T. Orchard and Gary J. Sullivan; Overlapped Block Motion Compensation: An Estimation-Theoretic Approach; IEEE Transactions on image processing, vol 3. No. 5, September 1994）などの処理に、本発明を適用することが可能である。
【００９７】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。記録媒体の説明の前に、記録媒体を扱うパーソナルコンピュータについて簡単に説明する。
【００９８】
図１８は、汎用のパーソナルコンピュータの内部構成例を示す図である。パーソナルコンピュータのＣＰＵ（Central Processing Unit）２１１は、ＲＯＭ（Read Only Memory）２１２に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Random Access Memory）２１３には、ＣＰＵ２１１が各種の処理を実行する上において必要なデータやプログラムなどが適宜記憶される。入出力インタフェース２１５は、キーボードやマウスから構成される入力部２１６が接続され、入力部２１６に入力された信号をＣＰＵ２１１に出力する。また、入出力インタフェース２１５には、ディスプレイやスピーカなどから構成される出力部７も接続されている。
【００９９】
さらに、入出力インタフェース２１５には、ハードディスクなどから構成される記憶部２１８、および、インターネットなどのネットワークを介して他の装置とデータの授受を行う通信部２１９も接続されている。ドライブ２２０は、磁気ディスク２３１、光ディスク２３２、光磁気ディスク２３３、半導体メモリ２３４などの記録媒体からデータを読み出したり、データを書き込んだりするときに用いられる。
【０１００】
記録媒体は、図１８に示すように、パーソナルコンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク２３１（フレキシブルディスクを含む）、光ディスク２３２（CD-ROM（Compact Disc-Read Only Memory），DVD（Digital Versatile Disc）を含む）、光磁気ディスク２３３（MD（Mini-Disc）（登録商標）を含む）、若しくは半導体メモリ２３４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているＲＯＭ２１２や記憶部２１８が含まれるハードディスクなどで構成される。
【０１０１】
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１０２】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１０３】
【発明の効果】
以上の如く本発明によれば、既に生成されている画像データを繰り返し生成するようなことを防ぐことができ、その生成に係る演算量を削減することができ、予測補償の処理の高速化をはかることができる。
【図面の簡単な説明】
【図１】従来の画像情報符号化装置の一例の構成を示す図である。
【図２】従来の画像情報復号装置の一例の構成を示す図である。
【図３】更新周波数を変換する変換装置の一例の構成を示す図である。
【図４】補間フレームの挿入によりフレーム数が増加している場合について説明するための図である。
【図５】入力フレームの削除と補間フレームの挿入によりフレーム数が減少している場合について説明するための図である。
【図６】ＶＯＰ境界外からの動き補償を説明するための図である。
【図７】１／４画素精度の動き予測補償処理について説明する図である。
【図８】１／８画素精度の動き予測補償処理について説明する図である。
【図９】１／８画素精度の補間方法について説明する図である。
【図１０】本発明を適用した画像情報符号化装置の一実施の形態の構成を示す図である。
【図１１】本発明を適用した画像情報復号装置の一実施の形態の構成を示す図である。
【図１２】補間画像バッファと領域分割の関係を説明するための図である。
【図１３】参照フレームにおける予測画像Ｐ、補間画像バッファにおける予測画像領域Ｐ’および分割領域Ｓ（Ｐ）の関係を説明するための図である。
【図１４】分割領域からの予測画像の獲得について説明する図である。
【図１５】予測画像領域Ｐ’が複数の分割領域に含まれている状況について説明するための図である。
【図１６】Ｐａｄｄｉｎｇ領域を含む補間画像バッファについて説明するための図である。
【図１７】本発明を適用した更新周波数を変換する装置の一実施の形態の構成を示す図である。
【図１８】媒体を説明する図である。
【符号の説明】
２３ フレームメモリ， ２４ 動き予測・補償部， ５０ フレームメモリ， ５１ 動き予測・補償部， １００ 画像情報符号化装置， １０１ 補間画像バッファ， １２０ 画像情報復号装置， １２１ 補間画像バッファ， １３１ 画像情報変換装置， １３２ 動き予測補償部， １３３ セレクタ，１３４ フレームメモリ， １３５ 補間画像バッファ， １３６ 遅延バッファ
Claims (7)
- フレームを記憶するフレームメモリと、
１／Ｎ画素精度の補間画像を一定の大きさの分割領域で分割した状態で記憶する記憶手段と、
前記記憶手段に記憶されている前記補間画像のうち、必要とされる前記分割領域を用いて予測補償の処理を実行する予測補償手段と
を備え、
前記分割領域が未定義の場合、前記フレームメモリに記憶されている前記フレームの対応する領域から、定義された補間計算により前記補間画像を生成し、前記記憶手段に記憶し、
前記予測補償手段は、予測補償に１／Ｎ画素精度の補間画像が必要な場合、前記記憶手段に記憶されている前記１／Ｎ画素精度の補間画像を読み出し、そのまま用い、
予測補償に１／Ｍ（Ｍ＞Ｎ）画素精度の補間画像が必要な場合、前記記憶手段に記憶されている前記１／Ｎ画素精度の補間画像を読み出し、その補間画像に所定の数のタップのＦＩＲフィルタを用いて１／Ｍ画素精度の補間画像を生成するか、または、その補間画像に線型内挿を用いて１／Ｍ画素精度の補間画像を生成して予測補償を行う
画像処理装置。 - 前記Ｎまたは前記Ｍは、２、４、８のいずれかである
請求項１に記載の画像処理装置。 - 前記記憶手段は、前記フレームメモリと等しい枚数のフレームを記憶する
請求項１に記載の画像処理装置。 - 前記予測補償手段は、離散コサイン変換またはカルーネン・レーベ変換による直交変換および小数画素精度のオーバーラップ動き予測補償を行う
ことを特徴とする請求項１に記載の画像処理装置。 - フレームを記憶するフレームメモリと、
１／Ｎ画素精度の補間画像を一定の大きさの分割領域で分割した状態で記憶する記憶手段と
を備える画像処理装置の画像処理方法において、
前記記憶手段に記憶されている前記補間画像のうち、必要とされる前記分割領域を用いて予測補償の処理を実行する予測補償ステップ
を含み、
前記分割領域が未定義の場合、前記フレームメモリに記憶されている前記フレームの対応する領域から、定義された補間計算により前記補間画像を生成し、前記記憶手段に記憶し、
前記予測補償ステップの処理は、予測補償に１／Ｎ画素精度の補間画像が必要な場合、前記記憶手段に記憶されている前記１／Ｎ画素精度の補間画像を読み出し、そのまま用い、
予測補償に１／Ｍ（Ｍ＞Ｎ）画素精度の補間画像が必要な場合、前記記憶手段に記憶されている前記１／Ｎ画素精度の補間画像を読み出し、その補間画像に所定の数のタップのＦＩＲフィルタを用いて１／Ｍ画素精度の補間画像を生成するか、または、その補間画像に線型内挿を用いて１／Ｍ画素精度の補間画像を生成して予測補償を行う
画像処理方法。 - フレームを記憶するフレームメモリと、
１／Ｎ画素精度の補間画像を一定の大きさの分割領域で分割した状態で記憶する記憶手段と
を備える画像処理装置に、
前記記憶手段に記憶されている前記補間画像のうち、必要とされる前記分割領域を用いて予測補償の処理を実行する予測補償ステップ
を含み、
前記分割領域が未定義の場合、前記フレームメモリに記憶されている前記フレームの対応する領域から、定義された補間計算により前記補間画像を生成し、前記記憶手段に記憶し、
前記予測補償ステップの処理は、予測補償に１／Ｎ画素精度の補間画像が必要な場合、前記記憶手段に記憶されている前記１／Ｎ画素精度の補間画像を読み出し、そのまま用い、
予測補償に１／Ｍ（Ｍ＞Ｎ）画素精度の補間画像が必要な場合、前記記憶手段に記憶されている前記１／Ｎ画素精度の補間画像を読み出し、その補間画像に所定の数のタップのＦＩＲフィルタを用いて１／Ｍ画素精度の補間画像を生成するか、または、その補間画像に線型内挿を用いて１／Ｍ画素精度の補間画像を生成して予測補償を行う
処理を実行させるコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - フレームを記憶するフレームメモリと、
１／Ｎ画素精度の補間画像を一定の大きさの分割領域で分割した状態で記憶する記憶手段と
を備える画像処理装置に、
前記記憶手段に記憶されている前記補間画像のうち、必要とされる前記分割領域を用いて予測補償の処理を実行する予測補償ステップ
を含み、
前記分割領域が未定義の場合、前記フレームメモリに記憶されている前記フレームの対応する領域から、定義された補間計算により前記補間画像を生成し、前記記憶手段に記憶し、
前記予測補償ステップの処理は、予測補償に１／Ｎ画素精度の補間画像が必要な場合、前記記憶手段に記憶されている前記１／Ｎ画素精度の補間画像を読み出し、そのまま用い、
予測補償に１／Ｍ（Ｍ＞Ｎ）画素精度の補間画像が必要な場合、前記記憶手段に記憶されている前記１／Ｎ画素精度の補間画像を読み出し、その補間画像に所定の数のタップのＦＩＲフィルタを用いて１／Ｍ画素精度の補間画像を生成するか、または、その補間画像に線型内挿を用いて１／Ｍ画素精度の補間画像を生成して予測補償を行う
処理を実行させるコンピュータが読み取り可能なプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002154077A JP4318019B2 (ja) | 2002-05-28 | 2002-05-28 | 画像処理装置および方法、記録媒体、並びにプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002154077A JP4318019B2 (ja) | 2002-05-28 | 2002-05-28 | 画像処理装置および方法、記録媒体、並びにプログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003348596A JP2003348596A (ja) | 2003-12-05 |
| JP2003348596A5 JP2003348596A5 (ja) | 2005-10-06 |
| JP4318019B2 true JP4318019B2 (ja) | 2009-08-19 |
Family
ID=29770959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002154077A Expired - Fee Related JP4318019B2 (ja) | 2002-05-28 | 2002-05-28 | 画像処理装置および方法、記録媒体、並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4318019B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| NO320114B1 (no) * | 2003-12-05 | 2005-10-24 | Tandberg Telecom As | Forbedret utregning av interpolerte pixelverdier |
| JP2007536817A (ja) | 2004-05-04 | 2007-12-13 | クゥアルコム・インコーポレイテッド | 動作補償されたフレームレートアップコンバージョンのための方法および装置 |
| US20050286777A1 (en) * | 2004-06-27 | 2005-12-29 | Roger Kumar | Encoding and decoding images |
| WO2006007527A2 (en) * | 2004-07-01 | 2006-01-19 | Qualcomm Incorporated | Method and apparatus for using frame rate up conversion techniques in scalable video coding |
| AU2005267171A1 (en) | 2004-07-20 | 2006-02-02 | Qualcomm Incorporated | Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression |
| US8553776B2 (en) | 2004-07-21 | 2013-10-08 | QUALCOMM Inorporated | Method and apparatus for motion vector assignment |
| US8750387B2 (en) | 2006-04-04 | 2014-06-10 | Qualcomm Incorporated | Adaptive encoder-assisted frame rate up conversion |
| US8634463B2 (en) | 2006-04-04 | 2014-01-21 | Qualcomm Incorporated | Apparatus and method of enhanced frame interpolation in video compression |
| JP4781301B2 (ja) * | 2007-03-06 | 2011-09-28 | 日本放送協会 | 符号化側動き補償装置及び復号側動き補償装置 |
-
2002
- 2002-05-28 JP JP2002154077A patent/JP4318019B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003348596A (ja) | 2003-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4699685B2 (ja) | 信号処理装置及びそれを用いた電子機器 | |
| JP3861698B2 (ja) | 画像情報符号化装置及び方法、画像情報復号装置及び方法、並びにプログラム | |
| JP3720875B2 (ja) | トランスコーディング方法及び装置 | |
| JP3686436B2 (ja) | 映像信号の復号化方法 | |
| KR20060109290A (ko) | 화상 복호 장치 및 화상 복호 방법과 화상 복호 프로그램 | |
| EP1257127A2 (en) | Video transcoder with spatial resolution reduction | |
| US20110176614A1 (en) | Image processing device and method, and program | |
| US20110103486A1 (en) | Image processing apparatus and image processing method | |
| US20030095603A1 (en) | Reduced-complexity video decoding using larger pixel-grid motion compensation | |
| JP2004140473A (ja) | 画像情報符号化装置、復号化装置並びに画像情報符号化方法、復号化方法 | |
| US7903731B2 (en) | Methods and transcoders that estimate an output macroblock and motion vector for video transcoding | |
| JP2001145113A (ja) | 画像情報変換装置及び方法 | |
| KR20040106364A (ko) | 복잡성이 감소된 복호화에 적합한 단층 비디오 부호화된비트열들을 제공하는 시스템 및 방법 | |
| JP2009089332A (ja) | 動き予測方法及び動き予測装置 | |
| JP2004520771A (ja) | ドリフト補正を備えたビデオトランスコーダ | |
| EP2077670A1 (en) | Transcoder, transcoding method, decoder, and decoding method | |
| KR100945826B1 (ko) | 화상 정보 복호 방법 및 장치 | |
| JP4360093B2 (ja) | 画像処理装置および符号化装置とそれらの方法 | |
| JP2007013298A (ja) | 画像符号化装置 | |
| JP4318019B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP2008219205A (ja) | 画像情報符号化装置及び画像情報符号化方法 | |
| JP4209134B2 (ja) | 圧縮ビットストリームをアップサンプリングする方法および装置 | |
| JP2003289544A (ja) | 画像情報符号化装置及び方法、画像情報復号装置及び方法、並びにプログラム | |
| WO2017082304A1 (ja) | 情報圧縮装置、情報圧縮方法、記録媒体、及び、符号化装置 | |
| JP2003348595A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050527 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050527 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080125 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080321 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080414 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080513 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090430 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090513 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120605 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120605 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |