JP3625136B2 - フィルタ処理装置、画像符号化装置、画像復号化装置、およびフィルタ処理プログラムを記録した記録媒体 - Google Patents
フィルタ処理装置、画像符号化装置、画像復号化装置、およびフィルタ処理プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3625136B2 JP3625136B2 JP19634698A JP19634698A JP3625136B2 JP 3625136 B2 JP3625136 B2 JP 3625136B2 JP 19634698 A JP19634698 A JP 19634698A JP 19634698 A JP19634698 A JP 19634698A JP 3625136 B2 JP3625136 B2 JP 3625136B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- filter
- input
- filter processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、画像情報の伝送などに用いられる画像符号化装置、および画像復号化装置に関し、特に、フィルタ処理部を搭載した画像符号化装置、および画像復号化装置に関するものである。
【０００２】
【従来の技術】
近年、動画像や音声などを用いて通信を行うＴＶ電話、ＴＶ会議などが普及しつつある。ＴＶ電話、ＴＶ会議などのシステムを実現する際には、伝送路におけるビットレートに制限があるため、動画像を圧縮して通信する技術が非常に重要になる。従来、動画像を符号化、復号化して通信を行う際には、大きな計算処理能力が必要となるため、専用のハードウェアが必要であった。しかし、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ） の計算処理能力の向上などにより、動画像の圧縮や通信をソフトウェアで行うことが可能なコンピュータが普及してきている。これにより、前述のＴＶ電話、ＴＶ会議などのシステムをソフトウェアで実現しようとする試みが行われている。一般に、画像通信などでは動画像の伝送量を減少させるために、画像符号化装置や、画像復号化装置を用いる。
【０００３】
上記画像符号化装置は、画像入力部、フィルタ処理部、画像符号化部を有する。画像入力部で取り込まれた画像は、画像符号化が行われる前に、フィルタ処理部で入力画像の符号化効率を向上させるためにフィルタ処理される。その後、画像符号化部で、ＤＣＴ（離散コサイン変換）、量子化などを用いて不可逆圧縮が行われる。
【０００４】
上記画像復号化装置は、画像復号化部、フィルタ処理部、画像表示部を有する。画像復号化部で復号された画像は、画像情報の不可逆圧縮が施されたことにより劣化しており、フィルタ処理部で視覚的に良好な状態に補正される。その後、画像表示部で表示される。
【０００５】
従来、画像符号化装置または画像復号化装置でフィルタ処理を行う場合には、図１３に示すようなフィルタ処理部２００が用いられる。上記フィルタ処理部２００は、入力画像を１フレーム単位で格納するフレームメモリ部２０１と、１フレーム単位でフィルタ処理を行うフィルタ演算部２０２とを備えている。
【０００６】
画像通信時などに、符号化および復号化される画像において生じる劣化の原因の一つは、８画素×８画素の画像を単位として、これをＤＣＴ、ＩＤＣＴ（逆離散コサイン変換）を用いて不可逆圧縮をすることにある。これによる劣化は画像歪みとして画像全体に及ぶため、フィルタ処理は１フレーム単位で行われる。
【０００７】
特開平５−３０４６２１号公報には、小容量のメモリの装備によって映像信号フィルタリング回路を提供するためのフィルタリング回路が開示されている。すなわち、上記フィルタリング回路は、それまでの映像信号フィルタリング回路では、（ｍ×ｎ）画素から構成される画面の場合には一次元のデジタルフィルタを用いても、この映像信号をフィルタ処理するために｛（２Ｌ＋ｍ）×ｎ｝画素の画面の映像信号をメモリに格納しなければならなかったのを、（ｍ×ｎ）画素のメモリで高精度な二次元のデジタルフィルタを行うことを可能にしている。
【０００８】
【発明が解決しようとする課題】
ところが、上記従来の構成では、入力画像に対し、１フレーム単位でフィルタ処理を行うため、１フレーム分のフィルタ処理を終了しなければ出力画像を出力できず、処理遅延時間を発生させる原因となっていた。
【０００９】
また、フィルタ処理部２００において１フレーム単位でフィルタ処理を行う場合には、入力画像を１フレーム単位でメモリに格納しなければならないので容量の大きなメモリを有する必要がある。
【００１０】
さらに、画像符号化装置および画像復号化装置をソフトウェアで実現する時は、フィルタ演算部２０２ではＣＰＵ内のキャッシュの容量が数キロバイトから１０数キロバイトのため、実施の形態中に記載の表１に示すような画像をフィルタ処理するときに１フレーム分の画像をＣＰＵ内のキャッシュを用いてフィルタ処理することが不可能であった。そのため、ＣＰＵ内のキャッシュを用いることに起因する処理速度の向上を望むことができなかった。
【００１１】
本発明は、上記の問題点を解決するためになされたもので、その目的は、フィルタ処理部における処理遅延時間を短くし、また、上記フィルタ処理部に搭載するメモリを小容量化することができるフィルタ処理装置、画像符号化装置、画像復号化装置、およびフィルタ処理プログラムを記録した記録媒体を提供することにある。
【００１２】
【課題を解決するための手段】
請求項１のフィルタ処理装置は、上記の課題を解決するために、１フレームの画像を複数に分割して得られる単位画像毎に入力画像を記憶する複数の記憶手段と、上記入力画像の記憶先の記憶手段を切り替える切替手段と、入力画像に対してフィルタ演算を行うと共に、該入力画像の左側および上側の少なくとも一方に、該入力画像と隣接する単位画像が存在する場合には、左側に隣接する単位画像を左画像として、上側に隣接する単位画像を上画像として、これらの単位画像を上記記憶手段から入力されることによって、隣接する単位画像同士の境界面に対してもフィルタ演算を行うフィルタ演算手段と、上記切替手段を制御して入力画像の記憶先の記憶手段を指示すると共に、隣接する単位画像の境界面をフィルタ演算手段に指示する制御手段とを有することを特徴としている。
【００１３】
上記の構成によれば、１フレームの画像を複数に分割して得られる単位画像は、切替手段によって複数の記憶手段に順次記憶され、フィルタ演算手段によって単位画像毎にフィルタ演算が行われるので、１フレーム単位でフィルタ処理を行う従来のフィルタ処理装置に比べ、記憶手段に容量の小さなメモリを用いることができ、さらに、処理遅延時間を減少させることができる。
【００１４】
また、入力される単位画像を複数の記憶手段に順次記憶しておくことで、入力画像の左または上に隣接する単位画像が存在する場合には、これらの単位画像を上記記憶手段からフィルタ演算手段に与えることによって、隣接する単位画像同士の境界面に対してもフィルタ演算を行うことができる。これにより、単位画像の形状に対応したブロック形状の画像歪みの発生を防止することができる。
【００１５】
請求項２のフィルタ処理装置は、請求項１の構成に加えて、上記フィルタ演算手段を上記記憶手段の前段に配置し、当該フィルタ処理装置に入力される入力画像は、フィルタ演算手段にてフィルタ演算された後に記憶手段に記憶されることを特徴としている。
【００１６】
上記の構成によれば、フィルタ演算手段を記憶手段の前段に配置することにより、記憶手段に入力する１処理サイクル分の遅延時間が短縮でき、よりリアルタイムに好適なものとできる。すなわち、処理完了時間が短い、遅延が少ないフィルタ処理装置を提供できる。
【００１７】
請求項３のフィルタ処理装置は、請求項２の構成に加えて、上記記憶手段の個数が１フレームの画像の１行当たりの分割数と等しく、上記記憶手段に記憶される各単位画像は、当該単位画像の下に隣接する入力画像がフィルタ演算手段に入力された時に、上画像として該フィルタ演算手段に入力されて、フィルタ演算された後に記憶手段に再び書き戻されることなく出力され、この時の入力画像は、上記フィルタ演算の後、上記上画像として用いられた単位画像が記憶されていた記憶手段に記憶されることを特徴としている。
【００１８】
上記の構成によれば、記憶手段の個数を１フレームの画像の１行当たりの分割数と等しくでき、これにより、記憶手段の量を少なく構成することができる。
【００１９】
請求項４の画像符号化装置は、上記請求項１ないし３の何れかのフィルタ処理装置を備え、該フィルタ処理装置によってフィルタ処理が施された画像に対して符号化を行うことを特徴としている。
【００２０】
請求項５の画像復号化装置は、上記請求項１ないし３の何れかのフィルタ処理装置を備え、符号化された画像を復号化した後、該復号化によって得られた画像に対し、上記フィルタ処理装置によってフィルタ処理を施すことを特徴としている。
【００２１】
請求項６のフィルタ処理プログラムを記録した記録媒体は、１フレームの画像を複数に分割して得られる単位画像毎の入力画像を、異なる記憶先の記憶手段に記憶させ、上記入力画像に対してフィルタ演算を行う際に、該入力画像の左側および上側の少なくとも一方に、該入力画像と隣接する単位画像が存在する場合には、左側に隣接する単位画像を左画像として、上側に隣接する単位画像を上画像として、上記記憶手段に記憶されている単位画像を使用して、隣接する単位画像同士の境界面に対してもフィルタ演算を行うことを特徴としている。
【００２２】
【発明の実施の形態】
〔実施の形態１〕
本実施の形態１に係る画像符号化装置および画像復号化装置の概略構成を図２および図３に示す。
【００２３】
画像符号化装置１０は、画像入力部１１、フィルタ処理部（フィルタ処理装置）１２、画像符号化部１３を有する。画像入力部１１で取り込まれた画像は、画像符号化部１３で符号化が行われる前に、入力画像の符号化効率を向上させるためにフィルタ処理部１２でフィルタ処理がなされる。その後、画像符号化部１３で、ＤＣＴ、量子化などを用いて不可逆圧縮が行われる。
【００２４】
一方、画像復号化装置２０は、画像復号化部２１、フィルタ処理部（フィルタ処理装置）２２、画像表示部２３を有する。画像復号化部２１で復号化された画像情報は、不可逆圧縮が施されたことにより劣化しており、これを視覚的に良好な状態に補正するためにフィルタ処理部２２で補正され、その後、画像表示部２３で表示される。
【００２５】
従来では、上記フィルタ処理部１２または２２で行われるフィルタ処理は、１フレーム単位で行われていたが、ここでは、１フレームを複数の単位画像に分割し、各単位画像毎にフィルタ処理を行う。すなわち、本実施の形態では、画像符号化装置１０および画像復号化装置２０で示される入力画像、出力画像に用いられる単位画像をｈ×ｖ画素（以下、ｈ×ｖ画素単位とする）とする。
【００２６】
ｈ×ｖ画素単位は、図４に示すように、画素数Ｈ×Ｖの画像６０をｈ×ｖ画素の任意の大きさの画像に分割したものであり、図４の（１，１）、（２，１）、…、（ｋ，ｆ）、…、（ｐ，ｑ）で示される各画像は、ｈ×ｖ画素単位に分割された単位画像を示す。すなわち、図４において、Ｈは１フレームの水平方向の画素数、Ｖは１フレームの垂直方向の画素数、ｈは１単位画像の水平方向の画素数、ｖは１単位画像の垂直方向の画素数、ｐは１フレーム内の水平方向の単位画像の数、ｑは１フレーム内の垂直方向の単位画像の数、ｋは水平方向にｋ（１≦ｋ≦ｐ）番目の単位画像、ｆは垂直方向にｆ（１≦ｆ≦ｑ）番目の単位画像を示す。
【００２７】
次に、上記フィルタ処理部１２および２２の構成を図１に示す。上記フィルタ処理部１２および２２は、それぞれ、複数のメモリ部（記憶手段）３１−１ないし３１−ｎ、スイッチ部（切替手段）３２、フィルタ演算部（フィルタ演算手段）３３、およびフィルタ制御部（制御手段）３４を有している。上記各々メモリ部３１−１ないし３１−ｎは、画像入力部１１または画像復号化部２１からの入力画像を単位画像毎に記憶する。上記スイッチ部３２は、フィルタ制御部３４からの指示により入力画像の記憶先のメモリを切り替える。フィルタ演算部３３は、フィルタ制御部３４からの指示により所定のフィルタ演算を行う。但し、上記フィルタ演算部３３は、画像符号化装置１０のフィルタ処理部１２においては、符号化効率向上のための演算を行い、画像復号化装置２０のフィルタ処理部２２では、ＤＣＴ、ＩＤＣＴの結果劣化した復号画像の補正のための演算を行う。
【００２８】
上記フィルタ処理部１２および２２におけるフィルタ処理の手順を、図１、図４および図５を参照して以下に説明する。尚、以下の説明では、単位画像毎にフィルタ処理が行われるが、その順序は、画面左上の単位画像から開始して各行毎（水平方向）にフィルタ処理を行い、１行終了すると下の行に移るものとする。
【００２９】
フィルタ演算部３３では、各単位画像毎にフィルタ処理を行うため、そのままでは隣接する各単位画像の境界において、画素値、特に輝度の画素値に不連続が生じ、これが画面全体ではブロック状の視覚的な歪みとなって現れる。そのため、フィルタ処理部１２および２２では、隣接する単位画像の境界面に対してもフィルタ処理を行い、この領域を平滑化することで、上記歪みを解消し、画像の劣化を補正する。上述のように全ての境界面に対してフィルタ処理を行うために、入力画像が１フレーム内のどの位置に配置されているかによって、４種類のフィルタ演算を行う。これらのフィルタ演算について、図４を用いて説明する。
【００３０】
１）ｋ＝１、ｆ＝１、すなわち画面左上隅の単位画像の場合、該単位画像に隣接する他の単位画像は何れもフィルタ処理が終了していないため、境界面に対するフィルタ処理は行わず、該単位画像内でのみフィルタ演算を行う。以下、これをフィルタ演算▲１▼とする。
【００３１】
２）ｋ≠１、ｆ＝１、すなわち画面上端の単位画像（画面左上隅の単位画像を除く）の場合、該単位画像の左側の単位画像についてはフィルタ処理が終了しているので、該単位画像内のフィルタ演算を行った後、その左側の境界面に対してもフィルタ演算を行う。以下、これをフィルタ演算▲２▼とする。尚、図４において、単位画像（４，１）についてフィルタ処理を行う場合を例とすると、左側の境界面とは斜線部６１で示される領域である。
【００３２】
３）ｋ＝１、ｆ≠１、すなわち画面左端の単位画像（画面左上隅の単位画像を除く）の場合、該単位画像の上側の単位画像についてはフィルタ処理が終了しているので、該単位画像内のフィルタ演算を行った後、その上側の境界面に対してもフィルタ演算を行う。以下、これをフィルタ演算▲３▼とする。尚、図４において、単位画像（１，３）についてフィルタ処理を行う場合を例とすると、上側の境界面とは斜線部６２で示される領域である。
【００３３】
４）ｋ≠１、ｆ≠１、すなわち画面左端および上端の何れでもない単位画像の場合、該単位画像の左側および上側の両方の単位画像についてフィルタ処理が終了しているので、該単位画像内のフィルタ演算を行った後、その左側および上側の境界面に対してもフィルタ演算を行う。以下、これをフィルタ演算▲４▼とする。尚、図４において、単位画像（４，３）についてフィルタ処理を行う場合を例とすると、左側の境界面とは斜線部６３で示される領域であり、上側の境界面とは斜線部６４で示される領域である。
【００３４】
上述のフィルタ演算▲１▼ないし▲４▼の何れを行うかに関しては、フィルタ制御部３４がフィルタ演算部３３に指示する。
【００３５】
続いて、フィルタ処理部１２および２２における具体的動作を、図１および図５を参照して詳細に説明する。
【００３６】
先ず、フィルタ制御部３４は、パラメータｋ、ｆおよびｉをそれぞれ１に設定する（Ｓ１）。ここで、上記パラメータｉは、図１に示すように、メモリ部３１−１ないし３１−ｎのうちのｉ番目のメモリ部を示すものである。また、メモリ部の個数ｎは、
ｎ＝ｐ＋１＝Ｈ／ｈ＋１・・・（１）
となるが、これは以下の理由による。すなわち、隣接する単位画像の境界面についてフィルタ演算を行うには、これら両方の単位画像に関するデータがメモリ部に記憶されている必要がある。本実施の形態では、上下に隣接する単位画像については、上の単位画像に関するデータが入力されてから下の単位画像に関するデータが入力されるまでに１行分の単位画像が入力されるため、これら全ての単位画像を記憶するためにｐ＋１個のメモリ部が必要となる。
【００３７】
スイッチ部３２に入力画像として単位画像（ｋ，ｆ）が入力されると、該単位画像（ｋ，ｆ）は、フィルタ制御部３４がスイッチ部３２を制御することにより、メモリ部３１−ｉ（図５では、メモリ部ｉで示す）に記憶される（Ｓ２）。最初は、上記Ｓ１によりパラメータｋ、ｆおよびｉがそれぞれ１に設定されているため、左上隅の単位画像（１，１）がメモリ部３１−１に記憶される。
【００３８】
次に、Ｓ３ないしＳ５のステップにおいて、フィルタ制御部３４がパラメータｋ、ｆの値より、入力された単位画像（ｋ，ｆ）がフレーム内のどの位置にあるかを判定する。そして、その判定に基づき、Ｓ６ないしＳ９の何れかのステップにおいて、フィルタ演算部３３にフィルタ演算▲１▼ないし▲４▼の何れかのフィルタ処理を行わせる。
【００３９】
上記単位画像（ｋ，ｆ）についてのフィルタ処理が終了すると、Ｓ１０において１フレーム分のフィルタ処理が終了したか否かが判断される。すなわち、このときｋ＝ｐかつｆ＝ｑであれば、１フレーム分のフィルタ処理が終了しているため、メモリ内に記憶されている単位画像のデータを全て出力し（Ｓ１９）、当該フレームに関するフィルタ処理を終了する。
【００４０】
ｋ＝ｐかつｆ＝ｑでなければ、パラメータｉの値を１増加させる（Ｓ１１）。但し、これによってパラメータｉの値がｎを超えた場合には、ｉ＝ｎとする（Ｓ１２、Ｓ１３）。さらに、メモリに空きがあるか否かを確認し、空きがなければメモリ部ｉに記憶されている単位画像（ｋ，ｆ−１）のデータを出力する（Ｓ１４、Ｓ１５）。
【００４１】
次に、今回フィルタ処理された単位画像が、行端の単位画像であるか否が判断される（Ｓ１６）。すなわち、ｋ＝ｐであれば、次の行に移るために、パラメータｋの値を１に設定し、さらにパラメータｆの値を１増加させる（Ｓ１７）。また、ｋ＝ｐでなければ、上記単位画像は行端でないので、パラメータｋの値のみを１増加させる（Ｓ１８）。Ｓ１７、Ｓ１８の後はＳ２へ移行し、次の入力画像に対して同様の処理を行う。
【００４２】
上記フィルタ処理部１２および２２は、これをソフトウェアで実現することも可能である。上記フィルタ処理部１２および２２をソフトウェアで実現する場合の構成を図６に示す。
【００４３】
４１は、フィルタ処理部をソフトウェアで実現する場合のプログラムを記憶するプログラム記憶部であり、ＲＯＭ、ＣＤ−ＲＯＭ、フロッピーディスク（ＦＤ）、ＩＣカードなどの着脱自在の記録媒体として構成される。４２は、プログラム記憶部４１に記憶されたプログラムを実行するプログラム制御部である。
【００４４】
４３は、図４に示される単位画像の配置を表すパラメータｋ、ｆを格納するメモリであり、４４は、上記メモリ４３に格納されるパラメータｋ、ｆを制御するｋ、ｆ値制御回路である。４５ないし４７は、図４に示される単位画像の横方向の数ｐ、縦方向の数ｑ、およびフィルタ処理部用メモリ４９のメモリ数ｎをそれぞれ格納するメモリである。４８は、上記メモリ４５ないし４７に格納されるｐ、ｑ、ｎの値を制御するｐ、ｑ、ｎ値制御回路である。４９は、入力画像を単位画像毎に順次格納するフィルタ処理部用メモリ４９−１ないし４９−ｎであり、図１のメモリ部３１−１ないし３１−ｎに対応する。５０は、上記フィルタ処理部用メモリ４９内で、次にフィルタ処理すべきメモリの番号を表すパラメータｉを格納するメモリである。５１は、上記パラメータｉを制御するｉ値制御回路である。
【００４５】
５２は、入力された単位画像が１フレーム中のどの部分に当たるかを判定する配置判定である。５３は、上記配置判定５２の判定結果に従ってフィルタ演算を行うフィルタ演算回路である。５４は、１フレームの処理が終了したかどうかを判定するフレーム処理終了判定である。５５は、フィルタ処理部用メモリ４９−１から４９−ｎの中で空いているメモリがあるかを判定するものである。５６は、フィルタ演算回路５３で演算をした出力画像を出力する出力処理である。
【００４６】
上記構成のプログラムの動作を図５のフローチャートと対比させて説明する。
最初、ｈ×ｖ画素単位の入力画像（１，１）をフィルタ処理部用メモリ４９−１に格納する。ｋ、ｆ値制御回路４４は、ｋ＝１、ｆ＝１と判断し、これをｋ、ｆの値を格納するメモリ４３に格納する。上記ｋ、ｆの値に基づいてｈ×ｖ画素単位の配置判定５２を行うことによって、フィルタ演算回路５３がフィルタ演算▲１▼を行う。
【００４７】
次に、さらに入力画像が存在するかどうかを判定するために、ｋ、ｆの値を格納するメモリ４３、ｐ＝Ｈ／ｈの値を格納するメモリ４５、ｑ＝Ｖ／ｖの値を格納するメモリ４６を用いてフレーム処理終了判定５４を行う。さらに入力画像が存在する場合は、フィルタ処理部用メモリ４９−１から４９−ｎのどのメモリに次の入力画像を格納するかをｉ値制御回路５１を用いて求め、ｉの値を格納するメモリ５０に格納し、これを用いてフィルタ処理部用メモリ４９に指示する。また、メモリに空きがあるかの判定５５を行い、画像を出力するかどうかを出力処理５６に指示する。すなわち、判定５５によって、全てのフィルタ処理部用メモリ４９に入力画像が格納されていると判断された場合には、フィルタ処理部用メモリ４９−ｉに格納されている単位画像（ｋ、ｆ−１）のデータを出力する。
【００４８】
この後、次のｈ×ｖ画素単位の画像を入力し、この入力画像に対してｈ×ｖ画素単位の配置判定５２を行い、この判定結果に基づいて、フィルタ演算回路５３でフィルタ演算▲２▼、▲３▼、▲４▼の何れかの演算を行う。これを入力画像がｋ＝ｐ、ｆ＝ｑになるまで繰り返し、ｋ＝ｐ、ｆ＝ｑのときメモリ内の全てのｈ×ｖ画素単位の画像を出力し、１フレームのフィルタ処理を終了する。
【００４９】
〔実施の形態２〕
上記実施の形態１では、入力画像の単位をｈ×ｖ画素単位で扱ったが、本実施の形態では、具体的な単位画像としてＧＯＢ（Ｇｒｏｕｐ ｏｆ Ｂｌｏｃｋｓ） 単位を使用する場合を例示する。ここで、１フレームの画像の構造とＧＯＢとについて図７を参照して説明する。画像フォーマットとしてＩＴＵ−Ｔ勧告Ｈ２６３のＳＱＣＩＦ（ｓｕｂ−ＱＣＩＦ）を使用する場合、１フレームの画像７０は、ＧＯＢ７１、マクロブロック７２、ブロック７３の順に階層的な構造を持つ。また、ＩＴＵ−Ｔ勧告Ｈ２６３のＳＱＣＩＦでは、表１に示すように、１フレームの画像の大きさは１２８画素×９６画素（横×縦）である。１フレームの画像７０は、１個×６個（横×縦）＝６個のＧＯＢ７１−１ないし７１−６を有しており、１つのＧＯＢ７１は１２８画素×１６画素の大きさを持つ。尚、表１には、他の画像フォーマットにおける構成をも併せて示す。
【００５０】
【表１】
【００５１】
本実施の形態に係るフィルタ処理部は、図８に示すように、ＧＯＢ単位の入力画像を格納するメモリ部８１ａ、８１ｂ、スイッチ部８２、フィルタ演算部８３およびフィルタ制御部８４を有する。ここで、画像フォーマットとしてＩＴＵ−Ｔ勧告Ｈ２６３のＳＱＣＩＦを使用して、単位画像をＧＯＢとした場合は、実施の形態１においてｈ＝１２８、ｖ＝１６とした場合と考えられる。したがって、１フレーム内のすべてのＧＯＢの境界に対してフィルタ処理を行うために必要なＧＯＢメモリ部の数ｎ’は、実施の形態１と同様に式（１）を用いて、
ｎ’＝ｐ＋１＝Ｈ／ｈ十１＝１＋１＝２個
となる。
【００５２】
ＧＯＢメモリ部８１ａ、８１ｂは、スイッチ部８２を介して、ＧＯＢ単位の入力画像を交互に受信する。
【００５３】
フィルタ演算部８３は、ＧＯＢメモリ部８１ａ、８１ｂに格納された入力画像に対し、符号化効率の向上、または劣化した復号画像の補正のための演算を行う。この時、１フレーム内のＧＯＢの配置は、図７に示すように、列方向のみの配置であるので、ＧＯＢ７１−１については、ｋ＝１、ｆ＝１であることからフィルタ演算▲１▼を行う。また、ＧＯＢ７１−２ないし７１−６については、ｋ＝１、ｆ≠１であることからフィルタ演算▲３▼を行う。フィルタ演算部８３が、フィルタ演算▲１▼または▲３▼のどちらを行うかは、フィルタ制御部８４の指示による。
【００５４】
上記入力画像がＧＯＢ単位の場合に、フィルタ処理部１２または２２の処理を図７、図８を用いて説明する。
【００５５】
最初に、ＧＯＢ単位の入力画像ＧＯＢ７１−１をＧＯＢメモリ部８１ａに格納する。フィルタ制御部８４はｋ＝１、ｆ＝１と判断し、これをフィルタ演算部８３に指示することによりフィルタ演算▲１▼を行う。次に、ＧＯＢメモリ部８１ｂに空きがあり、ｋ＝ｐ＝１であるので、ＧＯＢ７１−２をＧＯＢメモリ部８１ｂに格納する。この時、フィルタ制御部８４は、ｋ＝１、ｆ≠１と判断し、フィルタ演算▲３▼を行う。
【００５６】
次に入力されるＧＯＢ７１−３については、ＧＯＢメモリ部８１ａにＧＯＢ７１−１が存在するためメモリに空きがない。このため、先ず、ＧＯＢ７１−１をＧＯＢメモリ部８１ａから出力し、ＧＯＢ７１−３をＧＯＢメモリ部８１ａに入力する。ＧＯＢ７１−２を入力した場合と同様に、ＧＯＢ７１−３に対してもフィルタ演算▲３▼を行い、次いで、ＧＯＢ７１−１を出力した場合と同様に、ＧＯＢ７１−２をＧＯＢメモリ部８１ｂから出力する。これをＧＯＢ７１−６まで繰り返すと、ｋ＝ｐ＝１かつｆ＝ｑ＝６となるため、メモリ内の画像ＧＯＢ７１−５、ＧＯＢ７１−６を出力し、１フレームのフィルタ処理を終了する。
【００５７】
また、本実施の形態においても、フィルタ処理部１２または２２をソフトウェアで構成することは可能である。フィルタ処理部１２または２２をソフトウェアで構成する場合を図６を用いて説明する。但し、本実施の形態では、フィルタ処理部用メモリ４９は、図８のＧＯＢメモリ部８１ａないし８１ｂに対応して、フィルタ処理部用メモリ４９−１ないし４９−２の２つだけであるとする。
【００５８】
まず、入力画像ＧＯＢ７１−１をフィルタ処理部用メモリ４９−１に格納する。ｋ、ｆ値制御回路４４は、ｋ＝１、ｆ＝１と判断して、上記ｋ、ｆの値をメモリ４３に格納する。上記ｋ、ｆの値に基づいてＧＯＢ７１−１の配置判定５２を行うことによってフィルタ演算回路５３でフィルタ演算▲１▼を行う。
【００５９】
次いでＧＯＢ７１−２が入力されると、判定５５によってフィルタ処理部用メモリ４９−２に空きがあると判定され、ＧＯＢ７１−２をフィルタ処理部用メモリ４９−２に格納する。この時、配置判定５２によってｋ＝１、ｆ≠１と判断し、フィルタ演算回路５３でフィルタ演算▲３▼を行う。
【００６０】
ＧＯＢ７１−２のフィルタ演算が終了すると、判定５５によってメモリに空きがないことが判定され、さらに、フレーム処理終了判定５４によってさらに入力画像が存在することが判定されるので、ＧＯＢ７１−１をフィルタ処理部用メモリ４９−１から出力処理５６で出力した後、ＧＯＢ７１−３を入力する。ＧＯＢ７１−３に対してもＧＯＢ７１−２を入力した場合と同様にフィルタ演算▲３▼を行い、ＧＯＢ７１−１を出力した場合と同様にＧＯＢ７１−２をフィルタ処理部用メモリ４９−２から出力する。これをＧＯＢ７１−６まで繰り返す。これにより、ｋ＝ｐ＝１かつｆ＝ｑ＝６となるため、フレーム処理終了判定５４はフレームが終了したと判定し、メモリ内の画像ＧＯＢ７１−５、ＧＯＢ７１−６を出力処理５６で出力し、１フレームのフィルタ処理を終了する。
【００６１】
以上のように、実施の形態１および２で説明したフィルタ処理部は、１フレームの画像を複数に分割して得られる単位画像をスイッチ部の切替によって複数のメモリ部に順次記憶し、フィルタ演算部によって単位画像毎にフィルタ演算を行うので、１フレーム単位でフィルタ処理を行う従来のフィルタ処理装置に比べ、メモリ部に容量の小さなメモリを用いることができ、処理遅延時間を減少させることができる。
【００６２】
また、入力される単位画像を複数のメモリ部に順次記憶しておくことで、入力画像の左または上に隣接する単位画像が存在する場合には、これらの単位画像を上記メモリ部からフィルタ演算部に与えることによって、隣接する単位画像同士の境界面に対してもフィルタ演算を行うことができる。これにより、単位画像の形状に対応したブロック形状の画像歪みの発生を防止することができる。
【００６３】
さらに、上記フィルタ処理部をソフトウェアで実現する場合、ＣＰＵを用いて実行する時に、メモリの小容量化によりをＣＰＵ内のキャッシュを用いて高速にフィルタ処理を行うことができる。
【００６４】
続いて、本発明の変形例を以下の実施の形態において説明する。
【００６５】
〔実施の形態３〕
図９に本実施の形態に係るフィルタ処理部の構成を示す。上記フィルタ処理部は、フィルタ演算を入力から直接行うように構成され、実施の形態１のフィルタ処理部と比べて、リアルタイム演算に重点を置いた構成例となる。尚、以下の説明では、上記フィルタ処理部の動作を、図４に示すような単位画像をｈ×ｖ画素単位とした場合を例示する。
【００６６】
上記フィルタ処理部は、単位画像毎の入力画像を格納するメモリ部９１−１ないし９１−ｎ、フィルタ演算部９２、フィルタ演算部９２からメモリ部９１−１ないし９１−ｎへの出力を切り替えるスイッチ部９３、メモリ／出力スイッチ部９４およびフィルタ制御部９５を有する。
【００６７】
最初に、単位画像（１，１）が入力画像としてフィルタ演算部９２に入力され、フィルタ演算▲１▼が行われる。フィルタ演算が行われた単位画像（１，１）は、スイッチ部９３を介してメモリ部９１−１に格納される。このとき、入力画像としてフィルタ演算部９２に与えられた単位画像（１，１）は、スイッチ部９３の入力端子を介してメモリ部９１−１に送出される。
【００６８】
次に、単位画像（２，１）が入力画像としてフィルタ演算部９２に入力されると、該単位画像（２，１）に対してはフィルタ演算▲２▼が行われる。ここで、フィルタ演算▲２▼では、左側に隣接する単位画像との境界面に対してもフィルタ演算をする必要があるため、単位画像（１，１）が左画像としてメモリ／出力スイッチ部９４を介してフィルタ演算部９２に入力される。フィルタ演算が行われた単位画像（２，１）は、スイッチ部９３の入力端子を介してメモリ部９１−２に格納される。また、境界面のフィルタ演算が行われた単位画像（１，１）は、左画像としてフィルタ演算部９２に与えられているため、スイッチ部９３の左画像端子を介してメモリ部９１−１に書き戻される。尚、単位画像（１，１）を除く上端の単位画像に対しては、これと同様の処理が行われる。
【００６９】
単位画像（１，１）を除く左端の単位画像（１，ｆ）に対しては、フィルタ演算▲３▼が行われる。ここで、フィルタ演算▲３▼では、上側に隣接する単位画像との境界面に対してもフィルタ演算をする必要があるため、単位画像（１，ｆ−１）が上画像としてメモリ／出力スイッチ部９４を介してフィルタ演算部９２に入力される。フィルタ演算が行われた単位画像（１，ｆ）は、スイッチ部９３の入力端子を介して空いているメモリ部９１−ｉ（ｉは、１≦ｉ≦ｎとなる任意の数）に格納される。また、境界面のフィルタ演算が行われた単位画像（１，ｆ−１）は、上画像としてフィルタ演算部９２に与えられているため、スイッチ部９３の上画像端子を介して該単位画像（１，ｆ−１）が格納されていたメモリ部９１−ｉ’（ｉ’は、１≦ｉ’≦ｎとなる任意の数であり、ｉ’≠ｉ）に書き戻される。
【００７０】
上端および左端の何れでもないｋ≠１、ｆ≠１の場合の単位画像（ｋ，ｆ）については、フィルタ演算▲４▼が行われる。ここで、フィルタ演算▲４▼では、左側に隣接する単位画像と上側に隣接する単位画像との境界面に対してもフィルタ演算をする必要があるため、単位画像（ｋ−１，ｆ）が左画像として、単位画像（ｋ，ｆ−１）が上画像としてメモリ／出力スイッチ部９４を介してフィルタ演算部９２に入力される。フィルタ演算が行われた単位画像（ｋ，ｆ）は、スイッチ部９３の入力端子を介して空いているメモリ部９１−ｉに格納される。また、境界面のフィルタ演算が行われた単位画像（ｋ−１，ｆ）および単位画像（ｋ，ｆ−１）は、それぞれ左画像および上画像としてフィルタ演算部９２に与えられているため、スイッチ部９３の左画像端子および上画像端子を介して該単位画像（ｋ−１，ｆ）および単位画像（ｋ，ｆ−１）が格納されていたメモリ部９１−ｉ’および９１−ｉ”（ｉ”は、１≦ｉ”≦ｎとなる任意の数であり、ｉ”≠ｉ’，ｉ）に書き戻される。
【００７１】
また、フィルタ処理された単位画像の出力は以下のようになる。すなわち、フィルタ演算▲３▼または▲４▼において、上画像としてフィルタ演算された単位画像は、これにより全ての境界面についての演算が終了したことになるので、次段の処理時において出力される。つまり、単位画像（ｋ，ｆ）が入力画像として入力された時、単位画像（ｋ−１，ｆ）を左画像として、単位画像（ｋ，ｆ−１）を上画像としてフィルタ演算部９２に与えると同時に、単位画像（ｋ−１，ｆ−１）を出力画像としてフィルタ処理部より出力する。単位画像（ｋ−１，ｆ−１）が出力された後のメモリ部は、これによって空き状態となるので、フィルタ演算が行われた単位画像（ｋ，ｆ）がここに格納される。
【００７２】
以上のように、本実施の形態に係るフィルタ処理部では、入力画像の他に、メモリ部に記憶されている該入力画像の上に隣接する画像と左に隣接する画像とをフィルタ演算部９２に入力し、前記フィルタ演算を行う。その結果として、左画像のフィルタ結果、上画像のフィルタ結果、および入力画像のフィルタ結果が得られるので、これらをスイッチ部９３を通じてメモリ部に入力または書き戻す。メモリ／出力スイッチ部９４は、上記メモリに記憶されている該入力画像の上に隣接する画像と左に隣接する画像とを選択し、フィルタ演算部９２に供給する。また、処理の済んだ単位画像をメモリ部から読み出して出力する。これらのスイッチ選択および、フィルタ演算部９２にて行うべき演算は、フィルタ制御部９５により前述のように制御される。
【００７３】
〔実施の形態４〕
図１０に本実施の形態に係るフィルタ処理部の構成を示す。上記フィルタ処理部は、上画像の演算結果をメモリ部に戻さず、直接出力する構成である。尚、以下の説明では、上記フィルタ処理部の動作を、図４に示すような単位画像をｈ×ｖ画素単位とした場合を例示する。
【００７４】
上記フィルタ処理部は、単位画像毎の入力画像を格納するメモリ部１０１−１ないし１０１−ｎ、フィルタ演算部１０２、フィルタ演算部１０２からメモリ部１０１−１ないし１０１−ｎへの出力を切り替えるスイッチ部１０３、メモリ／出力スイッチ部１０４およびフィルタ制御部１０５を有する。
【００７５】
単位画像（ｋ，ｆ）がフィルタ演算部１０２に入力された時、該単位画像（ｋ，ｆ）の左側および上側の両方または片方に、該単位画像（ｋ，ｆ）に隣接する単位画像があれば、これらの単位画像を、上記実施の形態３と同様に、メモリ／出力スイッチ部１０４を介してフィルタ演算部１０２へ入力する。フィルタ演算部１０２は、上記ｋ，ｆの値に基づいてフィルタ演算▲１▼ないし▲４▼の何れかを行う。
【００７６】
上記フィルタ演算が終了すると、入力画像である単位画像（ｋ，ｆ）は、スイッチ部１０３の入力端子を介して空いているメモリ部１０１−ｉ（ｉは、１≦ｉ≦ｎとなる任意の数）に格納され、左画像としてフィルタ演算部１０２に与えられた単位画像（ｋ−１，ｆ）は、スイッチ部１０３の左画像端子を介して該単位画像（ｋ−１，ｆ）が格納されていたメモリ部１０１−ｉ’（ｉ’は、１≦ｉ’≦ｎとなる任意の数であり、ｉ’≠ｉ）に書き戻される。
【００７７】
また、上画像としてフィルタ演算部１０２に与えられた単位画像（ｋ，ｆ−１）は、当該演算処理によって全ての境界面に対するフィルタ演算が終了するので、メモリ部に書き戻されることなく、そのまま出力画像として出力される。
【００７８】
以上のように、本実施の形態に係るフィルタ処理部では、実施の形態３に比べて、フィルタ演算が並列処理によって行われる場合のステートマシンを考えると明らかなように、入力画像およびメモリ部からの読み出し画像（すなわち、左画像および上画像）によるフィルタ演算を同時に行い、得られた出力に関して、次の状態遷移でこれらをメモリ部に書き込んだり出力する事ができる。これらのスイッチ選択および、フィルタ演算部１０２にて行うべき演算は、フィルタ制御部１０５により前述のように制御される。
【００７９】
また、上記フィルタ処理部では、フィルタ演算部１０２をメモリ部１０１の前段に配置し、最終的なフィルタ処理が終了した単位画像（すなわち、上画像としてフィルタ演算部１０２に入力された単位画像）をメモリ部に入力することなく出力するため、１処理サイクル分の遅延時間が短縮でき、よりリアルタイム処理に適したフィルタ処理部が実現できる。
【００８０】
〔実施の形態５〕
図１１に本実施の形態に係るフィルタ処理部の構成を示す。上記フィルタ処理部は、上画像を取り出したメモリ部に、入力画像のフィルタ演算結果を書き戻すようにした構成である。尚、以下の説明では、上記フィルタ処理部の動作を、図４に示すような単位画像をｈ×ｖ画素単位とした場合を例示する。
【００８１】
上記フィルタ処理部は、単位画像毎の入力画像を格納するメモリ部１１１−１ないし１１１−ｎ、フィルタ演算部１１２、フィルタ演算部１１２からメモリ部１１１−１ないし１１１−ｎへの出力を切り替えるスイッチ部１１３、メモリ／出力スイッチ部１１４およびフィルタ制御部１１５を有する。尚、本実施の形態においては、メモリ部の数ｎは、単位画像の１行の配列数ｐに等しい。
【００８２】
単位画像（ｋ，ｆ）がフィルタ演算部１１２に入力された時、該単位画像（ｋ，ｆ）の左側および上側の両方または片方に、該単位画像（ｋ，ｆ）に隣接する単位画像があれば、これらの単位画像を、上記実施の形態３と同様に、メモリ／出力スイッチ部１１４を介してフィルタ演算部１１２へ入力する。フィルタ演算部１１２は、上記ｋ，ｆの値に基づいてフィルタ演算▲１▼ないし▲４▼の何れかを行う。
【００８３】
上記フィルタ演算が終了すると、入力画像である単位画像（ｋ，ｆ）は、スイッチ部１１３の入力端子を介してメモリ部１１１−ｉ（ｉは、１≦ｉ≦ｎとなる任意の数）に格納される。この時、上記単位画像（ｋ，ｆ）の格納先となるメモリ部１１１−ｉは、上左画像としてフィルタ演算部１１２に与えられた単位画像（ｋ，ｆ−１）が格納されていたメモリ部であるとする。また、左画像としてフィルタ演算部１１２に与えられた単位画像（ｋ−１，ｆ）は、スイッチ部１１３の左画像端子を介して該単位画像（ｋ−１，ｆ）が格納されていたメモリ部１１１−ｉ’（ｉ’は、１≦ｉ’≦ｎとなる任意の数であり、ｉ’≠ｉ）に書き戻される。
【００８４】
また、上画像としてフィルタ演算部１１２に与えられた単位画像（ｋ，ｆ−１）は、当該演算処理によって全ての境界面に対するフィルタ演算が終了するので、メモリ部に書き戻されることなく、そのまま出力画像として出力される。
【００８５】
以上のように、本実施の形態に係るフィルタ処理部では、実施の形態４に比べて、入力画像の上に隣接する上画像を取り出したメモリ部に、該入力画像のフィルタ演算結果を書き戻すように構成したため、必要なメモリ部の数をｐ個にする事ができる。これにより、上記フィルタ処理部において、メモリの量を少なく構成することができ、装置の大きさ、価格の面で有利となる。これらのスイッチ選択および、フィルタ演算部１１２にて行うべき演算は、フィルタ制御部１１５により前述のように制御される。
【００８６】
これまで説明してきた各実施の形態において、フィルタ演算部は、フィルタ制御部によって、フィルタ演算▲１▼から▲４▼を状況によって選択し、実行するように制御されているが、実施の形態４、５の構成では、更に、最後に、“メモリ内の画像をすべて出力する”ために、“何もしない”フィルタ演算を行うものとする。このような、“何もしない”フィルタ演算処理をフィルタ演算部の動作に含むことで、出力に必要であった例外処理が不要となり、よりリアルタイム処理に適したフィルタ処理部を提供できる。
【００８７】
また、動画像等を扱う場合には、１フレームの画像に対するフィルタ処理が終了した後、次の新たな画像入力を受け付けることになる。このような場合、各フレームの最上端の入力画像については、上画像に対して何のフィルタ演算も行わないフィルタ演算▲１▼、▲２▼を行うため、これと同時に上記メモリ内の画像を排出する動作を行う事で、連続して処理を行う事が出来る。この様子を、図１２に示す。
【００８８】
すなわち、１フレーム分の画像Ａについて、単位画像Ａ（１，１）からＡ（８，８）までをフィルタ演算した後、メモリ部には、主に最下端の単位画像が出力されずに残っているため、これらを別途出力する必要がある。
【００８９】
しかしながら、上記画像Ａに続いて画像Ｂの処理が連続して行われる場合、画像Ａの最下端の単位画像を、画像Ｂの最上端の単位画像の入力時に上画像としてフィルタ演算部に与えればよい。画像Ｂの最上端の単位画像Ｂ（１，１）からＢ（８，１）がそれぞれ入力された時のフィルタ演算は、フィルタ演算▲１▼または▲２▼であるので、この時に上画像としてフィルタ演算部に入力される画像Ａの最下端の単位画像については、何も演算せず、同時に出力を行えばよい。
【００９０】
尚、以上の各実施の形態では、画像を行方向に分割して処理する例を述べたが、列方向に分割し処理することもできる。
【００９１】
また、表１に示すように、画像サイズには各種の大きさが有るが、ＣＩＦサイズに対応できる装置は、それより一行の画素数の少ないＱＣＩＦ、ｓｕｂ−ＱＣＩＦに対し、ｐ、ｑを変更することによりフィルタ制御部の対応が可能となる。この対応可否は、メモリ部の数量と画像の縦、または横の画素数との数の関係から定まる。すなわち、本発明に係るフィルタ処理部では、メモリ部のサイズで制限される最大サイズの画像よりも小さい画像であれば、パラメータｐ、ｑの変更によって対応可能であり、画像サイズ毎に装置を用意する必要が無く、一つの装置でフィルタ処理が可能となる。
【００９２】
【発明の効果】
請求項１の発明のフィルタ処理装置は、以上のように、１フレームの画像を複数に分割して得られる単位画像毎に入力画像を記憶する複数の記憶手段と、上記入力画像の記憶先の記憶手段を切り替える切替手段と、入力画像に対してフィルタ演算を行うと共に、該入力画像の左側および上側の少なくとも一方に、該入力画像と隣接する単位画像が存在する場合には、左側に隣接する単位画像を左画像として、上側に隣接する単位画像を上画像として、これらの単位画像を上記記憶手段から入力されることによって、隣接する単位画像同士の境界面に対してもフィルタ演算を行うフィルタ演算手段と、上記切替手段を制御して入力画像の記憶先の記憶手段を指示すると共に、隣接する単位画像の境界面をフィルタ演算手段に指示する制御手段とを有する構成である。
【００９３】
それゆえ、１フレーム単位でフィルタ処理を行う従来のフィルタ処理装置に比べ、記憶手段に容量の小さなメモリを用いることができ、さらに、処理遅延時間を減少させることができるという効果を奏する。
【００９４】
また、入力される単位画像を複数の記憶手段に順次記憶しておくことで、入力画像の左または上に隣接する単位画像が存在する場合には、これらの単位画像を上記記憶手段からフィルタ演算手段に与えることによって、隣接する単位画像同士の境界面に対してもフィルタ演算を行うことができる。これにより、単位画像の形状に対応したブロック形状の画像歪みの発生を防止することができるという効果を奏する。
【００９５】
請求項２の発明のフィルタ処理装置は、以上のように、請求項１の構成に加えて、上記フィルタ演算手段を上記記憶手段の前段に配置し、当該フィルタ処理装置に入力される入力画像は、フィルタ演算手段にてフィルタ演算された後に記憶手段に記憶される構成である。
【００９６】
それゆえ、請求項１の構成による効果に加えて、フィルタ演算手段を記憶手段の前段に配置することにより、記憶手段に入力する１処理サイクル分の遅延時間が短縮でき、よりリアルタイムに好適なものとできる。すなわち、処理完了時間が短い、遅延が少ないフィルタ処理装置を提供できるという効果を奏する。
【００９７】
請求項３の発明のフィルタ処理装置は、以上のように、請求項２の構成に加えて、上記記憶手段の個数が１フレームの画像の１行当たりの分割数と等しく、上記記憶手段に記憶される各単位画像は、当該単位画像の下に隣接する入力画像がフィルタ演算手段に入力された時に、上画像として該フィルタ演算手段に入力されて、フィルタ演算された後に記憶手段に再び書き戻されることなく出力され、この時の入力画像は、上記フィルタ演算の後、上記上画像として用いられた単位画像が記憶されていた記憶手段に記憶される構成である。
【００９８】
それゆえ、請求項２の構成による効果に加えて、記憶手段の個数を１フレームの画像の１行当たりの分割数と等しくでき、これにより、記憶手段の量を少なく構成することができるという効果を奏する。
【００９９】
請求項４の発明の画像符号化装置は、以上のように、上記請求項１ないし３の何れかのフィルタ処理装置を備え、該フィルタ処理装置によってフィルタ処理が施された画像に対して符号化を行う構成である。
【０１００】
請求項５の発明の画像復号化装置は、以上のように、上記請求項１ないし３の何れかのフィルタ処理装置を備え、符号化された画像を復号化した後、該復号化によって得られた画像に対し、上記フィルタ処理装置によってフィルタ処理を施す構成である。
【０１０１】
請求項６の発明のフィルタ処理プログラムを記録した記録媒体は、以上のように、１フレームの画像を複数に分割して得られる単位画像毎の入力画像を、異なる記憶先の記憶手段に記憶させ、上記入力画像に対してフィルタ演算を行う際に、該入力画像の左側および上側の少なくとも一方に、該入力画像と隣接する単位画像が存在する場合には、左側に隣接する単位画像を左画像として、上側に隣接する単位画像を上画像として、上記記憶手段に記憶されている単位画像を使用して、隣接する単位画像同士の境界面に対してもフィルタ演算を行う構成である。
【図面の簡単な説明】
【図１】本発明の一実施形態を示すものであり、フィルタ処理部の構成を示すブロック図である。
【図２】上記フィルタ処理部を備えた画像符号化装置の構成を示すブロック図である。
【図３】上記フィルタ処理部を備えた画像復号化装置の構成を示すブロック図である。
【図４】１フレームの画像を複数の単位画像に分割する例を示す説明図である。
【図５】図１のフィルタ処理部の動作を示すフローチャートである。
【図６】本発明のフィルタ処理部をソフトウェアで実現した場合の構成を示す機能ブロック図である。
【図７】１フレームの画像構造を示す説明図である。
【図８】本発明の他の実施形態を示すものであり、フィルタ処理部の構成を示すブロック図である。
【図９】本発明のさらに他の実施形態を示すものであり、フィルタ処理部の構成を示すブロック図である。
【図１０】本発明のさらに他の実施形態を示すものであり、フィルタ処理部の構成を示すブロック図である。
【図１１】本発明のさらに他の実施形態を示すものであり、フィルタ処理部の構成を示すブロック図である。
【図１２】２フレーム分の画像における入力画像の配列およびフィルタ演算のタイプを示す説明図である。
【図１３】従来のフィルタ処理部の構成を示すブロック図である。
【符号の説明】
１０ 画像符号化装置
２０ 画像復号化装置
１２、２２ フィルタ処理部（フィルタ処理装置）
３１−１〜３１−ｎ
９１−１〜９１−ｎ
１０１−１〜１０１−ｎ
１１１−１〜１１１−ｎメモリ部（記憶手段）
８１ａ、８１ｂ ＧＯＢメモリ部（記憶手段）
３２、８２、９３、１０３、１１３スイッチ部（切替手段）
３３、８３、９２、１０２、１１２フィルタ演算部（フィルタ演算手段）
３４、８４、９５、１０５、１１５フィルタ制御部（制御手段）
【発明の属する技術分野】
本発明は、画像情報の伝送などに用いられる画像符号化装置、および画像復号化装置に関し、特に、フィルタ処理部を搭載した画像符号化装置、および画像復号化装置に関するものである。
【０００２】
【従来の技術】
近年、動画像や音声などを用いて通信を行うＴＶ電話、ＴＶ会議などが普及しつつある。ＴＶ電話、ＴＶ会議などのシステムを実現する際には、伝送路におけるビットレートに制限があるため、動画像を圧縮して通信する技術が非常に重要になる。従来、動画像を符号化、復号化して通信を行う際には、大きな計算処理能力が必要となるため、専用のハードウェアが必要であった。しかし、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ） の計算処理能力の向上などにより、動画像の圧縮や通信をソフトウェアで行うことが可能なコンピュータが普及してきている。これにより、前述のＴＶ電話、ＴＶ会議などのシステムをソフトウェアで実現しようとする試みが行われている。一般に、画像通信などでは動画像の伝送量を減少させるために、画像符号化装置や、画像復号化装置を用いる。
【０００３】
上記画像符号化装置は、画像入力部、フィルタ処理部、画像符号化部を有する。画像入力部で取り込まれた画像は、画像符号化が行われる前に、フィルタ処理部で入力画像の符号化効率を向上させるためにフィルタ処理される。その後、画像符号化部で、ＤＣＴ（離散コサイン変換）、量子化などを用いて不可逆圧縮が行われる。
【０００４】
上記画像復号化装置は、画像復号化部、フィルタ処理部、画像表示部を有する。画像復号化部で復号された画像は、画像情報の不可逆圧縮が施されたことにより劣化しており、フィルタ処理部で視覚的に良好な状態に補正される。その後、画像表示部で表示される。
【０００５】
従来、画像符号化装置または画像復号化装置でフィルタ処理を行う場合には、図１３に示すようなフィルタ処理部２００が用いられる。上記フィルタ処理部２００は、入力画像を１フレーム単位で格納するフレームメモリ部２０１と、１フレーム単位でフィルタ処理を行うフィルタ演算部２０２とを備えている。
【０００６】
画像通信時などに、符号化および復号化される画像において生じる劣化の原因の一つは、８画素×８画素の画像を単位として、これをＤＣＴ、ＩＤＣＴ（逆離散コサイン変換）を用いて不可逆圧縮をすることにある。これによる劣化は画像歪みとして画像全体に及ぶため、フィルタ処理は１フレーム単位で行われる。
【０００７】
特開平５−３０４６２１号公報には、小容量のメモリの装備によって映像信号フィルタリング回路を提供するためのフィルタリング回路が開示されている。すなわち、上記フィルタリング回路は、それまでの映像信号フィルタリング回路では、（ｍ×ｎ）画素から構成される画面の場合には一次元のデジタルフィルタを用いても、この映像信号をフィルタ処理するために｛（２Ｌ＋ｍ）×ｎ｝画素の画面の映像信号をメモリに格納しなければならなかったのを、（ｍ×ｎ）画素のメモリで高精度な二次元のデジタルフィルタを行うことを可能にしている。
【０００８】
【発明が解決しようとする課題】
ところが、上記従来の構成では、入力画像に対し、１フレーム単位でフィルタ処理を行うため、１フレーム分のフィルタ処理を終了しなければ出力画像を出力できず、処理遅延時間を発生させる原因となっていた。
【０００９】
また、フィルタ処理部２００において１フレーム単位でフィルタ処理を行う場合には、入力画像を１フレーム単位でメモリに格納しなければならないので容量の大きなメモリを有する必要がある。
【００１０】
さらに、画像符号化装置および画像復号化装置をソフトウェアで実現する時は、フィルタ演算部２０２ではＣＰＵ内のキャッシュの容量が数キロバイトから１０数キロバイトのため、実施の形態中に記載の表１に示すような画像をフィルタ処理するときに１フレーム分の画像をＣＰＵ内のキャッシュを用いてフィルタ処理することが不可能であった。そのため、ＣＰＵ内のキャッシュを用いることに起因する処理速度の向上を望むことができなかった。
【００１１】
本発明は、上記の問題点を解決するためになされたもので、その目的は、フィルタ処理部における処理遅延時間を短くし、また、上記フィルタ処理部に搭載するメモリを小容量化することができるフィルタ処理装置、画像符号化装置、画像復号化装置、およびフィルタ処理プログラムを記録した記録媒体を提供することにある。
【００１２】
【課題を解決するための手段】
請求項１のフィルタ処理装置は、上記の課題を解決するために、１フレームの画像を複数に分割して得られる単位画像毎に入力画像を記憶する複数の記憶手段と、上記入力画像の記憶先の記憶手段を切り替える切替手段と、入力画像に対してフィルタ演算を行うと共に、該入力画像の左側および上側の少なくとも一方に、該入力画像と隣接する単位画像が存在する場合には、左側に隣接する単位画像を左画像として、上側に隣接する単位画像を上画像として、これらの単位画像を上記記憶手段から入力されることによって、隣接する単位画像同士の境界面に対してもフィルタ演算を行うフィルタ演算手段と、上記切替手段を制御して入力画像の記憶先の記憶手段を指示すると共に、隣接する単位画像の境界面をフィルタ演算手段に指示する制御手段とを有することを特徴としている。
【００１３】
上記の構成によれば、１フレームの画像を複数に分割して得られる単位画像は、切替手段によって複数の記憶手段に順次記憶され、フィルタ演算手段によって単位画像毎にフィルタ演算が行われるので、１フレーム単位でフィルタ処理を行う従来のフィルタ処理装置に比べ、記憶手段に容量の小さなメモリを用いることができ、さらに、処理遅延時間を減少させることができる。
【００１４】
また、入力される単位画像を複数の記憶手段に順次記憶しておくことで、入力画像の左または上に隣接する単位画像が存在する場合には、これらの単位画像を上記記憶手段からフィルタ演算手段に与えることによって、隣接する単位画像同士の境界面に対してもフィルタ演算を行うことができる。これにより、単位画像の形状に対応したブロック形状の画像歪みの発生を防止することができる。
【００１５】
請求項２のフィルタ処理装置は、請求項１の構成に加えて、上記フィルタ演算手段を上記記憶手段の前段に配置し、当該フィルタ処理装置に入力される入力画像は、フィルタ演算手段にてフィルタ演算された後に記憶手段に記憶されることを特徴としている。
【００１６】
上記の構成によれば、フィルタ演算手段を記憶手段の前段に配置することにより、記憶手段に入力する１処理サイクル分の遅延時間が短縮でき、よりリアルタイムに好適なものとできる。すなわち、処理完了時間が短い、遅延が少ないフィルタ処理装置を提供できる。
【００１７】
請求項３のフィルタ処理装置は、請求項２の構成に加えて、上記記憶手段の個数が１フレームの画像の１行当たりの分割数と等しく、上記記憶手段に記憶される各単位画像は、当該単位画像の下に隣接する入力画像がフィルタ演算手段に入力された時に、上画像として該フィルタ演算手段に入力されて、フィルタ演算された後に記憶手段に再び書き戻されることなく出力され、この時の入力画像は、上記フィルタ演算の後、上記上画像として用いられた単位画像が記憶されていた記憶手段に記憶されることを特徴としている。
【００１８】
上記の構成によれば、記憶手段の個数を１フレームの画像の１行当たりの分割数と等しくでき、これにより、記憶手段の量を少なく構成することができる。
【００１９】
請求項４の画像符号化装置は、上記請求項１ないし３の何れかのフィルタ処理装置を備え、該フィルタ処理装置によってフィルタ処理が施された画像に対して符号化を行うことを特徴としている。
【００２０】
請求項５の画像復号化装置は、上記請求項１ないし３の何れかのフィルタ処理装置を備え、符号化された画像を復号化した後、該復号化によって得られた画像に対し、上記フィルタ処理装置によってフィルタ処理を施すことを特徴としている。
【００２１】
請求項６のフィルタ処理プログラムを記録した記録媒体は、１フレームの画像を複数に分割して得られる単位画像毎の入力画像を、異なる記憶先の記憶手段に記憶させ、上記入力画像に対してフィルタ演算を行う際に、該入力画像の左側および上側の少なくとも一方に、該入力画像と隣接する単位画像が存在する場合には、左側に隣接する単位画像を左画像として、上側に隣接する単位画像を上画像として、上記記憶手段に記憶されている単位画像を使用して、隣接する単位画像同士の境界面に対してもフィルタ演算を行うことを特徴としている。
【００２２】
【発明の実施の形態】
〔実施の形態１〕
本実施の形態１に係る画像符号化装置および画像復号化装置の概略構成を図２および図３に示す。
【００２３】
画像符号化装置１０は、画像入力部１１、フィルタ処理部（フィルタ処理装置）１２、画像符号化部１３を有する。画像入力部１１で取り込まれた画像は、画像符号化部１３で符号化が行われる前に、入力画像の符号化効率を向上させるためにフィルタ処理部１２でフィルタ処理がなされる。その後、画像符号化部１３で、ＤＣＴ、量子化などを用いて不可逆圧縮が行われる。
【００２４】
一方、画像復号化装置２０は、画像復号化部２１、フィルタ処理部（フィルタ処理装置）２２、画像表示部２３を有する。画像復号化部２１で復号化された画像情報は、不可逆圧縮が施されたことにより劣化しており、これを視覚的に良好な状態に補正するためにフィルタ処理部２２で補正され、その後、画像表示部２３で表示される。
【００２５】
従来では、上記フィルタ処理部１２または２２で行われるフィルタ処理は、１フレーム単位で行われていたが、ここでは、１フレームを複数の単位画像に分割し、各単位画像毎にフィルタ処理を行う。すなわち、本実施の形態では、画像符号化装置１０および画像復号化装置２０で示される入力画像、出力画像に用いられる単位画像をｈ×ｖ画素（以下、ｈ×ｖ画素単位とする）とする。
【００２６】
ｈ×ｖ画素単位は、図４に示すように、画素数Ｈ×Ｖの画像６０をｈ×ｖ画素の任意の大きさの画像に分割したものであり、図４の（１，１）、（２，１）、…、（ｋ，ｆ）、…、（ｐ，ｑ）で示される各画像は、ｈ×ｖ画素単位に分割された単位画像を示す。すなわち、図４において、Ｈは１フレームの水平方向の画素数、Ｖは１フレームの垂直方向の画素数、ｈは１単位画像の水平方向の画素数、ｖは１単位画像の垂直方向の画素数、ｐは１フレーム内の水平方向の単位画像の数、ｑは１フレーム内の垂直方向の単位画像の数、ｋは水平方向にｋ（１≦ｋ≦ｐ）番目の単位画像、ｆは垂直方向にｆ（１≦ｆ≦ｑ）番目の単位画像を示す。
【００２７】
次に、上記フィルタ処理部１２および２２の構成を図１に示す。上記フィルタ処理部１２および２２は、それぞれ、複数のメモリ部（記憶手段）３１−１ないし３１−ｎ、スイッチ部（切替手段）３２、フィルタ演算部（フィルタ演算手段）３３、およびフィルタ制御部（制御手段）３４を有している。上記各々メモリ部３１−１ないし３１−ｎは、画像入力部１１または画像復号化部２１からの入力画像を単位画像毎に記憶する。上記スイッチ部３２は、フィルタ制御部３４からの指示により入力画像の記憶先のメモリを切り替える。フィルタ演算部３３は、フィルタ制御部３４からの指示により所定のフィルタ演算を行う。但し、上記フィルタ演算部３３は、画像符号化装置１０のフィルタ処理部１２においては、符号化効率向上のための演算を行い、画像復号化装置２０のフィルタ処理部２２では、ＤＣＴ、ＩＤＣＴの結果劣化した復号画像の補正のための演算を行う。
【００２８】
上記フィルタ処理部１２および２２におけるフィルタ処理の手順を、図１、図４および図５を参照して以下に説明する。尚、以下の説明では、単位画像毎にフィルタ処理が行われるが、その順序は、画面左上の単位画像から開始して各行毎（水平方向）にフィルタ処理を行い、１行終了すると下の行に移るものとする。
【００２９】
フィルタ演算部３３では、各単位画像毎にフィルタ処理を行うため、そのままでは隣接する各単位画像の境界において、画素値、特に輝度の画素値に不連続が生じ、これが画面全体ではブロック状の視覚的な歪みとなって現れる。そのため、フィルタ処理部１２および２２では、隣接する単位画像の境界面に対してもフィルタ処理を行い、この領域を平滑化することで、上記歪みを解消し、画像の劣化を補正する。上述のように全ての境界面に対してフィルタ処理を行うために、入力画像が１フレーム内のどの位置に配置されているかによって、４種類のフィルタ演算を行う。これらのフィルタ演算について、図４を用いて説明する。
【００３０】
１）ｋ＝１、ｆ＝１、すなわち画面左上隅の単位画像の場合、該単位画像に隣接する他の単位画像は何れもフィルタ処理が終了していないため、境界面に対するフィルタ処理は行わず、該単位画像内でのみフィルタ演算を行う。以下、これをフィルタ演算▲１▼とする。
【００３１】
２）ｋ≠１、ｆ＝１、すなわち画面上端の単位画像（画面左上隅の単位画像を除く）の場合、該単位画像の左側の単位画像についてはフィルタ処理が終了しているので、該単位画像内のフィルタ演算を行った後、その左側の境界面に対してもフィルタ演算を行う。以下、これをフィルタ演算▲２▼とする。尚、図４において、単位画像（４，１）についてフィルタ処理を行う場合を例とすると、左側の境界面とは斜線部６１で示される領域である。
【００３２】
３）ｋ＝１、ｆ≠１、すなわち画面左端の単位画像（画面左上隅の単位画像を除く）の場合、該単位画像の上側の単位画像についてはフィルタ処理が終了しているので、該単位画像内のフィルタ演算を行った後、その上側の境界面に対してもフィルタ演算を行う。以下、これをフィルタ演算▲３▼とする。尚、図４において、単位画像（１，３）についてフィルタ処理を行う場合を例とすると、上側の境界面とは斜線部６２で示される領域である。
【００３３】
４）ｋ≠１、ｆ≠１、すなわち画面左端および上端の何れでもない単位画像の場合、該単位画像の左側および上側の両方の単位画像についてフィルタ処理が終了しているので、該単位画像内のフィルタ演算を行った後、その左側および上側の境界面に対してもフィルタ演算を行う。以下、これをフィルタ演算▲４▼とする。尚、図４において、単位画像（４，３）についてフィルタ処理を行う場合を例とすると、左側の境界面とは斜線部６３で示される領域であり、上側の境界面とは斜線部６４で示される領域である。
【００３４】
上述のフィルタ演算▲１▼ないし▲４▼の何れを行うかに関しては、フィルタ制御部３４がフィルタ演算部３３に指示する。
【００３５】
続いて、フィルタ処理部１２および２２における具体的動作を、図１および図５を参照して詳細に説明する。
【００３６】
先ず、フィルタ制御部３４は、パラメータｋ、ｆおよびｉをそれぞれ１に設定する（Ｓ１）。ここで、上記パラメータｉは、図１に示すように、メモリ部３１−１ないし３１−ｎのうちのｉ番目のメモリ部を示すものである。また、メモリ部の個数ｎは、
ｎ＝ｐ＋１＝Ｈ／ｈ＋１・・・（１）
となるが、これは以下の理由による。すなわち、隣接する単位画像の境界面についてフィルタ演算を行うには、これら両方の単位画像に関するデータがメモリ部に記憶されている必要がある。本実施の形態では、上下に隣接する単位画像については、上の単位画像に関するデータが入力されてから下の単位画像に関するデータが入力されるまでに１行分の単位画像が入力されるため、これら全ての単位画像を記憶するためにｐ＋１個のメモリ部が必要となる。
【００３７】
スイッチ部３２に入力画像として単位画像（ｋ，ｆ）が入力されると、該単位画像（ｋ，ｆ）は、フィルタ制御部３４がスイッチ部３２を制御することにより、メモリ部３１−ｉ（図５では、メモリ部ｉで示す）に記憶される（Ｓ２）。最初は、上記Ｓ１によりパラメータｋ、ｆおよびｉがそれぞれ１に設定されているため、左上隅の単位画像（１，１）がメモリ部３１−１に記憶される。
【００３８】
次に、Ｓ３ないしＳ５のステップにおいて、フィルタ制御部３４がパラメータｋ、ｆの値より、入力された単位画像（ｋ，ｆ）がフレーム内のどの位置にあるかを判定する。そして、その判定に基づき、Ｓ６ないしＳ９の何れかのステップにおいて、フィルタ演算部３３にフィルタ演算▲１▼ないし▲４▼の何れかのフィルタ処理を行わせる。
【００３９】
上記単位画像（ｋ，ｆ）についてのフィルタ処理が終了すると、Ｓ１０において１フレーム分のフィルタ処理が終了したか否かが判断される。すなわち、このときｋ＝ｐかつｆ＝ｑであれば、１フレーム分のフィルタ処理が終了しているため、メモリ内に記憶されている単位画像のデータを全て出力し（Ｓ１９）、当該フレームに関するフィルタ処理を終了する。
【００４０】
ｋ＝ｐかつｆ＝ｑでなければ、パラメータｉの値を１増加させる（Ｓ１１）。但し、これによってパラメータｉの値がｎを超えた場合には、ｉ＝ｎとする（Ｓ１２、Ｓ１３）。さらに、メモリに空きがあるか否かを確認し、空きがなければメモリ部ｉに記憶されている単位画像（ｋ，ｆ−１）のデータを出力する（Ｓ１４、Ｓ１５）。
【００４１】
次に、今回フィルタ処理された単位画像が、行端の単位画像であるか否が判断される（Ｓ１６）。すなわち、ｋ＝ｐであれば、次の行に移るために、パラメータｋの値を１に設定し、さらにパラメータｆの値を１増加させる（Ｓ１７）。また、ｋ＝ｐでなければ、上記単位画像は行端でないので、パラメータｋの値のみを１増加させる（Ｓ１８）。Ｓ１７、Ｓ１８の後はＳ２へ移行し、次の入力画像に対して同様の処理を行う。
【００４２】
上記フィルタ処理部１２および２２は、これをソフトウェアで実現することも可能である。上記フィルタ処理部１２および２２をソフトウェアで実現する場合の構成を図６に示す。
【００４３】
４１は、フィルタ処理部をソフトウェアで実現する場合のプログラムを記憶するプログラム記憶部であり、ＲＯＭ、ＣＤ−ＲＯＭ、フロッピーディスク（ＦＤ）、ＩＣカードなどの着脱自在の記録媒体として構成される。４２は、プログラム記憶部４１に記憶されたプログラムを実行するプログラム制御部である。
【００４４】
４３は、図４に示される単位画像の配置を表すパラメータｋ、ｆを格納するメモリであり、４４は、上記メモリ４３に格納されるパラメータｋ、ｆを制御するｋ、ｆ値制御回路である。４５ないし４７は、図４に示される単位画像の横方向の数ｐ、縦方向の数ｑ、およびフィルタ処理部用メモリ４９のメモリ数ｎをそれぞれ格納するメモリである。４８は、上記メモリ４５ないし４７に格納されるｐ、ｑ、ｎの値を制御するｐ、ｑ、ｎ値制御回路である。４９は、入力画像を単位画像毎に順次格納するフィルタ処理部用メモリ４９−１ないし４９−ｎであり、図１のメモリ部３１−１ないし３１−ｎに対応する。５０は、上記フィルタ処理部用メモリ４９内で、次にフィルタ処理すべきメモリの番号を表すパラメータｉを格納するメモリである。５１は、上記パラメータｉを制御するｉ値制御回路である。
【００４５】
５２は、入力された単位画像が１フレーム中のどの部分に当たるかを判定する配置判定である。５３は、上記配置判定５２の判定結果に従ってフィルタ演算を行うフィルタ演算回路である。５４は、１フレームの処理が終了したかどうかを判定するフレーム処理終了判定である。５５は、フィルタ処理部用メモリ４９−１から４９−ｎの中で空いているメモリがあるかを判定するものである。５６は、フィルタ演算回路５３で演算をした出力画像を出力する出力処理である。
【００４６】
上記構成のプログラムの動作を図５のフローチャートと対比させて説明する。
最初、ｈ×ｖ画素単位の入力画像（１，１）をフィルタ処理部用メモリ４９−１に格納する。ｋ、ｆ値制御回路４４は、ｋ＝１、ｆ＝１と判断し、これをｋ、ｆの値を格納するメモリ４３に格納する。上記ｋ、ｆの値に基づいてｈ×ｖ画素単位の配置判定５２を行うことによって、フィルタ演算回路５３がフィルタ演算▲１▼を行う。
【００４７】
次に、さらに入力画像が存在するかどうかを判定するために、ｋ、ｆの値を格納するメモリ４３、ｐ＝Ｈ／ｈの値を格納するメモリ４５、ｑ＝Ｖ／ｖの値を格納するメモリ４６を用いてフレーム処理終了判定５４を行う。さらに入力画像が存在する場合は、フィルタ処理部用メモリ４９−１から４９−ｎのどのメモリに次の入力画像を格納するかをｉ値制御回路５１を用いて求め、ｉの値を格納するメモリ５０に格納し、これを用いてフィルタ処理部用メモリ４９に指示する。また、メモリに空きがあるかの判定５５を行い、画像を出力するかどうかを出力処理５６に指示する。すなわち、判定５５によって、全てのフィルタ処理部用メモリ４９に入力画像が格納されていると判断された場合には、フィルタ処理部用メモリ４９−ｉに格納されている単位画像（ｋ、ｆ−１）のデータを出力する。
【００４８】
この後、次のｈ×ｖ画素単位の画像を入力し、この入力画像に対してｈ×ｖ画素単位の配置判定５２を行い、この判定結果に基づいて、フィルタ演算回路５３でフィルタ演算▲２▼、▲３▼、▲４▼の何れかの演算を行う。これを入力画像がｋ＝ｐ、ｆ＝ｑになるまで繰り返し、ｋ＝ｐ、ｆ＝ｑのときメモリ内の全てのｈ×ｖ画素単位の画像を出力し、１フレームのフィルタ処理を終了する。
【００４９】
〔実施の形態２〕
上記実施の形態１では、入力画像の単位をｈ×ｖ画素単位で扱ったが、本実施の形態では、具体的な単位画像としてＧＯＢ（Ｇｒｏｕｐ ｏｆ Ｂｌｏｃｋｓ） 単位を使用する場合を例示する。ここで、１フレームの画像の構造とＧＯＢとについて図７を参照して説明する。画像フォーマットとしてＩＴＵ−Ｔ勧告Ｈ２６３のＳＱＣＩＦ（ｓｕｂ−ＱＣＩＦ）を使用する場合、１フレームの画像７０は、ＧＯＢ７１、マクロブロック７２、ブロック７３の順に階層的な構造を持つ。また、ＩＴＵ−Ｔ勧告Ｈ２６３のＳＱＣＩＦでは、表１に示すように、１フレームの画像の大きさは１２８画素×９６画素（横×縦）である。１フレームの画像７０は、１個×６個（横×縦）＝６個のＧＯＢ７１−１ないし７１−６を有しており、１つのＧＯＢ７１は１２８画素×１６画素の大きさを持つ。尚、表１には、他の画像フォーマットにおける構成をも併せて示す。
【００５０】
【表１】
本実施の形態に係るフィルタ処理部は、図８に示すように、ＧＯＢ単位の入力画像を格納するメモリ部８１ａ、８１ｂ、スイッチ部８２、フィルタ演算部８３およびフィルタ制御部８４を有する。ここで、画像フォーマットとしてＩＴＵ−Ｔ勧告Ｈ２６３のＳＱＣＩＦを使用して、単位画像をＧＯＢとした場合は、実施の形態１においてｈ＝１２８、ｖ＝１６とした場合と考えられる。したがって、１フレーム内のすべてのＧＯＢの境界に対してフィルタ処理を行うために必要なＧＯＢメモリ部の数ｎ’は、実施の形態１と同様に式（１）を用いて、
ｎ’＝ｐ＋１＝Ｈ／ｈ十１＝１＋１＝２個
となる。
【００５２】
ＧＯＢメモリ部８１ａ、８１ｂは、スイッチ部８２を介して、ＧＯＢ単位の入力画像を交互に受信する。
【００５３】
フィルタ演算部８３は、ＧＯＢメモリ部８１ａ、８１ｂに格納された入力画像に対し、符号化効率の向上、または劣化した復号画像の補正のための演算を行う。この時、１フレーム内のＧＯＢの配置は、図７に示すように、列方向のみの配置であるので、ＧＯＢ７１−１については、ｋ＝１、ｆ＝１であることからフィルタ演算▲１▼を行う。また、ＧＯＢ７１−２ないし７１−６については、ｋ＝１、ｆ≠１であることからフィルタ演算▲３▼を行う。フィルタ演算部８３が、フィルタ演算▲１▼または▲３▼のどちらを行うかは、フィルタ制御部８４の指示による。
【００５４】
上記入力画像がＧＯＢ単位の場合に、フィルタ処理部１２または２２の処理を図７、図８を用いて説明する。
【００５５】
最初に、ＧＯＢ単位の入力画像ＧＯＢ７１−１をＧＯＢメモリ部８１ａに格納する。フィルタ制御部８４はｋ＝１、ｆ＝１と判断し、これをフィルタ演算部８３に指示することによりフィルタ演算▲１▼を行う。次に、ＧＯＢメモリ部８１ｂに空きがあり、ｋ＝ｐ＝１であるので、ＧＯＢ７１−２をＧＯＢメモリ部８１ｂに格納する。この時、フィルタ制御部８４は、ｋ＝１、ｆ≠１と判断し、フィルタ演算▲３▼を行う。
【００５６】
次に入力されるＧＯＢ７１−３については、ＧＯＢメモリ部８１ａにＧＯＢ７１−１が存在するためメモリに空きがない。このため、先ず、ＧＯＢ７１−１をＧＯＢメモリ部８１ａから出力し、ＧＯＢ７１−３をＧＯＢメモリ部８１ａに入力する。ＧＯＢ７１−２を入力した場合と同様に、ＧＯＢ７１−３に対してもフィルタ演算▲３▼を行い、次いで、ＧＯＢ７１−１を出力した場合と同様に、ＧＯＢ７１−２をＧＯＢメモリ部８１ｂから出力する。これをＧＯＢ７１−６まで繰り返すと、ｋ＝ｐ＝１かつｆ＝ｑ＝６となるため、メモリ内の画像ＧＯＢ７１−５、ＧＯＢ７１−６を出力し、１フレームのフィルタ処理を終了する。
【００５７】
また、本実施の形態においても、フィルタ処理部１２または２２をソフトウェアで構成することは可能である。フィルタ処理部１２または２２をソフトウェアで構成する場合を図６を用いて説明する。但し、本実施の形態では、フィルタ処理部用メモリ４９は、図８のＧＯＢメモリ部８１ａないし８１ｂに対応して、フィルタ処理部用メモリ４９−１ないし４９−２の２つだけであるとする。
【００５８】
まず、入力画像ＧＯＢ７１−１をフィルタ処理部用メモリ４９−１に格納する。ｋ、ｆ値制御回路４４は、ｋ＝１、ｆ＝１と判断して、上記ｋ、ｆの値をメモリ４３に格納する。上記ｋ、ｆの値に基づいてＧＯＢ７１−１の配置判定５２を行うことによってフィルタ演算回路５３でフィルタ演算▲１▼を行う。
【００５９】
次いでＧＯＢ７１−２が入力されると、判定５５によってフィルタ処理部用メモリ４９−２に空きがあると判定され、ＧＯＢ７１−２をフィルタ処理部用メモリ４９−２に格納する。この時、配置判定５２によってｋ＝１、ｆ≠１と判断し、フィルタ演算回路５３でフィルタ演算▲３▼を行う。
【００６０】
ＧＯＢ７１−２のフィルタ演算が終了すると、判定５５によってメモリに空きがないことが判定され、さらに、フレーム処理終了判定５４によってさらに入力画像が存在することが判定されるので、ＧＯＢ７１−１をフィルタ処理部用メモリ４９−１から出力処理５６で出力した後、ＧＯＢ７１−３を入力する。ＧＯＢ７１−３に対してもＧＯＢ７１−２を入力した場合と同様にフィルタ演算▲３▼を行い、ＧＯＢ７１−１を出力した場合と同様にＧＯＢ７１−２をフィルタ処理部用メモリ４９−２から出力する。これをＧＯＢ７１−６まで繰り返す。これにより、ｋ＝ｐ＝１かつｆ＝ｑ＝６となるため、フレーム処理終了判定５４はフレームが終了したと判定し、メモリ内の画像ＧＯＢ７１−５、ＧＯＢ７１−６を出力処理５６で出力し、１フレームのフィルタ処理を終了する。
【００６１】
以上のように、実施の形態１および２で説明したフィルタ処理部は、１フレームの画像を複数に分割して得られる単位画像をスイッチ部の切替によって複数のメモリ部に順次記憶し、フィルタ演算部によって単位画像毎にフィルタ演算を行うので、１フレーム単位でフィルタ処理を行う従来のフィルタ処理装置に比べ、メモリ部に容量の小さなメモリを用いることができ、処理遅延時間を減少させることができる。
【００６２】
また、入力される単位画像を複数のメモリ部に順次記憶しておくことで、入力画像の左または上に隣接する単位画像が存在する場合には、これらの単位画像を上記メモリ部からフィルタ演算部に与えることによって、隣接する単位画像同士の境界面に対してもフィルタ演算を行うことができる。これにより、単位画像の形状に対応したブロック形状の画像歪みの発生を防止することができる。
【００６３】
さらに、上記フィルタ処理部をソフトウェアで実現する場合、ＣＰＵを用いて実行する時に、メモリの小容量化によりをＣＰＵ内のキャッシュを用いて高速にフィルタ処理を行うことができる。
【００６４】
続いて、本発明の変形例を以下の実施の形態において説明する。
【００６５】
〔実施の形態３〕
図９に本実施の形態に係るフィルタ処理部の構成を示す。上記フィルタ処理部は、フィルタ演算を入力から直接行うように構成され、実施の形態１のフィルタ処理部と比べて、リアルタイム演算に重点を置いた構成例となる。尚、以下の説明では、上記フィルタ処理部の動作を、図４に示すような単位画像をｈ×ｖ画素単位とした場合を例示する。
【００６６】
上記フィルタ処理部は、単位画像毎の入力画像を格納するメモリ部９１−１ないし９１−ｎ、フィルタ演算部９２、フィルタ演算部９２からメモリ部９１−１ないし９１−ｎへの出力を切り替えるスイッチ部９３、メモリ／出力スイッチ部９４およびフィルタ制御部９５を有する。
【００６７】
最初に、単位画像（１，１）が入力画像としてフィルタ演算部９２に入力され、フィルタ演算▲１▼が行われる。フィルタ演算が行われた単位画像（１，１）は、スイッチ部９３を介してメモリ部９１−１に格納される。このとき、入力画像としてフィルタ演算部９２に与えられた単位画像（１，１）は、スイッチ部９３の入力端子を介してメモリ部９１−１に送出される。
【００６８】
次に、単位画像（２，１）が入力画像としてフィルタ演算部９２に入力されると、該単位画像（２，１）に対してはフィルタ演算▲２▼が行われる。ここで、フィルタ演算▲２▼では、左側に隣接する単位画像との境界面に対してもフィルタ演算をする必要があるため、単位画像（１，１）が左画像としてメモリ／出力スイッチ部９４を介してフィルタ演算部９２に入力される。フィルタ演算が行われた単位画像（２，１）は、スイッチ部９３の入力端子を介してメモリ部９１−２に格納される。また、境界面のフィルタ演算が行われた単位画像（１，１）は、左画像としてフィルタ演算部９２に与えられているため、スイッチ部９３の左画像端子を介してメモリ部９１−１に書き戻される。尚、単位画像（１，１）を除く上端の単位画像に対しては、これと同様の処理が行われる。
【００６９】
単位画像（１，１）を除く左端の単位画像（１，ｆ）に対しては、フィルタ演算▲３▼が行われる。ここで、フィルタ演算▲３▼では、上側に隣接する単位画像との境界面に対してもフィルタ演算をする必要があるため、単位画像（１，ｆ−１）が上画像としてメモリ／出力スイッチ部９４を介してフィルタ演算部９２に入力される。フィルタ演算が行われた単位画像（１，ｆ）は、スイッチ部９３の入力端子を介して空いているメモリ部９１−ｉ（ｉは、１≦ｉ≦ｎとなる任意の数）に格納される。また、境界面のフィルタ演算が行われた単位画像（１，ｆ−１）は、上画像としてフィルタ演算部９２に与えられているため、スイッチ部９３の上画像端子を介して該単位画像（１，ｆ−１）が格納されていたメモリ部９１−ｉ’（ｉ’は、１≦ｉ’≦ｎとなる任意の数であり、ｉ’≠ｉ）に書き戻される。
【００７０】
上端および左端の何れでもないｋ≠１、ｆ≠１の場合の単位画像（ｋ，ｆ）については、フィルタ演算▲４▼が行われる。ここで、フィルタ演算▲４▼では、左側に隣接する単位画像と上側に隣接する単位画像との境界面に対してもフィルタ演算をする必要があるため、単位画像（ｋ−１，ｆ）が左画像として、単位画像（ｋ，ｆ−１）が上画像としてメモリ／出力スイッチ部９４を介してフィルタ演算部９２に入力される。フィルタ演算が行われた単位画像（ｋ，ｆ）は、スイッチ部９３の入力端子を介して空いているメモリ部９１−ｉに格納される。また、境界面のフィルタ演算が行われた単位画像（ｋ−１，ｆ）および単位画像（ｋ，ｆ−１）は、それぞれ左画像および上画像としてフィルタ演算部９２に与えられているため、スイッチ部９３の左画像端子および上画像端子を介して該単位画像（ｋ−１，ｆ）および単位画像（ｋ，ｆ−１）が格納されていたメモリ部９１−ｉ’および９１−ｉ”（ｉ”は、１≦ｉ”≦ｎとなる任意の数であり、ｉ”≠ｉ’，ｉ）に書き戻される。
【００７１】
また、フィルタ処理された単位画像の出力は以下のようになる。すなわち、フィルタ演算▲３▼または▲４▼において、上画像としてフィルタ演算された単位画像は、これにより全ての境界面についての演算が終了したことになるので、次段の処理時において出力される。つまり、単位画像（ｋ，ｆ）が入力画像として入力された時、単位画像（ｋ−１，ｆ）を左画像として、単位画像（ｋ，ｆ−１）を上画像としてフィルタ演算部９２に与えると同時に、単位画像（ｋ−１，ｆ−１）を出力画像としてフィルタ処理部より出力する。単位画像（ｋ−１，ｆ−１）が出力された後のメモリ部は、これによって空き状態となるので、フィルタ演算が行われた単位画像（ｋ，ｆ）がここに格納される。
【００７２】
以上のように、本実施の形態に係るフィルタ処理部では、入力画像の他に、メモリ部に記憶されている該入力画像の上に隣接する画像と左に隣接する画像とをフィルタ演算部９２に入力し、前記フィルタ演算を行う。その結果として、左画像のフィルタ結果、上画像のフィルタ結果、および入力画像のフィルタ結果が得られるので、これらをスイッチ部９３を通じてメモリ部に入力または書き戻す。メモリ／出力スイッチ部９４は、上記メモリに記憶されている該入力画像の上に隣接する画像と左に隣接する画像とを選択し、フィルタ演算部９２に供給する。また、処理の済んだ単位画像をメモリ部から読み出して出力する。これらのスイッチ選択および、フィルタ演算部９２にて行うべき演算は、フィルタ制御部９５により前述のように制御される。
【００７３】
〔実施の形態４〕
図１０に本実施の形態に係るフィルタ処理部の構成を示す。上記フィルタ処理部は、上画像の演算結果をメモリ部に戻さず、直接出力する構成である。尚、以下の説明では、上記フィルタ処理部の動作を、図４に示すような単位画像をｈ×ｖ画素単位とした場合を例示する。
【００７４】
上記フィルタ処理部は、単位画像毎の入力画像を格納するメモリ部１０１−１ないし１０１−ｎ、フィルタ演算部１０２、フィルタ演算部１０２からメモリ部１０１−１ないし１０１−ｎへの出力を切り替えるスイッチ部１０３、メモリ／出力スイッチ部１０４およびフィルタ制御部１０５を有する。
【００７５】
単位画像（ｋ，ｆ）がフィルタ演算部１０２に入力された時、該単位画像（ｋ，ｆ）の左側および上側の両方または片方に、該単位画像（ｋ，ｆ）に隣接する単位画像があれば、これらの単位画像を、上記実施の形態３と同様に、メモリ／出力スイッチ部１０４を介してフィルタ演算部１０２へ入力する。フィルタ演算部１０２は、上記ｋ，ｆの値に基づいてフィルタ演算▲１▼ないし▲４▼の何れかを行う。
【００７６】
上記フィルタ演算が終了すると、入力画像である単位画像（ｋ，ｆ）は、スイッチ部１０３の入力端子を介して空いているメモリ部１０１−ｉ（ｉは、１≦ｉ≦ｎとなる任意の数）に格納され、左画像としてフィルタ演算部１０２に与えられた単位画像（ｋ−１，ｆ）は、スイッチ部１０３の左画像端子を介して該単位画像（ｋ−１，ｆ）が格納されていたメモリ部１０１−ｉ’（ｉ’は、１≦ｉ’≦ｎとなる任意の数であり、ｉ’≠ｉ）に書き戻される。
【００７７】
また、上画像としてフィルタ演算部１０２に与えられた単位画像（ｋ，ｆ−１）は、当該演算処理によって全ての境界面に対するフィルタ演算が終了するので、メモリ部に書き戻されることなく、そのまま出力画像として出力される。
【００７８】
以上のように、本実施の形態に係るフィルタ処理部では、実施の形態３に比べて、フィルタ演算が並列処理によって行われる場合のステートマシンを考えると明らかなように、入力画像およびメモリ部からの読み出し画像（すなわち、左画像および上画像）によるフィルタ演算を同時に行い、得られた出力に関して、次の状態遷移でこれらをメモリ部に書き込んだり出力する事ができる。これらのスイッチ選択および、フィルタ演算部１０２にて行うべき演算は、フィルタ制御部１０５により前述のように制御される。
【００７９】
また、上記フィルタ処理部では、フィルタ演算部１０２をメモリ部１０１の前段に配置し、最終的なフィルタ処理が終了した単位画像（すなわち、上画像としてフィルタ演算部１０２に入力された単位画像）をメモリ部に入力することなく出力するため、１処理サイクル分の遅延時間が短縮でき、よりリアルタイム処理に適したフィルタ処理部が実現できる。
【００８０】
〔実施の形態５〕
図１１に本実施の形態に係るフィルタ処理部の構成を示す。上記フィルタ処理部は、上画像を取り出したメモリ部に、入力画像のフィルタ演算結果を書き戻すようにした構成である。尚、以下の説明では、上記フィルタ処理部の動作を、図４に示すような単位画像をｈ×ｖ画素単位とした場合を例示する。
【００８１】
上記フィルタ処理部は、単位画像毎の入力画像を格納するメモリ部１１１−１ないし１１１−ｎ、フィルタ演算部１１２、フィルタ演算部１１２からメモリ部１１１−１ないし１１１−ｎへの出力を切り替えるスイッチ部１１３、メモリ／出力スイッチ部１１４およびフィルタ制御部１１５を有する。尚、本実施の形態においては、メモリ部の数ｎは、単位画像の１行の配列数ｐに等しい。
【００８２】
単位画像（ｋ，ｆ）がフィルタ演算部１１２に入力された時、該単位画像（ｋ，ｆ）の左側および上側の両方または片方に、該単位画像（ｋ，ｆ）に隣接する単位画像があれば、これらの単位画像を、上記実施の形態３と同様に、メモリ／出力スイッチ部１１４を介してフィルタ演算部１１２へ入力する。フィルタ演算部１１２は、上記ｋ，ｆの値に基づいてフィルタ演算▲１▼ないし▲４▼の何れかを行う。
【００８３】
上記フィルタ演算が終了すると、入力画像である単位画像（ｋ，ｆ）は、スイッチ部１１３の入力端子を介してメモリ部１１１−ｉ（ｉは、１≦ｉ≦ｎとなる任意の数）に格納される。この時、上記単位画像（ｋ，ｆ）の格納先となるメモリ部１１１−ｉは、上左画像としてフィルタ演算部１１２に与えられた単位画像（ｋ，ｆ−１）が格納されていたメモリ部であるとする。また、左画像としてフィルタ演算部１１２に与えられた単位画像（ｋ−１，ｆ）は、スイッチ部１１３の左画像端子を介して該単位画像（ｋ−１，ｆ）が格納されていたメモリ部１１１−ｉ’（ｉ’は、１≦ｉ’≦ｎとなる任意の数であり、ｉ’≠ｉ）に書き戻される。
【００８４】
また、上画像としてフィルタ演算部１１２に与えられた単位画像（ｋ，ｆ−１）は、当該演算処理によって全ての境界面に対するフィルタ演算が終了するので、メモリ部に書き戻されることなく、そのまま出力画像として出力される。
【００８５】
以上のように、本実施の形態に係るフィルタ処理部では、実施の形態４に比べて、入力画像の上に隣接する上画像を取り出したメモリ部に、該入力画像のフィルタ演算結果を書き戻すように構成したため、必要なメモリ部の数をｐ個にする事ができる。これにより、上記フィルタ処理部において、メモリの量を少なく構成することができ、装置の大きさ、価格の面で有利となる。これらのスイッチ選択および、フィルタ演算部１１２にて行うべき演算は、フィルタ制御部１１５により前述のように制御される。
【００８６】
これまで説明してきた各実施の形態において、フィルタ演算部は、フィルタ制御部によって、フィルタ演算▲１▼から▲４▼を状況によって選択し、実行するように制御されているが、実施の形態４、５の構成では、更に、最後に、“メモリ内の画像をすべて出力する”ために、“何もしない”フィルタ演算を行うものとする。このような、“何もしない”フィルタ演算処理をフィルタ演算部の動作に含むことで、出力に必要であった例外処理が不要となり、よりリアルタイム処理に適したフィルタ処理部を提供できる。
【００８７】
また、動画像等を扱う場合には、１フレームの画像に対するフィルタ処理が終了した後、次の新たな画像入力を受け付けることになる。このような場合、各フレームの最上端の入力画像については、上画像に対して何のフィルタ演算も行わないフィルタ演算▲１▼、▲２▼を行うため、これと同時に上記メモリ内の画像を排出する動作を行う事で、連続して処理を行う事が出来る。この様子を、図１２に示す。
【００８８】
すなわち、１フレーム分の画像Ａについて、単位画像Ａ（１，１）からＡ（８，８）までをフィルタ演算した後、メモリ部には、主に最下端の単位画像が出力されずに残っているため、これらを別途出力する必要がある。
【００８９】
しかしながら、上記画像Ａに続いて画像Ｂの処理が連続して行われる場合、画像Ａの最下端の単位画像を、画像Ｂの最上端の単位画像の入力時に上画像としてフィルタ演算部に与えればよい。画像Ｂの最上端の単位画像Ｂ（１，１）からＢ（８，１）がそれぞれ入力された時のフィルタ演算は、フィルタ演算▲１▼または▲２▼であるので、この時に上画像としてフィルタ演算部に入力される画像Ａの最下端の単位画像については、何も演算せず、同時に出力を行えばよい。
【００９０】
尚、以上の各実施の形態では、画像を行方向に分割して処理する例を述べたが、列方向に分割し処理することもできる。
【００９１】
また、表１に示すように、画像サイズには各種の大きさが有るが、ＣＩＦサイズに対応できる装置は、それより一行の画素数の少ないＱＣＩＦ、ｓｕｂ−ＱＣＩＦに対し、ｐ、ｑを変更することによりフィルタ制御部の対応が可能となる。この対応可否は、メモリ部の数量と画像の縦、または横の画素数との数の関係から定まる。すなわち、本発明に係るフィルタ処理部では、メモリ部のサイズで制限される最大サイズの画像よりも小さい画像であれば、パラメータｐ、ｑの変更によって対応可能であり、画像サイズ毎に装置を用意する必要が無く、一つの装置でフィルタ処理が可能となる。
【００９２】
【発明の効果】
請求項１の発明のフィルタ処理装置は、以上のように、１フレームの画像を複数に分割して得られる単位画像毎に入力画像を記憶する複数の記憶手段と、上記入力画像の記憶先の記憶手段を切り替える切替手段と、入力画像に対してフィルタ演算を行うと共に、該入力画像の左側および上側の少なくとも一方に、該入力画像と隣接する単位画像が存在する場合には、左側に隣接する単位画像を左画像として、上側に隣接する単位画像を上画像として、これらの単位画像を上記記憶手段から入力されることによって、隣接する単位画像同士の境界面に対してもフィルタ演算を行うフィルタ演算手段と、上記切替手段を制御して入力画像の記憶先の記憶手段を指示すると共に、隣接する単位画像の境界面をフィルタ演算手段に指示する制御手段とを有する構成である。
【００９３】
それゆえ、１フレーム単位でフィルタ処理を行う従来のフィルタ処理装置に比べ、記憶手段に容量の小さなメモリを用いることができ、さらに、処理遅延時間を減少させることができるという効果を奏する。
【００９４】
また、入力される単位画像を複数の記憶手段に順次記憶しておくことで、入力画像の左または上に隣接する単位画像が存在する場合には、これらの単位画像を上記記憶手段からフィルタ演算手段に与えることによって、隣接する単位画像同士の境界面に対してもフィルタ演算を行うことができる。これにより、単位画像の形状に対応したブロック形状の画像歪みの発生を防止することができるという効果を奏する。
【００９５】
請求項２の発明のフィルタ処理装置は、以上のように、請求項１の構成に加えて、上記フィルタ演算手段を上記記憶手段の前段に配置し、当該フィルタ処理装置に入力される入力画像は、フィルタ演算手段にてフィルタ演算された後に記憶手段に記憶される構成である。
【００９６】
それゆえ、請求項１の構成による効果に加えて、フィルタ演算手段を記憶手段の前段に配置することにより、記憶手段に入力する１処理サイクル分の遅延時間が短縮でき、よりリアルタイムに好適なものとできる。すなわち、処理完了時間が短い、遅延が少ないフィルタ処理装置を提供できるという効果を奏する。
【００９７】
請求項３の発明のフィルタ処理装置は、以上のように、請求項２の構成に加えて、上記記憶手段の個数が１フレームの画像の１行当たりの分割数と等しく、上記記憶手段に記憶される各単位画像は、当該単位画像の下に隣接する入力画像がフィルタ演算手段に入力された時に、上画像として該フィルタ演算手段に入力されて、フィルタ演算された後に記憶手段に再び書き戻されることなく出力され、この時の入力画像は、上記フィルタ演算の後、上記上画像として用いられた単位画像が記憶されていた記憶手段に記憶される構成である。
【００９８】
それゆえ、請求項２の構成による効果に加えて、記憶手段の個数を１フレームの画像の１行当たりの分割数と等しくでき、これにより、記憶手段の量を少なく構成することができるという効果を奏する。
【００９９】
請求項４の発明の画像符号化装置は、以上のように、上記請求項１ないし３の何れかのフィルタ処理装置を備え、該フィルタ処理装置によってフィルタ処理が施された画像に対して符号化を行う構成である。
【０１００】
請求項５の発明の画像復号化装置は、以上のように、上記請求項１ないし３の何れかのフィルタ処理装置を備え、符号化された画像を復号化した後、該復号化によって得られた画像に対し、上記フィルタ処理装置によってフィルタ処理を施す構成である。
【０１０１】
請求項６の発明のフィルタ処理プログラムを記録した記録媒体は、以上のように、１フレームの画像を複数に分割して得られる単位画像毎の入力画像を、異なる記憶先の記憶手段に記憶させ、上記入力画像に対してフィルタ演算を行う際に、該入力画像の左側および上側の少なくとも一方に、該入力画像と隣接する単位画像が存在する場合には、左側に隣接する単位画像を左画像として、上側に隣接する単位画像を上画像として、上記記憶手段に記憶されている単位画像を使用して、隣接する単位画像同士の境界面に対してもフィルタ演算を行う構成である。
【図面の簡単な説明】
【図１】本発明の一実施形態を示すものであり、フィルタ処理部の構成を示すブロック図である。
【図２】上記フィルタ処理部を備えた画像符号化装置の構成を示すブロック図である。
【図３】上記フィルタ処理部を備えた画像復号化装置の構成を示すブロック図である。
【図４】１フレームの画像を複数の単位画像に分割する例を示す説明図である。
【図５】図１のフィルタ処理部の動作を示すフローチャートである。
【図６】本発明のフィルタ処理部をソフトウェアで実現した場合の構成を示す機能ブロック図である。
【図７】１フレームの画像構造を示す説明図である。
【図８】本発明の他の実施形態を示すものであり、フィルタ処理部の構成を示すブロック図である。
【図９】本発明のさらに他の実施形態を示すものであり、フィルタ処理部の構成を示すブロック図である。
【図１０】本発明のさらに他の実施形態を示すものであり、フィルタ処理部の構成を示すブロック図である。
【図１１】本発明のさらに他の実施形態を示すものであり、フィルタ処理部の構成を示すブロック図である。
【図１２】２フレーム分の画像における入力画像の配列およびフィルタ演算のタイプを示す説明図である。
【図１３】従来のフィルタ処理部の構成を示すブロック図である。
【符号の説明】
１０ 画像符号化装置
２０ 画像復号化装置
１２、２２ フィルタ処理部（フィルタ処理装置）
３１−１〜３１−ｎ
９１−１〜９１−ｎ
１０１−１〜１０１−ｎ
１１１−１〜１１１−ｎメモリ部（記憶手段）
８１ａ、８１ｂ ＧＯＢメモリ部（記憶手段）
３２、８２、９３、１０３、１１３スイッチ部（切替手段）
３３、８３、９２、１０２、１１２フィルタ演算部（フィルタ演算手段）
３４、８４、９５、１０５、１１５フィルタ制御部（制御手段）
Claims (7)
- １フレームの画像を複数に分割して得られる単位画像毎に入力画像を記憶すると共に、隣接する単位画像に対してのフィルタ演算が行われるまで、単位画像データを格納し続ける複数の記憶手段と、
上記入力画像の記憶先の記憶手段を切り替える切換手段と、
入力画像に対して単位画像毎にフィルタ演算を行うと共に、該入力画像の単位画像のフィルタ演算を行う際に、該単位画像内のフィルタ演算を行った後に、該単位画像の左側および上側の少なくとも一方に、該単位画像と隣接する単位画像が存在する場合には、左側に隣接する単位画像を左画像として、上側に隣接する単位画像を上画像として、左画像及び上画像を上記記憶手段から入力されることによって、該単位画像と隣接する単位画像との境界面に対してもフィルタ演算を行うフィルタ演算手段と、
上記切換手段を制御して入力画像の記憶先の記憶手段を指示すると共に、隣接する単位画像の境界面をフィルタ演算手段に指示する制御手段とを有することを特徴とするフィルタ処理装置。 - 上記フィルタ演算手段を上記記憶手段の前段に配置し、当該フィルタ処理装置に入力される入力画像は、フィルタ演算手段にてフィルタ演算された後に記憶手段に記憶されることを特徴とする請求項１に記載のフィルタ処理装置。
- 上記記憶手段の個数が１フレームの画像の１行当たりの分割数と等しく、
上記記憶手段に記憶される各単位画像は、当該単位画像の下に隣接する入力画像がフィルタ演算手段に入力された時に、上画像として該フィルタ演算手段に入力されて、フィルタ演算された後に記憶手段に再び書き戻されることなく出力され、
この時の入力画像は、上記フィルタ演算の後、上記上画像として用いられた単位画像が記憶されていた記憶手段に記憶されることを特徴とする請求項２に記載のフィルタ処理装置。 - 上記請求項１ないし３の何れかのフィルタ処理装置を備え、
該フィルタ処理装置によってフィルタ処理が施された画像に対して符号化を行うことを特徴とする画像符号化装置。 - 上記請求項１ないし３の何れかのフィルタ処理装置を備え、
符号化された画像を複合化した後、該複合化によって得られた画像に対し、上記フィルタ処理装置によってフィルタ処理を施すことを特徴とする画像複合化装置。 - １フレームの画像を複数に分割して得られる単位画像毎の入力画像を、異なる記憶先の記憶手段に記憶させると共に、隣接する単位画像に対してのフィルタ演算が行われるまで、単位画像データを記憶手段に格納させ続け、
上記入力画像に対して単位画像毎にフィルタ演算を行う際に、単位画像内のフィルタ演算を行った後に、該単位画像の左側および上側の少なくとも一方に、該単位画像と隣接する単位画像が存在する場合には、左側に隣接する単位画像を左画像として、上側に隣接する単位画像を上画像として、上記記憶手段に記憶されている単位画像を使用して、該単位画像と隣接する単位画像との境界面に対してもフィルタ演算を行うことを特徴とするフィルタ処理プログラムを記録した記録媒体。 - １フレームの画像に対するフィルタ処理が終了した後、次の新たな画像入力がある場合、
上記フィルタ演算手段には、先にフィルタ処理が行われる画像の最下端の単位画像が、続いてフィルタ処理の行われる画像の上画像として入力され、上画像として上記フィルタ 演算手段に入力され上記最下端の単位画像については何も演算を行わないことを特徴とする請求項１に記載のフィルタ処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19634698A JP3625136B2 (ja) | 1998-07-10 | 1998-07-10 | フィルタ処理装置、画像符号化装置、画像復号化装置、およびフィルタ処理プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19634698A JP3625136B2 (ja) | 1998-07-10 | 1998-07-10 | フィルタ処理装置、画像符号化装置、画像復号化装置、およびフィルタ処理プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000032297A JP2000032297A (ja) | 2000-01-28 |
| JP3625136B2 true JP3625136B2 (ja) | 2005-03-02 |
Family
ID=16356319
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19634698A Expired - Fee Related JP3625136B2 (ja) | 1998-07-10 | 1998-07-10 | フィルタ処理装置、画像符号化装置、画像復号化装置、およびフィルタ処理プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3625136B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BRPI0303901B1 (pt) * | 2002-07-11 | 2018-03-06 | Godo Kaisha Ip Bridge 1 | Método de determinação de poder de filtragem para determinar um poder de filtragem para remover uma distorção de codificação entre blocos que constituem uma imagem, método de decodificação de imagem móvel para decodificar os dados de imagem móvel codificados, aparelho de determinação de poder de filtragem, e aparelho de codificação de imagem móvel |
| JP4680608B2 (ja) * | 2005-01-17 | 2011-05-11 | パナソニック株式会社 | 画像復号装置及び方法 |
| JP4605052B2 (ja) * | 2006-03-03 | 2011-01-05 | 日本電気株式会社 | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、フィルタ装置及びプログラム |
-
1998
- 1998-07-10 JP JP19634698A patent/JP3625136B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000032297A (ja) | 2000-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1259081B1 (en) | Encoding continuous image data | |
| JP4151684B2 (ja) | 符号化装置、符号化方法および符号化プログラム、並びに撮像装置 | |
| JP4153202B2 (ja) | 映像符号化装置 | |
| EP2061250B1 (en) | Deblocking filter | |
| CN102598651B (zh) | 动图像处理装置及方法、安装有动图像处理装置的摄像装置 | |
| EP0665512A2 (en) | An image processing method and apparatus | |
| EP1917659A1 (en) | Image management | |
| US6553153B1 (en) | Method and apparatus for reducing video data | |
| JP3625136B2 (ja) | フィルタ処理装置、画像符号化装置、画像復号化装置、およびフィルタ処理プログラムを記録した記録媒体 | |
| JPH08181984A (ja) | 画像圧縮装置および画像圧縮方法 | |
| JP3202433B2 (ja) | 量子化装置、逆量子化装置及び画像処理装置並びに量子化方法、逆量子化方法及び画像処理方法 | |
| US20090279801A1 (en) | Decoding device, decoding method, decoding program, and integrated circuit | |
| CN110213595B (zh) | 基于帧内预测的编码方法、图像处理设备和存储装置 | |
| KR100359208B1 (ko) | 고속 디블럭킹 필터 장치 | |
| JP2007129403A (ja) | 画像符号化装置および画像処理システム | |
| US7787700B2 (en) | Signal processing method, signal processing apparatus, computer-readable medium and a data recording medium | |
| EP3531699B1 (en) | Video encoding method, device, and program | |
| CN113709494A (zh) | 用于超分重建的图像解压缩方法及装置 | |
| JP4179777B2 (ja) | 画像処理装置 | |
| JPH0795536A (ja) | 動画像逆再生装置及び方法 | |
| US20240056601A1 (en) | Hierarchical motion search processing | |
| JP2013110466A (ja) | 動画像符号化装置 | |
| TW202333497A (zh) | 圖像編碼裝置、圖像編碼方法、圖像解碼裝置、圖像解碼方法 | |
| JP3196753B2 (ja) | 画像表示方法及び画像表示装置 | |
| CN113610705A (zh) | 用于超分重建的图像去交织方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040401 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040420 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040618 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041125 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071210 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |