JP3686695B2

JP3686695B2 - 画像処理装置

Info

Publication number: JP3686695B2
Application number: JP25538094A
Authority: JP
Inventors: 健治岸
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1994-10-20
Filing date: 1994-10-20
Publication date: 2005-08-24
Anticipated expiration: 2020-08-24
Also published as: JPH08126009A; US5694489A

Description

【０００１】
【産業上の利用分野】
本発明は、デジタル画像に圧縮伸張処理を行う画像処理装置に関する。
【０００２】
【従来の技術】
一般に、撮像装置等で撮影して光電変換により得られた画像を記憶や伝送する際には、種々の画像処理が施されている。代表的なものの１つに、デジタル化された画像に圧縮を施してデータ量を小容量化して記録媒体に記録させ、使用する際には、該記録媒体から圧縮画像データを取出し、伸張して元の画像に再構成する画像処理がある。
【０００３】
図５には、従来の画像処理装置の構成例を示す。また、歪除去フィルタのアルゴリズム等は、本出願人が提案している特願平３−１４９９号に記載されており、ここでの詳細な説明は省略する。
【０００４】
通常、２次元の画像入力は、図６（ａ）に示すようなラスタースキャンにより取り込まれたラスター信号が１次元に変換されて入力される。しかし、ここでは、ブロック単位で画像圧縮処理をするために、フレームメモリ等（図示せず）で、図６（ｂ）のようなブロックスキャン信号（例えば、８画素×８画素）に変換された信号が入力される。
【０００５】
また画像の構成は、図７に示すようにフレーム内符号化フレーム（Ｉフレーム）とフレーム内符号化フレーム（Ｉフレーム）の間に複数のフレーム間符号化フレーム（Ｐフレーム）が介在するように構成されている。まず、フレーム内符号化フレーム（Ｉフレーム）とフレーム間符号化フレーム（Ｐフレーム）では、処理が異なるので、フレーム内符号化フレーム（Ｉフレーム）の符号化について説明する。
【０００６】
図５において、ブロックスキャン信号（８画素×８画素）に変換された画像信号は、データセレクタ２３を経て、ＤＣＴ回路２４に入力される。
前記ＤＣＴ回路２４でＤＣＴ係数に変換された画像データは、エンコーダ２５で予め設定されている量子化テーブルにより、量子化及びハフマン符号化等が行われ、コードメモリ２６に記憶される。そして、コードメモリ２６に記憶された１画面のデータは図示しない外部記憶装置等（ハードディスク、テープストリーマ、光磁気記憶装置等）に読み出されると同時に、デコーダ２７に入力され、ハフマン復号化及び逆量子化されＤＣＴ係数を発生する。
【０００７】
そのＤＣＴ係数は、ＩＤＣＴ回路２８に入力される。このＩＤＣＴ回路２８によりＤＣＴ係数に基づき画像データに変換されたデータは、ブロック−ラスター変換回路２９に入力され、ラスター信号に変換される。ラスター信号に変換された画像信号は、図８に示す適応型コンボリューションフィルタ３０でフィルタリングされる。この適応型コンボリューションフィルタ３０の係数、すなわち周波数特性は、デコーダ２７から出力された前記ＤＣＴ係数により決定される。
【０００８】
前記適応型コンボリューションフィルタ回路３０により、ブロック境界の歪除去をされた差分画像信号は、加算回路３２に入力される。この加算回路３２はフレーム間符号化フレーム（Ｐフレーム）において差分フレームから元の画像を再構成するための加算回路であり、フレーム内符号化フレーム（Ｉフレーム）の場合、データセレクタ３１で“０”が選択されるため、出力結果は変化しない。加算回路３２の出力は、フレームメモリ３３に書き込まれると同時に、ラスターブロック変換回路３４に入力され、ブロックスキャン信号（８画素×８画素）に変換させてからデータセレクタ３５を通過して差分回路２２に入力される。
【０００９】
次に、フレーム間符号化フレーム（Ｐフレーム）の符号化の説明になる。画像入力信号は差分回路２２に入力され、前に処理したフレームの圧縮伸張された画像と差分を取られ、データセレクタ２３を通過し、ＤＣＴ回路２４に入力される。ＤＣＴ回路２４でＤＣＴ係数に変換された画像データは、エンコーダ２５で予め設定されている量子化テーブルにより量子化及びハフマン符号化等が行われ、コードメモリ２６に記憶される。
【００１０】
前記コードメモリ２６に記憶された１画面のデータは図示しない外部記憶装置等（ハードディスク、テープストリーマ、光磁気記憶装置等）に読み出されると同時に、デコーダ２７に入力されハフマン復号化及び逆量子化されＤＣＴ係数を発生する。そのＤＣＴ係数は、ＩＤＣＴ回路２８に入力される。このＩＤＣＴ回路２８でＤＣＴ係数から画像データに変換されたデータは、ブロック−ラスター変換回路２９に入力され、ラスター信号に変換させる。ラスター信号に変換された画像信号は、前記適応型コンボリューションフィルタ３０でフィルタリングされる。この適応型コンボリューションフィルタの係数すなわち周波数特性は、デコーダ２７の出力のＤＣＴ係数により決定される。
【００１１】
そして前記適応型コンボリューションフィルタ回路３０により、ブロック境界の歪除去をされた差分画像信号は、加算回路３２に入力される。
さらにフレームメモリ３３に記憶されている前のフレームの画像が、データセレクタ３１により選択され、加算回路３２で加算されて出力される。その出力はラスターブロック変換回路３４でブロック信号に変換され、データセレクタ３５に入力される。この後のフレームはこの繰り返しとなる。
【００１２】
次に、元の画像に再構成する復号の手順について説明する。
まず、符号化されたデータは、図示しない外部記憶装置等（ハードディスク、テープストリーマ、光磁気記憶装置等）から読み出され、コードメモリ２６でバッファされた後、デコーダ２７に入力され、ハフマン復号化及び逆量子化されＤＣＴ係数を発生する。そのＤＣＴ係数は、ＩＤＣＴ回路２８に入力される。前記ＩＤＣＴ回路２８でＤＣＴ係数から画像データに変換されたデータは、ブロック−ラスター変換回路２９に入力され、ラスター信号に変換される。ラスター信号に変換された画像信号は、適応型コンボリューションフィルタ３０で、フィルタリングされる。この適応型コンボリューションフィルタ３０の係数すなわち周波数特性は、デコーダ２７の出力のＤＣＴ係数により決定される。前記適応型コンボリューションフィルタ回路３０により、ブロック境界の歪除去をされた画像信号は、加算回路３２に入力される。フレーム内符号化フレーム（Ｉフレーム）の場合、データセレクタ３１で“０”が選択されるため、出力結果は変わらない。
【００１３】
そして、フレーム間符号化フレーム（Ｐフレーム）の場合は、フレームメモリ３３に記憶されている前のフレームの画像が、データセレクタ３１により選択され、加算回路３２で加算されて、画像信号として出力されると共に再び、フレームメモリ３３に書き込まれる。
【００１４】
【発明が解決しようとする課題】
しかし、前述した従来技術は、圧縮伸張処理がブロックスキャン信号（８画素×８画素）で行なわれるため、例えば、特願平３−１４９９号に記載されるようなブロック境界の歪除去フィルタを施す場合には、ＦＩＲフィルタを掛けるために、ブロック−ラスター変換回路を備えなければならない。このブロック−ラスター変換回路のようなデータの流れを変える回路は、システムの制御が複雑化され、さらにはリアルタイムの処理上、２ブロックライン分のメモリ容量を使用するために、データの遅延が大きくなっていた。また、大容量のメモリを必要としＩＣ回路化が難しくなっていた。
【００１５】
そこで本発明は、システムの制御を簡素化しつつ小型化を図り、高品質な動画像又は静止画像の符号／復号化を実現する画像処理装置を提供することを目的とする。
【００１６】
【課題を解決するための手段】
本発明は上記目的を達成するために、圧縮符号化された画像信号を復号化した後、復号化された画像信号にフィルタリングを行う画像処理装置であって、復号後、水平方向Ｍ画素×垂直方向Ｎ画素からなるブロックを１単位として、ブロック毎に、前記水平方向Ｍ画素をスキャン単位とする水平スキャンで連続的にスキャンされながら入力される画像信号のスキャン方向を、前記水平スキャンから、ブロック毎に、前記垂直方向Ｎ画素をスキャン単位とする垂直スキャンに変換して連続的に出力するブロック内水平スキャン−ブロック内垂直スキャン変換回路と、前記垂直スキャンに変換された画像信号を前記垂直方向Ｎ画素に対応して遅延する遅延回路を有し、前記遅延回路から出力される第１の画像信号に対し、前記水平方向の位置に応じた所定の係数を乗じた、前記第１の画像信号とは水平方向に位置の異なる第２の画像信号を加算し、フィルタリングした画像信号を生成するフィルタ回路と、を有する画像処理装置を提供する。
【００１７】
さらに、前記フィルタ回路によるフィルタリング後の画像信号のスキャン方向を、前記水平方向に変換する水平スキャン変換回路を有する画像処理装置を提供する。
【００１８】
【作用】
これにより、ブロック毎に、水平方向Ｍ画素をスキャン単位とする水平スキャンで連続的に入力される画像信号のスキャン方向を、ブロック内水平スキャン−ブロック内垂直スキャン変換回路により、ブロック毎に、垂直方向Ｎ画素をスキャン単位とする垂直スキャンに変換した後、フィルタ回路にて、遅延回路により垂直方向Ｎ画素に対応して遅延された第１の画像信号と、水平方向の位畳に応じた所定の係数を乗じた、第１の画像信号とは水平方向に位置の異なる第２の画像信号とを加算して、フィルタリングした画像信号が生成される。また、フィルタ回路によるフィルタリング後の画像信号のスキャン方向が、水平スキャン変換回路により、水平方向に変換される。
【００１９】
【実施例】
以下、図面を参照して本発明の実施例を詳細に説明する。
図１には、本発明による実施例としての画像処理装置の概略的な構成を示し説明する。この画像処理装置は、圧縮画像のブロック境界の歪除去フィルタを動画像及び静止画像圧縮において応用した構成例である。
【００２０】
前述したように、通常、画像入力は図６（ａ）に示すようなラスタースキャンにより得られたラスター信号として入力されているが、本実施例では、ブロック単位で画像圧縮をするために、フレームメモリ等（図示せず）で図６（ｂ）に示すようなブロックスキャン信号（例えば、８画素×８画素）に変換された信号が入力される。
【００２１】
また、画像の構成は、図７に示すようなフレーム内符号化フレーム（Ｉフレーム）とフレーム内符号化フレーム（Ｉフレーム）の間に複数のフレーム間符号化フレーム（Ｐフレーム）が介在する構成としている。前記フレーム内符号化フレーム（Ｉフレーム）とフレーム間符号化フレーム（Ｐフレーム）では処理が異なるので、最初にフレーム内符号化フレーム（Ｉフレーム）の符号化について説明する。
【００２２】
まず、ブロックスキャン信号（８画素×８画素）に変換された画像信号は、データセレクタ２を経てＤＣＴ回路３に入力される。このＤＣＴ回路３でＤＣＴ係数に変換された画像データは、エンコーダ４により予め設定されている量子化テーブルにより量子化及びハフマン符号化等が行われ、コードメモリ５に記憶される。前記コードメモリ５に記憶された１画面のデータは、図示しない外部記録装置等（ハードディスク、テープストリーマ、光磁気記憶装置等）に読み出されると同時に、デコーダ６に入力され、ハフマン復号化及び逆量子化されＤＣＴ係数を発生する。そのＤＣＴ係数は、ＩＤＣＴ回路７に入力される。
【００２３】
次にＩＤＣＴ回路７でＤＣＴ係数から画像データに変換されたデータは、ブロック内水平スキャン−ブロック内垂直スキャン変換回路８に入力され、ブロック内垂直スキャンに変換される。
【００２４】
そして図４に示すようなブロック内垂直スキャン信号に変換された画像信号は、適応型コンボリューションフィルタ９でフィルタリングされる。この適応型コンボリューションフィルタ９の係数すなわち周波数特性は、前記デコーダ６から出力された前記ＤＣＴ係数により決定される。
【００２５】
また次段の垂直ブロックスキャン用適応型コンボリューションフィルタ回路は、図２に示すような乗算器４０、加算器４１、ディレイ素子４２、係数セレクタ４３により構成されている。
【００２６】
入力された画像データは係数セレクタ４３により選択された係数と乗算され加算器４１で加算される。ブロック内垂直スキャンの画像信号に水平方向のフィルタを施すには、８画素おきのデータを加算するために、ディレイ素子４２を８段入れることによりラスタースキャンした場合の隣接する画素にフィルタしたことになる。
【００２７】
そしてブロック境界の歪を除去をされた差分画像信号は、ブロック内垂直スキャン−ブロック内水平スキャン変換回路１０でブロック内のスキャン方向を変え、加算回路１２に入力される。この加算回路１２は、フレーム間符号化フレーム（Ｐフレーム）において、差分フレームから元の画像を再構成するための加算回路１２でありフレーム内符号化フレーム（Ｉフレーム）の場合、データセレクタ１１で“０”が選択されるため、出力結果は変わらない。この加算回路１２の出力は、フレームメモリ１３に書き込まれると同時に、データセレクタ１４を通過して、差分回路１に入力される。
【００２８】
次にフレーム間符号化フレーム（Ｐフレーム）の符号化について説明する。
画像入力信号は、差分回路１に入力され、前に処理したフレームの圧縮伸張された画像と差分を取られ、データセレクタ２を経て、ＤＣＴ回路３に入力される。このＤＣＴ回路３でＤＣＴ係数に変換された画像データは、エンコーダ４により予め設定されている量子化テーブルにより量子化及びハフマン符号化等が行われ、コードメモリ５に記憶される。このコードメモリ５に記憶された１画面のデータは、図示しない外部記憶装置等（ハードディスク、テープストリーマ、光磁気記憶装置等）に読み出されると同時に、デコーダ６に入力され、ハフマン復号化及び逆量子化されＤＣＴ係数を発生する。そのＤＣＴ係数は、ＩＤＣＴ回路７に入力される。このＩＤＣＴ回路７でＤＣＴ係数から画像データに変換されたデータは、ブロック内水平スキャン−ブロック内垂直スキャン変換回路８に入力され図４に示すようなブロック内垂直スキャン信号に変換させる。そして、前記ブロック内垂直スキャン信号に変換された画像信号は、適応型コンボリューションフィルタ９でフィルタリングされる。この適応型コンボリューションフィルタ９の係数すなわち周波数特性は、前記デコーダ６から出力された前記ＤＣＴ係数により決定される。
【００２９】
本実施例で採用した図２に示すような垂直ブロックスキャン用適応型コンボリューションフィルタ回路によりブロック境界の歪を除去された差分画像信号は、ブロック内垂直スキャン−ブロック内水平スキャン変換回路１０でブロック内のスキャン方向を変え、加算回路１２に入力される。フレームメモリ１３に記憶されている前のフレームの画像がデータセレクタ１１により選択され、加算回路１２で加算されて出力される。その出力は、データセレクタ１４に入力される。
【００３０】
そして、以後のフレームはこのような処理の繰り返しとなる。
次に、元の画像に再構成する復号処理について説明する。
まず、符号化されたデータは図示しない外部記憶装置等（ハードディスク、テープストリーマ、光磁気記憶装置等）から読み出されると同時に、デコーダ６に入力され、ハフマン復号化及び逆量子化されＤＣＴ係数を発生する。そのＤＣＴ係数は、ＩＤＣＴ回路７に入力される。このＩＤＣＴ回路７でＤＣＴ係数から画像データに変換されたデータは、ブロック内水平スキャン−ブロック内垂直スキャン変換回路８に入力され、ブロック内垂直スキャンに変換させる。このブロック内垂直スキャン信号に変換された画像信号は、適応型コンボリューションフィルタ９でフィルタリングされる。この適応型コンボリューションフィルタ９の係数すなわち周波数特性は、デコーダ６から出力された前記ＤＣＴ係数により決定される。
【００３１】
そして本実施例で採用した図２に示すような垂直ブロックスキャン用適応型コンボリューションフィルタ回路により、ブロック境界の歪を除去された差分画像信号は、ブロック内垂直スキャン−ブロック内水平スキャン変換回路１０でブロック内のスキャン方向を変え、加算回路１２に入力される。
【００３２】
フレーム内符号化フレーム（Ｉフレーム）の場合、データセレクタ１１で“０”が選択されるため、出力結果は変わらない。フレーム間符号化フレーム（Ｐフレーム）の場合は、フレームメモリ１３に記憶されている前のフレームの画像がデータセレクタ１１により選択され、加算回路１２で加算されて画像信号として出力されると共に、再びフレームメモリ１３に書き込まれる。
【００３３】
次に、図２に示した垂直ブロックスキャン用適応型コンボリューションフィルタ回路について更に詳細に説明する。
図３に示すような画像において、最初の行に対して水平方向のフィルタを掛ける場合次のような演算をする。
【００３４】
Ｄ０×Ｋ００＋Ｄ１×Ｋ０１＋Ｄ２×Ｋ０２＋Ｄ３×Ｋ０３＋Ｄ４×Ｋ０４＋Ｄ５×Ｋ０５＋Ｄ６×Ｋ０６
例えば８画素×８画素の垂直ブロックスキャンの場合Ｄ０とＤ１の間に７画素のデータが入ってしまうので、ディレイ素子４２を８段に組むことにより、結果的にラスタースキャンした場合の隣接する画素にフィルタしたことになる。
【００３５】
以上のことから本実施例の画像処理装置によれば、従来のラスターブロック変換回路では、２ブロックライン分のメモリを使用したが、本実施例によるブロック内垂直スキャン−ブロック内水平スキャン変換回路では、１ブロックライン分のメモリで済むために回路が小型化でき、且つシステムの制御が容易になる。
【００３６】
以上の実施例は、以下のような要旨にまとめられる。
（１）圧縮処理の施された時間的に連続する入力動画像を復号後、所定ブロックに分割された画像信号のスキャン方向を変換させてから復号データをコンボリューションフィルタに供給することを特徴とする画像処理装置。
【００３７】
従って、メモリ容量の小容量化が図られ、従来のラスターブロック変換回路では、２ブロックライン分のメモリを使用したが、本実施例によるブロック内垂直スキャン−ブロック内水平スキャン変換回路では、１ブロック分のメモリ容量で済むために回路が小型化でき、且つシステムの制御が容易になる。
【００３８】
（２）圧縮処理の施された静止画データを復号後、所定ブロックに分割された画像信号のスキャン方向を変換させてから復号データをコンボリューションフィルタに供給することを特徴とする画像処理装置。
【００３９】
従って、前記（１）と同様に、本構成ではメモリ容量の小容量化が図られ、従来のラスターブロック変換回路では、２ブロックライン分のメモリを使用したが、本構成によるブロック内垂直スキャン−ブロック内水平スキャン変換回路では、１ブロック分のメモリ容量で済むために回路が小型化でき、且つシステムの制御が容易になる。
【００４０】
（３）上記スキャン方向の変換は、水平方向スキャンから垂直方向スキャンに変換されるものである画像処理装置。
従って、１ブロック分のメモリで済み、且つ、水平方向にフィルタを掛ける画素が等間隔のディレイをもって処理できる。。
【００４１】
（４）上記コンボリューションフィルタは垂直ブロックスキャン用フィルタであって、画像圧縮処理の単位がｎ×ｎ画素からなるブロック単位であるとき、ｎ画素分の遅延手段毎に演算し、フィルタリングを行う画像処理装置。
【００４２】
従って、各画素の積和演算の間にｎ画素ディレイさせることによりラスタ信号に変換させずにダイレクトにフィルタリングでき、結果的にラスタースキャンした場合の隣接する画素にフィルタしたことになる。
【００４３】
【発明の効果】
以上詳述したように本発明によれば、フィルタリングに用いるメモリ容量が、１ブロックの垂直方向の画素数とフィルタリングに必要な水平方向の画素数との積に対応した容量で済み、システムの小型化を図ることができる。
【００４４】
従って、システムの制御を簡素化しつつ小型化を図り、高品質な動画像若しくは静止画像の符号／復号化を実現する画像処理装置を提供するを提供することができる。
【図面の簡単な説明】
【図１】本発明による画像処理装置の実施例の概略的な構成を示す図である。
【図２】実施例のコンボリューションフィルタ回路の構成を示す図である。
【図３】コンボリューションフィルタの動作を説明するための図である。
【図４】２次元の画像をブロック単位で水平若しくは垂直方向に走査するスキャン方法を示した図である。
【図５】従来の動画像処理装置の構成例を示す図である。
【図６】２次元の画像を１次元で走査するラスタースキャンのスキャン方法を示した図である。
【図７】画像圧縮処理における各フレームの符号化の態様を示した図である。
【図８】従来例のコンボリューションフィルタ回路の構成例を示した図である。
【符号の説明】
１…差分回路、２…データセレクタ、３…ＤＣＴ回路、４…エンコーダ、５…コードメモリ、６…デコーダ、７…ＩＤＣＴ回路、８…ブロック内水平スキャン−ブロック内垂直スキャン変換回路、９…適応型コンボリューションフィルタ、１０…ブロック内垂直スキャン−ブロック内水平スキャン変換回路、１１…データセレクタ、１２…加算回路、１３…フレームメモリ、１４…データセレクタ。

Claims

圧縮符号化された画像信号を復号化した後、復号化された画像信号にフィルタリングを行う画像処理装置であって、
復号後、水平方向Ｍ画素×垂直方向Ｎ画素からなるブロックを１単位として、ブロック毎に、前記水平方向Ｍ画素をスキャン単位とする水平スキャンで連続的にスキャンされながら入力される画像信号のスキャン方向を、前記水平スキャンから、ブロック毎に、前記垂直方向Ｎ画素をスキャン単位とする垂直スキャンに変換して連続的に出力するブロック内水平スキャン−ブロック内垂直スキャン変換回路と、
前記垂直スキャンに変換された画像信号を前記垂直方向Ｎ画素に対応して遅延する遅延回路を有し、前記遅延回路から出力される第１の画像信号に対し、前記水平方向の位置に応じた所定の係数を乗じた、前記第１の画像信号とは水平方向に位置の異なる第２の画像信号を加算し、フィルタリングした画像信号を生成するフィルタ回路と、
を有することを特徴とする画像処理装置。
前記フィルタ回路によるフィルタリング後の画像信号のスキャン方向を、前記水平方向に変換する水平スキャン変換回路を更に有することを特徴とする請求項１に記載の画像処理装置。