以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、圧縮画像を再圧縮するために必要な処理量を削減することができる圧縮画像再圧縮システムに適用したものである。
(1)第1の実施の形態
図1は、本発明の第1の実施の形態にかかる画像処理システムの構成を示すブロック図である。図1に示すように、本発明の第1の実施の形態にかかる画像処理システム101は、圧縮画像を復号する途中で得られる中間データと、任意の圧縮画像からなる参照圧縮画像を復号する途中で得られる参照中間データとの差分(差分データ)を計算する差分演算部123と、計算した差分データに含まれる情報量が中間データに含まれる情報量より少ない場合にその差分データを圧縮することで、圧縮画像を再圧縮する圧縮部126とを有する。ここで、上記参照圧縮画像は、複数の圧縮画像に共通に含まれている情報を含む圧縮画像とすることができる。また、圧縮画像を復号する途中で得られる中間データとしては、例えば、画像を直交変換することで得られるデータを用いることができる。
そして、圧縮部126は、参照中間データと差分データを用いて、中間データの中で差分データに置換することで情報量が削減できる箇所を特定し、特定した箇所を差分データに置換するブロック種別判定部を有する。また、後述するように、前後の圧縮画像間の差分データが所定の値より小さい圧縮画像を参照変中間データの候補として選択する参照候補中間データ更新部や、参照中間データの候補と現在の参照中間データの間の絵としての変化が所定の値より大きい場合に、参照中間データの候補を新しい参照中間データとして更新する参照中間データ更新部を有するものとすることも可能である。
本実施の形態においては、圧縮画像の復号処理の途中で得られる中間データを用いて、差分演算部が圧縮画像間の差分情報である差分データを生成し、生成した差分データを圧縮部によって圧縮することで、圧縮画像を再圧縮するため、圧縮画像を再圧縮するために必要な処理量を削減することができる。
(2)第2の実施の形態
本実施の形態においては、画像をブロックと呼ばれる矩形領域に分割し、ブロック内の画素データを直交変換し、直交変換後のデータである変換後成分を圧縮することで画像圧縮処理を実現する。直交変換の例としては離散コサイン変換やウェーブレット変換等がある。変換後成分は、直交変換後の値を格納したベクトルデータである。
(2−1)構成
図2は、本発明の第2の実施の形態にかかる画像処理システムの構成を示すブロック図である。図2に示すように、本発明の第2の実施の形態にかかる画像処理システム1は、記憶装置10、記憶装置30、圧縮画像再圧縮装置20、及び再圧縮画像復号装置40を有する。記憶装置10は、圧縮画像を、圧縮画像が生成された順に記憶している圧縮画像記憶部11を備えている。圧縮画像再圧縮装置20は、変換後成分展開部21、参照変換後成分記憶部22、差分演算部23、並びに圧縮部として機能するブロック種別判定部24及び変換後成分圧縮部25とを有する。
変換後成分展開部21は、記憶装置10の圧縮画像記憶部から取得した圧縮画像から、中間データとして変換後成分C1を生成し、生成した変換後成分を差分演算部23及びブロック種別判定部24へ送信する。変換後成分C1とは、画像データ内の画素データが直交変換によって変換されたデータである。変換後成分C1の例としては直交変換である離散コサイン変換によって変換された係数等がある。前記画像データの例としては、画像内の座標値と色成分毎の強度を表す数値である画素値とから構成される画素データがある。
参照変換後成分記憶部22は、圧縮画像記憶部11から取得した任意の1枚の画像から得られた変換後成分C2を記憶している。本実施の形態にかかる圧縮画像再圧縮装置20では、複数の圧縮画像のサイズを小さくするために、圧縮画像の変換後成分C1と参照変換後成分記憶部22に記憶されている変換後成分C2の差分を再圧縮する。本明細書においては、前記参照変換後成分記憶部22に記憶されている変換後成分を参照変換後成分C2ということとする。ここで、後述する差分演算部23が生成する差分データをできるだけ小さくするため、複数の圧縮画像に共通に含まれている情報を含む圧縮画像から得られる変換後成分を参照変化後成分C2として保持することが好ましい。
差分演算部23は、変換後成分展開部21及び参照変換後成分記憶部22からそれぞれ変換後成分C1及び参照変換後成分C2を取得し、ブロック単位で2つの変換後成分の差分を計算することで、取得した2つの変換後成分の差分データD1を生成する。前記差分計算の例としては、2つの変換後成分間のベクトル差分演算等がある。また、前記差分データの例としては、2つの変換後成分間のベクトル差分演算結果を格納したベクトルデータ等がある。
ブロック種別判定部24は、変換成分を復号処理の一部の処理によって復号した画像内の情報で人間の視覚で検出しにくい情報に相当する変換成分内の情報を用いて、置換された差分であるか否かを識別する。すなわち、参照変換後成分記憶部22から参照変換後成分C2を、変換後成分展開部21から変換後成分C1を、差分演算部23から差分データD1を取得し、ブロック種別判定処理に基づいて前記変換後成分のブロックを、差分ブロックB1又は非差分ブロックB2により置換する。
前記ブロック種別判定処理とは、参照変換後成分記憶部22から取得した参照変換後成分C2と、変換後成分展開部21から取得した変換後成分C1と、差分演算部23が生成した差分データD1のどれかあるいは全てを用いて、変換後成分展開部21から取得した変換後成分C1を構成するブロックの中で、差分ブロックB1に置き換えることで情報量が少なくなるブロックを、差分ブロック置換対象とし差分ブロックB1に置換する。また、差分ブロックB1に置き換えることで情報量が多くなるブロックを非差分ブロック置換対象とし非差分ブロックB2に置換する動作を指す。
前記差分ブロックB1とは、ブロック種別判定部24が差分演算部23から取得した差分データを構成するブロックの中に、差分ブロックであるかどうかを示す情報が追加されたブロックである。また、前記非差分ブロックB2とは、ブロック種別判定部24が変換後成分展開部21から取得した変換後成分を構成するブロックの中に、差分ブロックではないことを示す情報が追加されたデータである。
変換後成分圧縮部25は、ブロック種別判定部24から取得した変換後成分C3を圧縮し、圧縮の結果得られた圧縮画像を記憶装置30内の再圧縮画像記憶部31に記憶する。以下の説明においては、変換後成分圧縮部25にて行われる圧縮処理によって生成される圧縮画像を再圧縮画像という。記憶装置30は、再圧縮画像を記憶する再圧縮画像記憶部31を含む。
再圧縮画像復号装置40は、変換後成分展開部41、参照変換後成分記憶部42、加算演算部43、変換後成分合成部44、変換後成分逆変換部45、及び画像データ記憶部46を有する。変換後成分展開部41は、記憶装置30内の再圧縮画像記憶部31から取得した再圧縮画像から変換後成分C3を生成し、生成した変換後成分を変換後成分合成部44へ送信する。参照変換後成分記憶部42は、参照変換後成分記憶部22と同一の変換後成分を1つ記憶している。
加算演算部43は、変換後成分合成部44から取得した差分ブロックB1と画像内の位置が同じあるブロックを、参照変換後成分記憶部42に記憶されている変換後成分C2から取得し、前記取得したブロックと前記差分ブロックB1を加算することで得られたブロックを変換後成分合成部44に送信する。この加算演算部43が生成するブロックを合成ブロックB3ということとする。加算演算部43が行う加算演算例としては、数値の加算等がある。
変換後成分合成部44は、変換後成分展開部41から変換後成分C3を取得した後、変換後成分合成部44が取得した変換後成分C3の中で差分ブロックB1を発見した場合は、差分ブロック合成を行い、変換後成分合成部44が取得した変換後成分C3の中で非差分ブロックB2を発見した場合、非差分ブロック合成を行う。
前記差分ブロック合成とは、差分ブロックB1であることを示す情報を前記差分ブロック内から削除し、前記差分ブロックB1であることを示す情報が削除された差分ブロックを加算演算部43に送信し、加算演算部43が生成した合成ブロックB3を受信し、前記差分ブロックB1であることを示す情報が削除された差分ブロックB1を合成ブロックB3で置換する動作をさす。また、前記非差分ブロック合成とは、変換後成分合成部44が変換後成分展開部41から取得した変換後成分の中で発見した非差分ブロックB2において、非差分ブロックB2であることを示す情報を削除する動作をさす。
変換後成分逆変換部45は、変換後成分合成部44から取得した変換後成分C1を画像データへ変換し、前記画像データ記憶部46に記憶する。前記変換動作の例としては逆離散コサイン変換等がある。画像データ記憶部46は、変換後成分逆変換部45が生成した画像データを記憶する。
(2−2)動作
次に、図2及び図3を参照して第2の実施の形態にかかる画像処理システムの圧縮画像再圧縮動作について詳細に説明する。図3は本実施の形態にかかる画像処理システムの圧縮画像再圧縮処理を示すフローチャートである。
まず、圧縮画像記憶部11が圧縮画像を一枚読み込む(図3のステップS101)。次に、変換後成分展開部21が、圧縮画像記憶部11から圧縮画像を取得する。そして、取得した圧縮画像から変換後成分C1を展開し、展開した変換後成分C1を差分演算部23及びブロック種別判定部24に送信する(図3のステップS102)。
差分演算部23は、ステップS102で送信された変換後成分を受信すると、参照変換後成分記憶部22から参照変換後成分C2を取得する。そして差分演算部23は、ステップS102で送信された変換後成分C1と、前記参照変換後成分C2から差分データD1を生成し、生成した差分データD1をブロック種別判定部24に送信する(図3のステップS103及びS104)。
ブロック種別判定部24は、ステップS102で送信された変換後成分C1と、ステップS104で送信された差分データD1を受信後、参照変換後成分記憶部22から参照変換後成分C2を取得し、ステップS102で送信された変換後成分C1、ステップS104で送信された差分データD1、前記参照変換後成分C2のどれかあるいは全てを用いてブロック種別判定動作を行う。そして、ブロック種別判定によって生成された変換後成分を変換後成分圧縮部25に送信する(図3のステップS105)。
次に、変換後成分圧縮部25は、ステップS105で送信された変換後成分C3を圧縮することで再圧縮画像を生成し、生成した再圧縮画像を再圧縮画像記憶部31に送信する(図3のステップS106)。最後に、再圧縮画像記憶部31が、ステップS106で送信された再圧縮画像を記憶する(図3のステップS107)。
そして、圧縮画像再圧縮装置20は、記憶装置30に対して、ステップS107で生成した参照圧縮画像又は再圧縮画像を送信し、送信した圧縮画像を記憶装置30内の再圧縮画像記憶部31に書き込むように書込み要求を送信する(図3のステップS108)。
次に、図2及び図4を用いて、第2の実施の形態における再圧縮画像復号動作について詳細に説明する。図4は、本実施の形態にかかる画像処理システムの再圧縮画像復号処理を示すフローチャートである。
まず、再圧縮画像記憶部31が再圧縮画像を一枚読み込む(図4のステップS201)。次に、変換後成分展開部41が、再圧縮画像記憶部31から再圧縮画像を取得し、取得した再圧縮画像から変換後成分C3を展開し、展開した変換後成分C3を変換後成分合成部44に送信する(図4のステップS202)。
次に、変換後成分合成部44が、ステップS202で送信された変換後成分C3の先頭のブロックから順に、差分ブロックB1又は非差分ブロックB2であるかどうかを識別する(ステップS203)。そして、差分ブロックB1と識別した場合には、変換後成分合成部44は、差分ブロックB1であることを示す情報を前記差分ブロック内から削除し、前記差分ブロックB1であることを示す情報が削除された差分ブロックB1を加算演算部43に送信する。そして、加算演算部43は、変換後成分合成部44から取得した差分ブロックB1と画像内の位置が同じあるブロックを、参照変換後成分記憶部42に記憶されている変換後成分C2から取得し(ステップS204)、前記取得したブロックと前記差分ブロックB1を加算することで得られたブロック(合成ブロックB3)を変換後成分合成部44に送信する。変換後成分合成部44は、加算演算部43が生成した合成ブロックB3を受信し(ステップS205)、前記差分ブロックB1であることを示す情報が削除された差分ブロックB1を合成ブロックB3で置換する(ステップS206)。
一方、非差分ブロックB2と識別した場合には、変換後成分合成部44が変換後成分展開部41から取得した変換後成分C3の中で発見した非差分ブロックB2において、非差分ブロックB2であることを示す情報を削除することで非差分ブロックB2の置換を行う(ステップS207)。この処理を最後のブロックに到達するまで各ブロックについて行う(ステップS208、209)。
次に、変換後成分合成部44は、ステップS202で送信された変換後成分C3の全ブロックに対して差分ブロック合成あるいは非差分ブロック合成が行われることで得られた変換後成分を変換後成分逆変換部45に送信する(図4のステップS210)。
変換後成分逆変換部45は、ステップS210で送信された変換後成分を逆変換することで画像データを生成し(ステップS211)、生成した画像データを画像データ記憶部46に記憶する(図4のステップS212)。
(2−3)効果
次に、本発明の第2の実施の形態の効果について説明する。本第2の実施の形態においては、差分演算部23にて参照変換後成分C2と変換後成分C1との差分を求め、差分データD1のブロックが変換後成分C1のブロックよりデータ量が小さい場合にはこの差分データD1を用いて再圧縮をする。このことにより、再圧縮するデータ容量を小さくすることができると共に、再圧縮画像の記憶容量を小さいものとすることができる。
すなわち、記憶装置10に記憶された圧縮画像を、圧縮画像が生成された順に取り出し、差分演算部23及びブロック種別判定部24によって、記憶装置10に記憶された圧縮画像の中で、時間的に絵として変化した情報のみを取り出して再圧縮し、記憶装置30に記憶することで、圧縮画像を再圧縮したデータの蓄積容量を少なくすることができる。また、復号処理の途中で得られる変換後成分C1を変換後成分展開部21が生成し、生成した変換後成分C1を用いて時間的に絵として変化した情報を取り出すため、再圧縮に必要な処理量を減らすことができる。
(3)第3の実施の形態
(3−1)構成
次に、本発明を実施するための第3の実施の形態について図面を参照して詳細に説明する。図5は、本発明の第3の実施の形態にかかる画像処理システムを示すブロック図である。
図5に示すように、本実施の形態は、第2の実施の形態の構成要素に加えて、参照変換後成分更新装置50、参照圧縮画像生成装置60及び参照変換後成分展開装置70を備えている点が第2の実施の形態とは異なる。
参照変換後成分更新装置50は、差分演算部51、一次変換後成分記憶部52、参照候補変換後成分更新部53、参照候補変換後成分記憶部54、差分演算部55及び参照変換後成分更新部56を備えている。
差分演算部51は、変換後成分展開部21及び一次変換後成分記憶部52から変換後成分C1、C4を取得し、ブロック単位で2つの変換後成分の差分を計算することで、取得した2つの変換後成分の差分データD2を生成する。
一次変換後成分記憶部52は、参照候補変換後成分更新部53から取得した変換後成分C5を記憶している。以下の説明においては、一次変換後成分記憶部52が記憶している変換後成分を一次変換後成分C4という。
参照候補変換後成分更新部53は、差分演算部51から差分データD2を、変換後成分展開部21から変換後成分C1を取得し、前記差分データD2を用いて参照変換後成分判定を行った後、前記変換後成分C1を一次変換後成分記憶部52に記憶する。前記参照変換後成分判定とは、差分演算部51からの差分データから、絵としての変化量(画像連続変化量)を計算し、この画像連続変化量が更新時の画像連続変化量(候補更新時変化量)以下である場合に変換後成分展開部21から取得した変換後成分C1を、参照候補変換後成分記憶部54に記憶する動作を指す。従って、参照候補変換後成分更新部53は、連続画像変化量及び候補更新時変化量の2つの数値データを記憶している。候補更新時変化量は正の値である。前記絵としての変化量の例としては、差分データであるベクトルデータの各要素の絶対値の合計値等がある。
参照候補変換後成分記憶部54は、変換後成分C5を記憶している。以下の説明においては、参照候補変換後成分記憶部54が記憶している変換後成分を参照候補変換後成分C5という。
差分演算部55は、参照変換後成分記憶部22及び参照候補変換後成分記憶部54からそれぞれ変換後成分C1及び参照候補変換後成分C5を取得し、ブロック単位で2つの変換後成分の差分を計算することで、取得した2つの変換後成分の差分データD3を生成する。
参照変換後成分更新部56は、差分演算部55から差分データD3を、参照候補変換後成分記憶部54から参照候補変換後成分C5を取得し、前記差分データD3及び参照候補変換後成分C5を用いて参照変換後成分更新を行う。前記参照変換後成分更新とは、前記差分データD3から絵としての変化量を計算し、前記変化量が参照変換後成分更新閾値Th1以上である場合に前記参照候補変換後成分C5を、参照変換後成分記憶部22に記憶し、さらに前記参照候補変換後成分C5を参照圧縮画像生成装置60に送信する動作を指す。前記参照変換後成分更新閾値Th1は正の値である。
参照圧縮画像生成装置60は、変換後成分圧縮部61及び参照圧縮画像記憶部62から構成される。変換後成分圧縮部61は、参照変換後成分更新部56から取得した参照候補変換後成分を圧縮することで圧縮画像を生成し、生成した圧縮画像を参照圧縮画像記憶部に記憶する。参照圧縮画像記憶部62は、圧縮画像を記憶している。前記参照圧縮画像記憶部62が記憶している圧縮画像を、以降では参照圧縮画像と表現する。
参照変換後成分展開装置70は、変換後成分展開部71を備えている。変換後成分展開部71は、参照圧縮画像記憶部62から参照圧縮画像を取得し、取得した参照圧縮画像から変換後成分を展開し、展開した変換後成分を参照変換後成分記憶部42に記憶する。
(3-2)動作
次に、本実施の形態の参照変換後成分更新装置50における参照候補変換後成分更新動作について、図面を参照して説明する。図6は、本実施の形態における参照候補変換後成分更新動作を示すフローチャートである。まず、変換後成分展開部21が、展開した変換後成分C1を差分演算部51及び参照候補変換後成分更新部53に送信する(図6のステップS301)。
次に、差分演算部51が、一次変換後成分記憶部52から一次変換後成分C4を取得し、ステップS301で送信された変換後成分C1と一次変換後成分C4から差分データD2を生成し、生成した差分データD2を参照候補変換後成分更新部53に送信する(図6のステップS302及びS303)。
次に、参照候補変換後成分更新部53が、ステップS301で送信された変換後成分C1と、ステップS303で送信された差分データD2を受信後、参照変換後判定処理を行う(図6のステップS304)。すなわち、参照候補変換後成分更新部53が差分演算部51からの差分データから、絵としての変化量(画像連続変化量)を計算し、この画像連続変化量が更新時の画像連続変化量(候補更新時変化量)以下である場合に変換後成分展開部21から取得した変換後成分C1を、参照候補変換後成分記憶部54に記憶する(ステップS306)。また、ステップS301で送信された変換後成分C1を一次変換後成分記憶部52に記憶する(ステップS305)。
次に、参照変換後成分更新装置50における参照変換後成分更新動作について説明する。図7は、本実施の形態における参照変換後成分更新動作を示すフローチャートである。
まず、差分演算部55が、参照変換後成分記憶部22から参照変換後成分C2を取得し(ステップS401)、参照候補変換後成分記憶部54から参照候補変換後成分C5を取得し(ステップS402)、前記参照変換後成分C2と前記参照候補変換後成分C5から差分データD3を生成し(ステップS403)、生成した差分データD3を参照変換後成分更新部56に送信する。
次に、参照変換後成分更新部56は、ステップS403において送信された差分データD3を受信後、参照変換後成分更新を行う(図7のステップS404、S405、S406及びS407)。すなわち、前記差分データD3から絵としての変化量を計算し、前記変化量が参照変換後成分更新閾値Th1以上である場合に前記参照候補変換後成分C5を、参照変換後成分記憶部22に記憶し(ステップS406)、さらに前記参照候補変換後成分C5を参照圧縮画像生成装置60に送信する(ステップS407)。
次に、参照圧縮画像生成装置60の動作について説明する。変換後成分圧縮部61が、S407において送信された参照変換後成分を圧縮することで圧縮画像を生成し、生成した圧縮画像を参照圧縮画像記憶部62に記憶する。次に、参照変換後成分展開装置70の動作について説明する。変換後成分展開部71は、参照圧縮画像記憶部に記憶された参照圧縮画像を取得し、取得した参照圧縮画像から変換後成分を展開し、展開した変換後成分を参照変換後成分記憶部42に記憶する。本実施の形態におけるその他の動作は、第3の実施の形態と同様であるので省略する。
(3−3)効果
次に、本発明の第3の実施の形態の効果について説明する。本実施の形態においては、圧縮画像再圧縮装置20で生成された圧縮画像を、圧縮画像が生成される毎に受信する。そして、受信した圧縮画像から参照候補変換後成分更新部53によって、短時間における絵としての変化が小さい圧縮画像から生成された参照候補変換後成分が選択される。さらに、参照変換後成分更新部56によって、参照変換後成分記憶部22に記憶された参照変換後成分と、前記参照候補変換後成分の間の絵としての変化が大きい場合に、参照変換後成分記憶部22に記憶されている変換後成分を、前記参照候補変換後成分として更新する。このことにより、例えば画像全体の輝度の変化等が時間とともに画面全体に変化が生じた場合でも、差分演算部23によって生成される時間的に絵として変化した情報の情報量を少なくすることができ、記憶装置30に記憶される再圧縮画像のサイズを小さくすることができる。
また、前記参照候補変換後成分更新部53の動作と、前記参照変換後成分更新部56の動作を、復号処理の途中で得られる変換後成分を用いて行うことで、完全に復号して得られる画像データに対して同様の動作を行う場合に比べて処理量を減らすことができる。
(4)実施例
(4−1)第1の実施例
次に、本発明の第1の実施例を、図面を参照して説明する。かかる実施例は本発明の第2の実施の形態に対応するものである。図8は、本発明の第1の実施例にかかる画像処理システムを示す図である。
本実施例においては、図8に示すように、圧縮画像再圧縮装置20としてパーソナルコンピュータ80を、記憶装置10及び30として磁気ディスク装置81及び82を、再圧縮画像復号装置40としてパーソナルコンピュータ83を備えている。
パーソナルコンピュータ80は、変換後成分展開部21、差分演算部23、ブロック種別判定部24、変換後成分圧縮部25として機能する中央演算装置84を有しており、また、参照変換後成分記憶部22として機能する磁気ディスク装置85を有している。磁気ディスク装置81内の記憶領域88は圧縮画像記憶部11として、磁気ディスク装置82内の記憶領域89は再圧縮画像記憶部31として用いられる。パーソナルコンピュータ83は、変換後成分展開部41、加算演算部43、変換後成分合成部44、変換後成分逆変換部45、及び画像データ記憶部46として機能する中央演算装置86を有しており、また、参照変換後成分記憶部42として機能する磁気ディスク装置87を有している。
本実施例で用いる画像データ、圧縮画像、ブロック、変換後成分、差分データ、差分ブロック、再圧縮画像は次の通りである。監視映像である画像データは、縦16画素横16画素の24ビットRGBカラーのビットマップ画像を用いる。圧縮画像は縦16画素横16画素の24ビットRGBカラーのJPEGデータ用いる。ブロックは、JPEGの仕様に基づき、縦8画素横8画素の矩形領域を用いる。変換後成分は、JPEGファイルから復号処理の逆量子化処理後に得られるDCT(離散コサイン)係数の集合を用いる。
図9に変換後成分の例を示す。図10は、本実施例における監視映像の例を示す図である。変換後成分C1は、縦軸が縦の空間周波数0から7まで、横軸が横の空間周波数が0から7までの強度値が、左上が直流成分、右下が縦横ともに最大周波数成分となるように配置された64個のDCT係数から構成されるブロック4つで構成される。変換後成分C1の左上、右上、左下、右下のブロックのDCT係数を逆離散コサイン変換することで、図10の画像データA1をJPEG符号化することで得られるJPEGデータを復号した際に得られる画像データを生成することができる。
差分データD1は、変換後成分であるDCT係数の集合2つに対して、ブロック毎に同一の周波数成分間の差を求め、さらに求めた差が変換後成分の値の範囲に収まるようにするために、求めた差を2で割った値の集合を用いる。前記ブロックにおいて、縦横とも最大周波数であるDCT係数が、前記DCT係数の値をJPEG符号化処理の途中処理として量子化処理を行う際の、最大周波数成分の量子化処理で使用される量子化ステップの最大値(例えば99)である場合は、前記ブロックを非差分ブロック、前記最大周波数成分の値が0である場合は、差分ブロックであることを示すことにする。再圧縮画像は、変換後成分をJPEG符号化処理の量子化以降の処理を行うことで得られるJPEGデータを指す。
本実施例における再圧縮画像復号部内の変換後成分合成部44は、変換後成分展開部41から取得した変換後成分C3を構成するブロック毎に、前記ブロックを構成するDCT係数のうち、縦横とも最大周波数であるDCT係数が0である場合は差分ブロック、0以外の値の場合は非差分ブロックと判定する。
また、本実施例における変換後成分合成部44における差分ブロック合成は、変換後成分合成部44によって縦横とも最大周波数であるDCT係数の値を0にされた差分ブロックを加算演算部43が取得し、加算演算部43が前記差分ブロックを構成するDCT係数を2倍し、2倍した値を加算演算部43が参照変換後成分記憶部42から取得した参照変換後成分内の差分ブロックと同位置のブロックのDCT係数の値に加算した結果得られるブロックを、変換後成分合成部44が取得し、変換後成分逆変換部45が前記取得したブロックで、前記差分ブロックを置換する動作を指す。また、本実施例における変換後成分合成部44の、非差分ブロック合成は、非差分ブロックにおいて縦横とも最大周波数であるDCT係数の値を0にする動作を指す。
本実施例におけるブロック種別判定処理について図11を用いて説明する。図11は、差分ブロック決定および置換処理の動作を示すフローチャートである。まず、ステップS104で生成された差分データD1、ステップS105で取得した参照変換後成分C2、ステップS102で取得した変換後成分C1の3つの変換後成分の先頭のブロックを選択する(図11のステップS1001)。前記選択されたブロックを処理対象ブロックという。
次に、処理対象ブロックにおいて、ステップS102で取得した変換後成分C1とステップS105で取得した参照変換後成分C2で、値が0でないDCT係数の数を比較する(図11のステップS1002)。ステップS1002の比較の結果、ステップS102で取得した変換後成分C1における値が0でないDCT係数の数が、ステップS105で取得した参照変換後成分C2における値が0でないDCT係数の数未満である場合、ステップS104で生成された差分データD1のDCT係数の絶対値の合計値の2倍(以後差分合計値M1という。)を計算する(図11のステップS1003)。さらに、ステップS102で取得した変換後成分C1のDCT係数の絶対値の合計値(以後変換後成分合計値M2という。)を計算する(図11のステップS1004)。
ステップS1004の後、差分合計値M1と変換後成分合計値M2を比較し、差分合計値M1が変換後成分合計値M2以下である場合、ステップS104で生成された差分データD1の処理対象ブロックの縦横とも最大周波数であるDCT係数の値を0にすることで差分ブロックを生成し、ステップS102で取得した変換後成分C1の処理対象ブロックを前記差分ブロックで置換する(図11のステップS1005及びS1006)。
ステップS1006の後、処理対象ブロックがステップS104で生成された差分データD1、ステップS105で取得した参照変換後成分C2、ステップS102で取得した変換後成分C1の3つの変換後成分の最後のブロックである場合は動作を終了し、最後のブロックではない場合、処理対象ブロックをデータの記憶順で次のブロックに移動し、ステップS1002を実行する(図11のステップS1007)。
ステップS1002において、ステップS102で取得した変換後成分C1における値が0でないDCT係数の数が、ステップS105で取得した参照変換後成分C2における値が0でないDCT係数の数以上である場合はステップS1006に進み、ステップS1005において差分合計値M1が変換後成分合計値M2より大きい場合、ステップS102で取得した変換後成分C1の処理対象ブロックの縦横とも最大周波数であるDCT係数の値を99にし、ステップS1007の動作を実行する(図11のステップS1009)。
次に、図10に示すA1〜A6のように時間とともに変化した監視映像を圧縮した圧縮画像が、記憶装置10に記憶されている場合を例に、ブロック種別判定部24の動作例について説明する。A1〜A6はそれぞれ縦16画素横16画素で24ビットRGBカラービットマップ画像であり、白い部分の画素値はRGBの各値が255である。また、A1とA4は同じ画像である。A1〜A4の黒い部分の画素値はRGBの各値が0であり、A5はA4の黒い部分のRGBの各値が51となっており、A6はA4の黒い部分のRGBの各値が102となっている。
図12は、監視映像の変化の様子を示す図である。図12に示すように、A1からA2では、A2内の矩形領域A21が監視カメラの視界に出現し、A2からA3では図12の矢印で示すようにA21が下に移動して矩形領域A22の位置に到達することでA3の画像となる。また、A3からA4では、図12の矢印で示すようにA21が更に下に移動して監視カメラの視界から消えることにより、A4の画像となる。A4からA5及びA5からA6の変化は、監視カメラの照明環境の変化等により、画像全体が明るくなることにより起こったとする。なお、参照変換後成分記憶部22及び42には、あらかじめA1をJPEG符号化することで得られた圧縮画像から生成された変換後成分が、参照変換後成分C2として記憶されている。
図9、図13乃至図28は、本発明の第1の実施例における変換後成分K1〜K17の例を示す図である。A1をJPEG符号化することで得られた圧縮画像をステップS101で取得後、ステップS102に相当する動作によって、変換後成分展開部21が、K1(図9)に示すような輝度成分の変換後成分を生成する。次に、変換後成分展開部21が生成した変換後成分C1=K1を、ブロック種別判定部24がステップS106に相当する動作によって取得する。以降の変換後成分の例では、グレースケール画像A1〜A6をJPEG符号化することで得られたJPEGデータの色差成分は0であるため、輝度成分のみを示す。
次に、差分演算部23がステップS103及びステップS104に相当する動作によって差分データD1を生成する。変換後成分C1及び参照変換後成分C2ともに変換後成分K1であるので、前記差分データの要素は全て0になる。次に、ステップS105及びステップS106に相当する動作によって、ブロック種別判定部24がブロック種別判定行う。
前記差分データの全てのブロックで、図11に示した差分ブロック決定処理動作のステップS1002で、値が0でないDCT係数の数が、ステップS102で送信された変換後成分C1=K1、ステップS105で取得した参照変換後成分C2=K1ともに等しいので、ステップS1006の動作が行われ、全てのブロックにおいて差分ブロックB1が生成、置換される。ステップS106の後、ステップS107に相当する動作によって、値が全て0のDCT係数である変換後成分C3が変換後成分圧縮部25によって圧縮され、ステップS108に相当する動作によって前記圧縮されたデータが再圧縮画像として記憶装置30に記憶される。
次に、A2をJPEG符号化することで得られた圧縮画像をステップS101で取得後、ステップS102に相当する動作によって、変換後成分展開部21が、K2(図13)に示すような変換後成分C1を生成する。次に、変換後成分展開部21が生成した変換後成分C1=K2を、ブロック種別判定部24がステップS106に相当する動作によって取得する。A1と同様の処理によって、ステップS103及びステップS104に相当する動作によって差分演算部23が変換後成分C1=K2及び、参照変換後成分C2=K1から、差分データD1=K3(図14)を生成する。
次にステップS105及びステップS106に相当する動作として、図11に示した動作が行われ、図11のステップS1002において、値が0でないDCT係数の数は、左上のブロックではステップS102で取得した変換後成分C1=K2の方がステップS105で取得した参照変換後成分C2=K1よりも多く、その他のブロックでは等しいため、ブロック種別判定部24によってステップS1006の動作が行われ、全てのブロックにおいて差分ブロックB1が生成、置換された結果、K4(図15)のような変換後成分が生成される。ただし、K3の全てのブロックの縦横とも最大周波数であるDCT係数は0であるため、差分ブロック置換後の変換後成分K4は変換後成分K3と同じとなる。ステップS106の後、ステップS107に相当する動作によって、変換後成分C3=K4が変換後成分圧縮部25によって圧縮され、ステップS108に相当する動作によって前記圧縮されたデータが再圧縮画像として記憶装置30に記憶される。
次に、A3をJPEG符号化することで得られた圧縮画像をステップS101で取得後、ステップS102に相当する動作によって、変換後成分展開部21が、K5(図16)に示すような変換後成分C1を生成する。次に、変換後成分展開部21が生成した変換後成分C1=K5を、ブロック種別判定部24がステップS106に相当する動作によって取得する。
A1、A2と同様の処理によって、ステップS103及びステップS104に相当する動作によって差分演算部23が変換後成分C1=K5及び、参照変換後成分C2=K1から、差分データD1=K6(図17)を生成する。
次にステップS105及びステップS106に相当する動作として、図11に示した動作が行われ、図15のステップS1002において、値が0でないDCT係数の数は、左下以外のブロックではステップS102で取得した変換後成分C1=K5と、ステップS105で取得した参照変換後成分C2=K1で同じであるため、ステップS1006の動作が行われ、差分ブロックB1が生成、置換される。
しかし、左下のブロックでは、値が0でないDCT係数の数は、左下以外のブロックではステップS102で取得した変換後成分C1=K5の方が、ステップS105で取得した参照変換後成分C2=K1よりも少ないので、ステップS1003及びステップS1004の動作を行い、差分合計値4779、変換後成分合計値2348を得る。
ステップS1005において、差分合計値4779の方が変換後成分合計値2348よりも大きいため、ステップS1009の非差分ブロック生成処理を行い、K6の左下のブロックの縦横とも最大周波数であるDCT係数の値を99にし、変換後成分C3=K7(図18)を得る。ステップS106の後、ステップS107に相当する動作によって、変換後成分C3=K7が変換後成分圧縮部25によって圧縮され、ステップS108に相当する動作によって前記圧縮されたデータが再圧縮画像として記憶装置30に記憶される。
次に、A4をJPEG符号化することで得られた圧縮画像をステップS101で取得後、ステップS102に相当する動作によって、変換後成分展開部21が、K1に示すような変換後成分C1を生成する。次に、変換後成分展開部21が生成した変換後成分C1=K1を、ブロック種別判定部24がステップS106に相当する動作によって取得する。以降の動作はA1をJPEG符号化することで得られた圧縮画像をS101で取得後の動作と同じであるので省略する。
次に、A5をJPEG符号化することで得られた圧縮画像をステップS101で取得後、ステップS102に相当する動作によって、変換後成分展開部21が、K8(図19)に示すような変換後成分C1を生成する。次に、変換後成分展開部21が生成した変換後成分C1=K8を、ブロック種別判定部24がステップS106に相当する動作によって取得する。A1〜A4と同様の処理によって、ステップS103及びステップS104に相当する動作によって差分演算部23が変換後成分C1=K8及び、参照変換後成分C2=K1から、差分データD1=K9(図20)を生成する。
次にステップS105及びステップS106に相当する動作として、図11に示した動作が行われ、図11のステップS1002において、値が0でないDCT係数の数は、左下以外のブロックではステップS102で取得した変換後成分C1=K8と、ステップS105で取得した参照変換後成分C2=K1で同じであるため、ステップS1006の動作が行われ、差分ブロックB1が生成、置換される。
しかし、左下のブロックでは、値が0でないDCT係数の数は、左下以外のブロックではステップS102で取得した変換後成分C1=K8の方が、ステップS105で取得した参照変換後成分C2=K1よりも少ないので、ステップS1003及びステップS1004の動作を行い、差分合計値1178、変換後成分合計値3941を得る。ステップS1005において、差分合計値1178の方が変換後成分合計値3941よりも小さいため、ステップS1006の差分ブロック生成処理を行い、K9の左下のブロックの縦横とも最大周波数であるDCT係数の値を0にし、変換後成分C3=K10(図21)を得る。ステップS106の後、ステップS107に相当する動作によって、変換後成分C3=K10が変換後成分圧縮部25によって圧縮され、ステップS108に相当する動作によって前記圧縮されたデータが再圧縮画像として記憶装置30に記憶される。
次に、A6をJPEG符号化することで得られた圧縮画像をステップS101で取得後、ステップS102に相当する動作によって、変換後成分展開部21が、K11(図22)に示すような変換後成分C1を生成する。次に、変換後成分展開部21が生成した変換後成分C1=K11を、ブロック種別判定部24がステップS106に相当する動作によって取得する。A1〜A4と同様の処理によって、ステップS103及びステップS104に相当する動作によって差分演算部23が変換後成分C1=K11及び、参照変換後成分C2=K1から、K12(図23)のような差分データを生成する。
次にステップS105及びステップS106に相当する動作として、図11に示した動作が行われ、図11のステップS1002において、値が0でないDCT係数の数は、左下以外のブロックではステップS102で取得した変換後成分C1=K11と、ステップS105で取得した参照変換後成分C2=K1で同じであるため、ステップS1006の動作が行われ、差分ブロックB1が生成、置換される。しかし、左下のブロックでは、値が0でないDCT係数の数は、左下以外のブロックではステップS102で取得した変換後成分C1=K11の方が、ステップS105で取得した参照変換後成分C2=K1よりも少ないので、ステップS1003及びステップS1004の動作を行い、差分合計値2396、変換後成分合計値3103を得る。
ステップS1005において、差分合計値2396の方が変換後成分合計値3103よりも小さいため、ステップS1006の差分ブロック生成処理を行い、K12の左下のブロックの縦横とも最大周波数であるDCT係数の値を0にし、変換後成分C3=K13(図24)を得る。ステップS106の後、ステップS107に相当する動作によって、変換後成分C3=K13が変換後成分圧縮部25によって圧縮され、ステップS108に相当する動作によって前記圧縮されたデータが再圧縮画像として記憶装置30に記憶される。
以上の動作により、監視映像の圧縮画像から生成した変換後成分を構成するブロックを、非差分ブロックあるいは差分ブロックに置換する。非差分ブロックあるいは差分ブロックは、人間の視覚で検出しにくい最大周波数成分を用いて非差分ブロックと差分ブロックを識別するように生成されている。差分ブロックに置換することで、前記ブロックで値が0に近い小さな値であるDCT係数の数を増やすことができる。0に近い小さな値は、変換後成分圧縮部で行われる量子化処理によって0となり、量子化後の圧縮処理による圧縮率を向上させることができる。このため、前記ブロックを変換後成分圧縮部25が圧縮することで得られた再圧縮画像であるJPEGデータのサイズは、圧縮画像記憶部11に記憶されていた圧縮画像であるJPEGデータのサイズよりも小さくなる。
また、上記の処理を圧縮画像を画像データまで復号してから行うのではなく、復号処理の途中で得られる変換後成分であるDCT係数を用いて行うことで、従来技術に比べて再圧縮に必要な処理量を削減できる。
次に、図10のA1〜A6のような監視映像をJPEG符号化することで得られた圧縮画像から、圧縮画像再圧縮装置20が生成した再圧縮画像を、再圧縮画像復号装置40が画像データへと復号する場合を例に、再圧縮画像復号装置40内の変換後成分合成部44の動作例について説明する。参照変換後成分記憶部42には変換後成分C2=K1が記憶されている。
まず、ステップS202に相当する動作によって、再圧縮画像記憶部31に記憶されている再圧縮画像から、変換後成分展開部41が、値が全て0のDCT係数である変換後成分C3を生成し、生成した変換後成分が変換後成分合成部44に送信される。
次に、ステップS202で送信された値が全て0のDCT係数である変換後成分は、全てのブロックが差分ブロックであるので、変換後成分合成部44は、前記変換後成分とステップS204に相当する動作で参照変換後成分記憶部42から取得した変換後成分C1=K1を用いて差分ブロック合成処理を行い、変換後成分C1=K1を得る。次に、ステップS209に相当する動作によって変換後成分合成部44が、変換後成分C1=K1を変換後成分逆変換部45に送信し、ステップS210に相当する動作によって、変換後成分C1=K1を変換後成分逆変換部45が逆離散コサイン変換し、画像データを生成する。
同様の処理によって、変換後成分合成部44は、変換後成分C3=K4をステップS202において取得する。K4の全ブロックが差分ブロックであるので、ステップS204、ステップS205、ステップS206に相当する動作によって、変換後成分C3=K4と参照変換後成分記憶部42から取得した変換後成分C2=K1を用いて差分ブロック合成を行い、変換後成分C1=K14(図25)を得る。次に、ステップS209に相当する動作によって変換後成分合成部44が、変換後成分C1=K14を変換後成分逆変換部45に送信し、ステップS210に相当する動作によって、変換後成分C1=K14を変換後成分逆変換部45が逆離散コサイン変換し、画像データを生成する。
同様の処理によって、変換後成分合成部44は、変換後成分C3=K7をS202において取得する。K7は左下のブロックが非差分ブロックであるので、左下のブロックは、非差分ブロックにおいて縦横とも最大周波数であるDCT係数の値を0にした上で、前記ブロックのDCT係数の値で参照変換後成分C2=K1の左下のブロックの値を置き換え、残りの差分ブロックを、ステップS204、ステップS205、ステップS206に相当する動作によって、変換後成分C3=K7と参照変換後成分記憶部42から取得した変換後成分C2=K1を用いて差分ブロック合成を行い変換後成分C1=K15(図26)を得る。次に、ステップS209に相当する動作によって変換後成分合成部44が、変換後成分C1=K15を変換後成分逆変換部45に送信し、ステップS210に相当する動作によって、変換後成分C1=K15を変換後成分逆変換部45が逆離散コサイン変換し、画像データを生成する。
同様の処理によって、変換後成分合成部44は、値が全て0のDCT係数である変換後成分C3をS202において取得する。値が全て0のDCT係数である変換後成分の全ブロックが差分ブロックであるので、ステップS204、ステップS205、ステップS206に相当する動作によって、値が全て0のDCT係数である変換後成分C3と参照変換後成分記憶部42から取得した変換後成分C2=K1を用いて差分ブロック合成を行い、変換後成分C1=K1を得る。次に、ステップS209に相当する動作によって変換後成分合成部44が、変換後成分C1=K1を変換後成分逆変換部45に送信し、ステップS210に相当する動作によって、変換後成分C1=K1を変換後成分逆変換部45が逆離散コサイン変換し、画像データを生成する。
同様の処理によって、変換後成分合成部44は、変換後成分C3=K10をステップS202において取得する。K10の全ブロックが差分ブロックであるので、ステップS204、ステップS205、ステップS206に相当する動作によって、変換後成分C3=K10と参照変換後成分記憶部42から取得した変換後成分C2=K1を用いて差分ブロック合成を行い、変換後成分C1=K16(図27)を得る。次に、ステップS209に相当する動作によって変換後成分合成部44が、変換後成分C1=K16を変換後成分逆変換部45に送信し、ステップS210に相当する動作によって、変換後成分C1=K16を変換後成分逆変換部45が逆離散コサイン変換し、画像データを生成する。
同様の処理によって、変換後成分合成部44は、変換後成分C3=K13をステップS202において取得する。K13の全ブロックが差分ブロックであるので、ステップS204、ステップS205、ステップS206に相当する動作によって、変換後成分C3=K13と参照変換後成分記憶部42から取得した変換後成分C2=K1を用いて差分ブロック合成を行い、変換後成分C1=K17(図28)を得る。次に、ステップS209に相当する動作によって変換後成分合成部44が、変換後成分C1=K17を変換後成分逆変換部45に送信し、ステップS210に相当する動作によって、変換後成分C1=K17を変換後成分逆変換部45が逆離散コサイン変換し、画像データを生成する。
上記の処理によって得られた変換後成分K1は、再圧縮される前の変換後成分K1と同一であり、また上記の処理によって得られた変換後成分K14〜K17は、K2、K5、K8、K11と比較して、人間の視覚で検出しにくい最大周波数成分以外のDCT係数の差が少ないため、変換後成分K1及びK14〜K17を変換後成分逆変換部45が逆離散コサイン変換することで、圧縮画像からの画質劣化が少ない画像データを得ることができる。
(4−2)第2の実施例
次に、本発明の第2の実施例を、図面を参照して説明する。かかる実施例は本発明の第3の実施の形態に対応するものである。図29は、本発明の第2の実施例にかかる画像処理システムを示す図である。図29に示すように、本実施例は、第1の実施例の構成要素に加えて、参照変換後成分更新装置50としてパーソナルコンピュータ91を、参照圧縮画像生成装置60としてパーソナルコンピュータ92を、参照変換後成分展開装置70としてパーソナルコンピュータ93を備えている。
参照変換後成分更新装置50であるパーソナルコンピュータ91は、差分演算部51、参照候補変換後成分更新部53、参照候補変換後成分記憶部54、差分演算部55及び参照変換後成分更新部56として機能する中央演算装置94を、一次変換後成分記憶部52として機能する磁気ディスク装置95を備えている。参照圧縮画像生成装置60であるパーソナルコンピュータ92は、変換後成分圧縮部61として機能する中央演算装置96を、参照圧縮画像記憶部62として機能する磁気ディスク装置97を備えている。参照変換後成分展開装置70であるパーソナルコンピュータ93は、変換後成分展開部71として機能する中央演算装置98を備えている。
本実施例では、あらかじめ参照圧縮画像生成装置60と記憶装置30の内部の時計の時刻を同期させておき、再圧縮画像復号装置40を動作させる際、ユーザ操作によって、参照圧縮画像生成装置60内の参照圧縮画像記憶部62に記憶されている参照圧縮画像の記録時刻を参照し、変換後成分展開部41が取得する再圧縮画像の記録時刻よりも前に記録された参照圧縮画像のうち最も新しい参照圧縮画像から、参照変換後成分展開装置70を用いて変換後成分を展開し、展開した変換後成分を参照変換後成分記憶部42に記憶させておく。
本実施例で用いる画像データ、圧縮画像、ブロック、変換後成分、差分データ、差分ブロック、再圧縮画像は、第1の実施例と同じである。また、本実施例における記憶装置81、圧縮画像再圧縮装置(パーソナルコンピュータ80)、記憶装置(磁気ディスク装置82)、及び再圧縮画像復号装置(パーソナルコンピュータ83)の動作は、第1の実施例と同じである。
本実施例における参照変換後成分判定は、次のように動作する。図30は、参照変換後成分判定処理方法を示すフローチャートである。参照候補変換後成分更新部53は、連続画像変化量及び候補更新時変化量の2つの数値データを記憶しており、処理開始時に、候補更新時変化量に適等な数値を代入する(図30のステップS901)。本実施例では候補更新時変化量にステップS901において1500を代入する。
次に、参照候補変換後成分更新部53は、図6のステップS303で生成された差分データから画像変化量を計算し、得られた画像変化量を連続画像変化量に代入する(図29のステップS902)。本実施例では、前記画像変化量として、差分データを構成するDCT係数の差分のうち、直流成分以外の差分の絶対値の合計値を用いる。
ステップS902の後、連続画像変化量と候補更新時変化量の大きさを比較し、連続画像変化量が候補更新時変化量よりも大きい場合、図30のステップS904に進み、連続画像変化量が候補更新時変化量よりも小さい場合、図30のステップS305に進む(図30のステップS903)。連続画像変化量が候補更新時変化量よりも小さい場合、参照候補変換後成分更新部53は、候補更新時変化量に連続画像変化量の値を代入し、図6のステップS301で変換後成分展開部21から取得した変換後成分C1を参照候補変換後成分記憶部54に記憶する(図30のステップS904及びS905)。
ステップS905の後、参照候補変換後成分更新部53は、ステップS301で取得した変換後成分C1を、一次変換後成分C4として一次変換後成分記憶部52に記憶する(図30のステップS305)。ステップS305の後、参照候補変換後成分更新部53は、S301の動作によって変換後成分展開部21から変換後成分が送信されるまで待機する(図30のステップS906)。
次に、A1〜A6のように時間とともに変化した監視映像を圧縮した圧縮画像が、記憶装置10に記憶されている場合を例に、本実施例の参照候補変換後成分更新部53における参照変換後成分判定動作例について説明する。なお、参照変換後成分記憶部22及び42には、あらかじめA1をJPEG符号化することで得られた圧縮画像から生成された変換後成分K1が、参照変換後成分C2として記憶されており、一次変換後成分記憶部52には、値が全て0のDCT係数である変換後成分C4があらかじめ記憶されている。
図31は、A1〜A6の監視映像がJPEG符号化されることで得られた圧縮画像を圧縮画像再圧縮装置20が処理した際の、候補更新時変化量、連続画像変化量、一次変換後成分、参照変換後成分、参照候補変換後成分の変化を示す図である。
ステップS301に相当する動作によって、画像データA1をJPEG符号化することで得られた圧縮画像(JPEGデータ)から、変換後成分展開部21によってK1に示すような変換後成分C1が得られる。そして、ステップS303では、K1と一次変換後成分である値が全て0のDCT係数である変換後成分C4から差分演算部51が差分データD2を生成し、生成した差分データD2を構成しているDCT係数の差分のうち、直流成分以外の差分の絶対値の合計値をK1及び値が全て0のDCT係数である変換後成分C4の画像変化量として計算し、画像変化量6512を得る。次に、連続画像変化量に6512を代入するが、ステップS903において候補更新時変化量である1500よりも連続画像変化量6512が大きいため、ステップS306の参照候補変換後成分記憶処理をせずにS305の動作に進み、参照候補変換後成分更新部53が、変換後成分K2を一次変換後成分記憶部52に記憶し、参照候補変換後成分はK1のまま変化しない。
次に、ステップS301ではA2をJPEG符号化することで得られた圧縮画像から、変換後成分展開部21によってK2に示すような変換後成分C1が得られる。そして、ステップS303では、K2と一次変換後成分C4=K1から差分演算部23が差分データD2を生成し、生成した差分データD2を構成しているDCT係数の差分のうち、直流成分以外の差分の絶対値の合計値をK1及びK2の画像変化量として計算し、画像変化量4268を得る。次に、連続画像変化量に4268を代入するが、ステップS903において候補更新時変化量である1500よりも連続画像変化量4268が大きいため、ステップS306の参照候補変換後成分記憶処理をせずにステップS305の動作に進み、参照候補変換後成分更新部53が、変換後成分K2を一次変換後成分記憶部52に記憶し、参照候補変換後成分はK1のまま変化しない。
同様に、S301でA3をJPEG符号化することで得られた圧縮画像から、変換後成分展開部21によってK5に示すような変換後成分が得られるが、K5と一次変換後成分であるK2の差分データから生成された連続画像変化量は8472となり、候補更新時変化量1500よりも大きいため、ステップS306の参照候補変換後成分記憶処理をせずにS305の動作に進み、参照候補変換後成分更新部53が、変換後成分K5を一次変換後成分記憶部52に記憶し、参照候補変換後成分はK1のまま変化しない。
さらに、S301でA4をJPEG符号化することで得られた圧縮画像から、変換後成分展開部21によってK1に示すような変換後成分が得られるが、K1と一次変換後成分であるK5の差分データから生成された連続画像変化量は4204となり、候補更新時変化量1500よりも大きいため、S306の参照候補変換後成分記憶処理をせずにS305の動作に進み、参照候補変換後成分更新部53が、変換後成分K1を一次変換後成分記憶部52に記憶し、参照候補変換後成分はK1のまま変化しない。
次に、S301でA5をJPEG符号化することで得られた圧縮画像から、変換後成分展開部21によってK8に示すような変換後成分を得る。ステップS902に相当する動作によって、K8と一次変換後成分であるK1の差分データから生成された連続画像変化量は1351であり、候補更新時変化量1500よりも小さいため、S904に相当する動作として候補更新時変化量に連続画像変化量1351を代入し、S306の参照候補変換後成分記憶処理を行い、参照候補変換後成分記憶部54にK8が記憶され、S305の動作として、参照候補変換後成分更新部53が、変換後成分K8を一次変換後成分記憶部52に記憶する。
次に、S301でA6をJPEG符号化することで得られた圧縮画像から、変換後成分展開部21によってK11に示すような変換後成分を得る。ステップS902に相当する動作によって、K11と一次変換後成分であるK8の差分データから生成された連続画像変化量は1387であり、候補更新時変化量1351よりも大きいため、S306の参照候補変換後成分記憶処理をせずにステップS305の動作に進み、参照候補変換後成分更新部53が、S305の動作として変換後成分K11を一次変換後成分記憶部52に記憶し、参照候補変換後成分はK8のまま変化しない。
次に、A1〜A6のように時間とともに変化した監視映像を圧縮した圧縮画像が、記憶装置10に記憶されている場合を例に、本実施例の参照変換後成分更新部56における参照変換後成分更新動作例について説明する。本実施例においては、参照変換後成分更新部56は、参照変換後成分更新閾値Th1=1000を記憶し、参照変換後成分更新を行う。
S301でA1〜A6をJPEG符号化することで得られた圧縮画像から、変換後成分展開部21が生成した変換後成分に対して、参照候補変換後成分更新部53が処理を完了した後に、ユーザ操作によって参照変換後成分更新部56が動作したとする。
S403に相当する動作によって、差分演算部55が、参照変換後成分であるK1と参照候補変換後成分であるK8の差分データを生成し、ステップS405に相当する動作によって、生成した差分データから、参照変換後成分更新部56が画像変化量1351を求める。画像変化量1351は参照変換後成分更新閾値Th11000を超えるので、参照変換後成分更新部56は、ステップS406に相当する動作によって、変換後成分K8を参照変換後成分記憶部22に記憶する。
以上の動作により、A4〜A6のような変化の少ない連続画像の中から参照候補変換後成分を選択し、さらに参照候補変換後成分が参照変換後成分に比べて変化が大きい場合に参照候補変換後成分を更新することで、画像全体の輝度の変化等が時間とともに画面全体に変化が生じた場合でも非差分ブロックあるいは差分ブロックに置換された変換後成分においてより多くのDCT係数を0にすることができる。
また、上記の処理を圧縮画像を画像データまで復号してから行うのではなく、復号処理の途中で得られる変換後成分であるDCT係数を用いて行うことで、従来技術に比べて再圧縮に必要な処理量を削減できる。
以上、第1及び第2の実施例では、画像データとして縦16画素横16画素の24ビットRGBカラーのビットマップ画像を、圧縮画像として縦16画素横16画素の24ビットRGBカラーのJPEGデータを用いたが、その他の画素数、色空間、画像フォーマットを用いてもよい。また、第1及び第2の実施例では、ブロックとして縦8画素横8画素の矩形領域を用いたが、その他の画素数の矩形領域あるいは矩形以外の円形領域等を用いてもよい。
さらに、第1及び第2の実施例では、変換後成分として、画像データのブロック領域におけるDCT係数を、画像を構成する全部ロック分集めた集合を用いたが、DCT係数以外のウェーブレット係数等の直交変換によって得られた成分を用いてもよい。さらにまた、第1及び第2の実施例では、差分データとして、変換後成分であるDCT係数の集合2つに対して、ブロック毎に同一の周波数成分間の差を2で割った値の集合を用いたが、差の代わりに割り算やビット列の差分等、2つの集合の差を求めるその他の演算方法を用いてもよく、また、変換後成分の値の範囲に収まるための演算として2で割る以外の方法を用いてもよい。
また、第1及び第2の実施例では、非差分ブロック及び差分ブロックを識別する際、DCT係数の値がJPEG符号化処理の途中で行われる量子化処理において、最大周波数成分の量子化処理で使用される量子化ステップの最大値(例えば99)の場合は、前記ブロックを非差分ブロック、前記最大周波数成分の値が0である場合は、差分ブロックであるとしたが、その他の周波数成分を用い、用いた周波数で第1及び第2の実施例で用いた値とは異なる値を用いて識別してもよい。
さらに、第1の実施例では、参照変換後成分記憶部22及び42にはあらかじめ変換後成分K1が記憶されている場合について説明したが、ユーザ操作等によって参照変換後成分記憶部22及び42に変換後成分が記憶されていてもよい。さらにまた、第2の実施例では、参照変換後成分更新部56の動作をユーザ操作によって行ったが、変換後成分展開部21が処理した圧縮画像の枚数を条件として自動的に実行されるようにしてもよい。
また、第2の実施例では、ユーザ操作によって参照変換後成分展開装置70が操作されたが、同様の操作をパーソナルコンピュータ等を用いて自動的に行ってもよい。さらに、第1及び第2の実施例では、記憶装置10であるパーソナルコンピュータ80から圧縮画像再圧縮装置20が圧縮画像を取得する場合について説明した、カメラで画像データ撮影した直後に撮影した画像データを圧縮し、圧縮の結果得られた圧縮画像を、圧縮画像再圧縮装置20が取得してもよい。
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
例えば、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。