JP4703460B2 - プログレッシブｊｐｅｇ再生装置 - Google Patents

Description

本発明は、プログレシッブＤＣＴ方式のＪＰＥＧデータをデコードして画像データを再生するプログレッシブＪＰＥＧ再生装置に関する。

プログレシッブＤＣＴ方式のＪＰＥＧデータを再生する際には、スキャンごとに分けられた実画像データを周波数の低いスキャンから高いスキャンへと順にハフマンデコードしていくが、各スキャンごとにハフマンデコード結果を全て記憶しておく必要があり、莫大なメモリ容量が必要となる。そこで、従来は、マスク処理（ここではハフマンデコード結果を間引く処理を“マスク処理”と呼ぶことにする）を適応していた（例えば、特許文献１参照。）。

図３は従来のプログレッシブＪＰＥＧ再生装置を示す。図３において、３０１、３０２は入力端子、３０３はＶＬＤ処理手段、３０４はメモリ手段、３０５はＩＱ処理手段、３０６はＩＤＣＴ処理手段、３０７はスケーリング処理手段、３０８は出力端子である。以上のように構成されたプログレッシブＪＰＥＧ再生装置について図３を用いて説明する。

入力端子３０１にはプログレッシブＤＣＴ方式のＪＰＥＧデータが入力される。入力端子３０２にはマスクサイズ情報が入力される。マスクサイズ情報は、画像情報（ハフマンデコード結果）の間引き量に関する情報である。

ＶＬＤ処理手段３０３は、入力端子２０１からのＪＰＥＧデータを入力して、スキャンごとにマクロブロック単位でハフマンデコードを行ってハフマンデコード結果を得るとともに、入力端子３０２からのマスクサイズ情報を基に、スキャンごとにマクロブロック単位でハフマンデコード結果を間引くマスク処理を行う。また、ＶＬＤ処理手段３０３は、ハフマンデコードを行うに際し、メモリ手段３０４に１つ前に格納されたスキャンのハフマンデコード結果を参照してハフマンデコードを行う（但し、最初のスキャンを除く。）。そして、ＶＬＤ処理手段３０３は、ハフマンデコードおよびマスク処理したスキャンを、１つ前に格納されたスキャンに上書きしてメモリ手段３０４に格納する。これにより、メモリ手段３０４に格納されるスキャンは、格納される順に精細度の高い画像データへと近づいていく。

ＩＱ処理手段３０５は、メモリ手段３０４にスキャンが格納される度に、メモリ手段３０４からスキャンを読み出してマクロブロック単位で逆量子化処理を行う。ＩＤＣＴ処理手段３０６は、ＩＱ処理手段３０５からのデータに対してマクロブロック単位で逆離散コサイン変換処理（ＩＤＣＴ処理）を行う。スケーリング処理手段３０７は、ＩＤＣＴ処理手段３０６からのデータに対して表示用のスケーリング処理を行い、出力端子３０８に出力する。

しかしながら、上記従来の構成では、ハフマンデコード結果をマスク処理するときの間引き量を固定していたため、用意されたメモリに空き容量があるにもかかわらず必要以上にハフマンデコード結果を間引き、必要最小限の画像劣化に抑えることができないという問題を有していた。
米国特許第６，２５９，８２０号明細書

本発明は、上記問題点に鑑み、入力されたＪＰＥＧデータの画像サイズの情報と、用意されたメモリのサイズの情報とを基に、ハフマンデコード結果（画像情報）の間引き量を決定することにより、用意されたメモリに対応して画像劣化を必要最小限に抑えることができるプログレッシブＪＰＥＧ再生装置を提供することを目的とする。

本発明の請求項１記載のプログレッシブＪＰＥＧ再生装置は、プログレッシブＤＣＴ方式のＪＰＥＧデータのマーカー解析により認識した画像サイズの情報を生成する画像サイズ認識手段と、メモリサイズの情報と前記画像サイズの情報を基に画像情報の間引き量を決定しその間引き量の情報を出力するマスクサイズ決定手段と、前記ＪＰＥＧデータをハフマンデコードして画像情報を得るとともに、それらの画像情報から前記間引き量の情報に従って画像情報を間引くマスク処理を行うＶＬＤ処理手段と、前記ＶＬＤ処理手段からの画像情報を格納するとともに、前記メモリサイズの情報を生成するメモリ手段と、前記メモリ手段の出力に対して逆量子化処理を行うＩＱ処理手段と、前記ＩＱ処理手段の出力に対して逆離散コサイン変換処理を行うＩＤＣＴ処理手段と、を具備することを特徴とする。

また、本発明の請求項２記載のプログレッシブＪＰＥＧ再生装置は、請求項１記載のプログレッシブＪＰＥＧ再生装置であって、前記ＪＰＥＧデータのマーカー解析により認識したカラーフォーマットの情報を生成するカラーフォーマット認識手段をさらに具備し、前記マスクサイズ決定手段は、前記メモリサイズの情報と前記画像サイズの情報と前記カラーフォーマットの情報を基にＹＵＶ成分ごとに画像情報の間引き量を決定しその間引き量の情報を出力することを特徴とする。

また、本発明の請求項３記載のプログレッシブＪＰＥＧ再生装置は、請求項１記載のプログレッシブＪＰＥＧ再生装置であって、前記ＪＰＥＧデータのマーカー解析により認識したカラーフォーマットの情報を生成するカラーフォーマット認識手段をさらに具備し、前記ＶＬＤ処理手段は、ハフマンデコードが完了したマクロブロックの数の情報を生成する機能をさらに有し、前記マスクサイズ決定手段は、前記画像サイズの情報と前記カラーフォーマットの情報を基にマクロブロックの総数を算出し、その算出した値と前記メモリサイズの情報と前記画像サイズの情報を基に各マクロブロックの位置に応じた画像情報の間引き量をマクロブロックごとに決定し、算出したマクロブロックの総数の情報と前記ＶＬＤ処理手段により生成されたマクロブロックの数の情報と前記画像サイズの情報を基に前記ＶＬＤ処理手段において次にハフマンデコードの処理が施されるマクロブロックあるいは現在ハフマンデコードの処理が施されているマクロブロックの位置を認識し、そのマクロブロックの間引き量の情報を出力することを特徴とする。

また、本発明の請求項４記載のプログレッシブＪＰＥＧ再生装置は、請求項３記載のプログレッシブＪＰＥＧ再生装置であって、前記マスクサイズ決定手段は、各マクロブロックの間引き量を画面の中央部分からの距離に応じて決定することを特徴とする。

また、本発明の請求項５記載のプログレッシブＪＰＥＧ再生装置は、請求項１ないし４のいずれかに記載のプログレッシブＪＰＥＧ再生装置であって、前記ＩＱ処理手段における逆量子化処理は、全スキャンがハフマンデコードされた後に行われることを特徴とする。

本発明によれば、プログレッシブＤＣＴ方式のＪＰＥＧデータをハフマンデコードする際に、メモリサイズと画像サイズにより画像情報の間引き量を決定することができるので、用意されたメモリに対応して画像劣化を必要最小限に抑えることができる。

（実施の形態１）
以下、本発明の実施の形態１におけるプログレッシブＪＰＥＧ再生装置について図面を参照しながら説明する。図１は本発明の実施の形態１におけるプログレッシブＪＰＥＧ再生装置の構成を示すブロック図である。

図１において、１０１は入力端子、１０２は画像サイズ認識手段、１０３はマスクサイズ決定手段、１０４はＶＬＤ処理手段、１０５はメモリ手段、１０６はＩＱ処理手段、１０７はＩＤＣＴ処理手段、１０８はスケーリング処理手段、１０９は出力端子である。

入力端子１０１には、プログレッシブＤＣＴ方式のＪＰＥＧデータが入力される。
画像サイズ認識手段１０２は、入力端子１０１に入力されたＪＰＥＧデータのマーカー情報を解析（マーカー解析）して画像サイズを認識し、その情報を生成して出力する。

マスクサイズ決定手段１０３は、画像サイズ認識手段１０２により生成された画像サイズの情報と、メモリ手段１０５により生成されたメモリサイズの情報を入力し、これらの情報を基にマスクサイズを決定し、そのマスクサイズの情報を出力する。ここで、マスクサイズは画像情報（ハフマンデコード結果）の間引き量に相当する。具体的には、マスクサイズの情報は、マクロブロックの所定の周波数成分を超える部分を間引くための情報である。

つまり、マスクサイズ決定手段１０３は、画像サイズの情報を基に、各マクロブロックの所定の係数部分以外のハフマンデコード結果を間引いた画像データ（スキャン）を格納するのに必要となるメモリ量を計算し、その計算値がメモリサイズの情報から得た実際のメモリ量以下であるか否かを判定する。判定の結果、所望のメモリ量（計算値）が実際のメモリ量以下である場合には、マスクサイズ決定手段１０３は、マクロブロックの所定の係数部分以外の部分のハフマンデコード結果を間引くためのマスクサイズを決定する。

ＶＬＤ処理手段１０４は、入力端子１０１からのＪＰＥＧデータを入力して、スキャンごとにマクロブロック単位でハフマンデコードを行ってハフマンデコード結果（画像情報）を得るとともに、それらのハフマンデコード結果からマスクサイズの情報（間引き量の情報）に従ってハフマンデコード結果を間引くマスク処理を行う。

具体的には、ＶＬＤ処理手段１０４は、メモリ手段１０５に１つ前に格納されたスキャンのハフマンデコード結果を参照してハフマンデコードを行う（但し、最初のスキャンを除く。）。そして、ＶＬＤ処理手段３０３は、ハフマンデコードおよびマスク処理したスキャンを、１つ前に格納されたスキャンに上書きしてメモリ手段３０４に格納する。これにより、メモリ手段３０４に格納されるスキャンは、格納される順に精細度の高い画像データへと近づいていく。また、ＶＬＤ処理手段１０４は、マスクサイズ決定手段１０３からのマスクサイズの情報を基に、各マクロブロックの所定の係数部分以外の部分のハフマンデコード結果がメモリ手段１０５に格納されないようにする。メモリ手段１０５は、ＪＰＥＧデータの再生に使用する記憶領域の情報（メモリサイズの情報）を生成して出力する。

ＩＱ処理手段１０６は、ＶＬＤ処理手段１０４による全スキャンについてのハフマンデコードが終了すると、メモリ手段１０５に格納された画像データを読み出してマクロブロック単位で逆量子化処理（ＩＱ処理）を行う。ＩＤＣＴ処理手段１０７は、ＩＱ処理手段１０６からのデータに対してマクロブロック単位で逆離散コサイン変換処理（ＩＤＣＴ処理）を行う。スケーリング処理手段１０８は、ＩＤＣＴ処理手段１０７からのデータに対して表示用のスケーリング処理を行い、出力端子１０９に出力する。

以下、このプログレッシブＪＰＥＧ再生装置の動作の具体例について図１を用いて説明する。入力端子１０１からプログレッシブＤＣＴ方式のＪＰＥＧデータが入力されると、まず、画像サイズ認識手段１０２が、ＪＰＥＧデータ中のマーカー情報を解析して画像サイズを認識し、その情報を生成して出力する。

マスクサイズ決定手段１０３は、画像サイズ認識手段１０２からの画像サイズの情報から得た画像データの縦横サイズの情報を基に、マスクサイズが４×４である場合に必要となるメモリ量を計算し、その計算値がメモリサイズの情報から得た実際のメモリ量以下であるかどうかを判定する。判定の結果、所望のメモリ量（計算値）が実際のメモリ量以下である場合は、マスクサイズ決定手段１０３は、マスクサイズの情報として‘マスクサイズ４×４’を出力する。

ここで、‘マスクサイズ４×４’とは、横８係数、縦８係数である１マクロブロックにおいて、周波数成分の低い横４係数、縦４係数部分以外の情報を削除する（間引く）ことをいう。以下、周波数成分の低い横Ａ係数、縦Ｂ係数部分以外の情報を削除することを‘マスクサイズＡ×Ｂ’という。

一方、判定の結果、マスクサイズが４×４である場合に必要となるメモリ量が実際のメモリ量よりも大きい場合は、マスクサイズ決定手段１０３は、画像サイズの情報を基に、マスクサイズが３×３である場合に必要となるメモリ量を計算し、その所望のメモリ量が実際のメモリ量以下であるかどうかを判定する。

判定の結果、所望のメモリ量が実際のメモリ量以下である場合は、マスクサイズ決定手段１０３は、マスクサイズの情報として‘マスクサイズ３×３’を出力する。一方、判定の結果、マスクサイズが３×３である場合に必要となるメモリ量が実際のメモリ量よりも大きい場合は、マスクサイズ決定手段１０３は、エラー判定を行う。当該プログレッシブＪＰＥＧ再生装置は、マスクサイズ決定手段１０３によりエラー判定がなされると、プログレッシブＪＰＥＧ再生処理を終了する。

ＶＬＤ処理手段１０４は、メモリ手段１０５に１つ前に格納されたスキャンのハフマンデコード結果を参照しながらハフマンデコードを行い（但し、最初のスキャンを除く。）ハフマンデコード結果を得るとともに、マスクサイズ決定手段１０３から得たマスクサイズの情報を基にマクロブロック単位でハフマンデコード結果を間引くマスク処理を行う。ＶＬＤ処理手段１０４は、全スキャンについてのハフマンデコードが完了するまでハフマンデコードの処理を繰り返し、ハフマンデコードおよびマスク処理したスキャンを、１つ前に格納されたスキャンに上書きしてメモリ手段３０４に格納する。メモリ手段１０５には、マスク処理により間引かれなかったハフマンデコード結果が格納される。

ＩＱ処理手段１０６は、ＶＬＤ処理手段１０４による全スキャンについてのハフマンデコードが終了すると、メモリ手段１０５に格納された画像データを読み出してマクロブロック単位で逆量子化処理を行う。ＩＤＣＴ処理手段１０７は、ＩＱ処理手段１０６からのデータに対してマクロブロック単位で逆離散コサイン変換処理を行う。スケーリング処理手段１０８は、ＩＤＣＴ処理手段１０７からのデータに対して表示用のスケーリング処理を行い、出力端子１０９へ出力する。なお、スケーリング処理した結果ではなく、ＩＤＣＴ処理手段１０７においてＩＤＣＴ処理した結果をモニタへ出力するようにしてもよい。

（実施の形態２）
続いて、本発明の実施の形態２におけるプログレッシブＪＰＥＧ再生装置について図面を参照しながら説明する。図２は本発明の実施の形態２におけるプログレッシブＪＰＥＧ再生装置の構成を示すブロック図である。但し、前述の実施の形態１で説明した部材と同一の部材には同一符号を付して、説明を省略する。

上述した実施の形態１では全マクロブロックに対して１つのマスクサイズを適用したが、本実施の形態２では、カラーフォーマットの情報を用いてＹＵＶ成分ごとにマスクサイズを決定する。

図２において、２０１は画像サイズ・カラーフォーマット認識手段である。画像サイズ・カラーフォーマット認識手段２０１は、入力端子１０１に入力されたＪＰＥＧデータのマーカー情報を解析（マーカー解析）して画像サイズとカラーフォーマットを認識し、その情報を生成して出力する。

また、本実施の形態２におけるマスクサイズ決定手段１０３は、メモリサイズと画像サイズとカラーフォーマットの情報を基にＹＵＶ成分ごとにマスクサイズを決定し、そのマスクサイズの情報を出力する。

具体的には、マスクサイズ決定手段１０３は、画像サイズとカラーフォーマットの情報を基に、ＹＵＶ成分それぞれの所定の係数部分以外のハフマンデコード結果を間引いた画像データ（スキャン）を格納するのに必要となるメモリ量を計算する。そして、マスクサイズ決定手段１０３は、その計算値がメモリサイズの情報から得た実際のメモリ量以下であるか否かを判定する。判定の結果、所望のメモリ量（計算値）が実際のメモリ量以下である場合には、マスクサイズ決定手段１０３は、ＹＵＶ成分ごとに所定の係数部分以外の部分のハフマンデコード結果を間引くためのマスクサイズを決定する。また、メモリサイズの情報から得た実際のメモリ量を超えるメモリ量が必要となる場合には、前述の実施の形態１と同様に、適宜、マスクサイズを小さくしていく。また、前述の実施の形態１と同様に、マスクサイズ決定手段１０３は、エラー判定を行ってもよい。

例えば、マスクサイズ決定手段１０３は、カラーフォーマットが４：２：２である場合、Ｙ成分のマクロブロックについては‘マスクサイズ４×４’を適応し、Ｕ成分とＶ成分のマクロブロックについては‘マスクサイズ４×２’を適応し、カラーフォーマットが４：４:４である場合、Ｙ成分のマクロブロックについては‘マスクサイズ４×４’を適応し、Ｕ成分とＶ成分のマクロブロックについては‘マスクサイズ２×２’を適応し、カラーフォーマットが４：２:０である場合には、Ｙ成分とＵ成分とＶ成分のマクロブロックについて‘マスクサイズ４×４’を適応する。このようにすれば、画像劣化を目立たなくすることができる。

（実施の形態３）
続いて、本発明の実施の形態３におけるプログレッシブＪＰＥＧ再生装置について、図２を参照しながら説明する。本実施の形態３におけるプログレッシブＪＰＥＧ再生装置の構成は、前述の実施の形態２におけるプログレッシブＪＰＥＧ再生装置と同様である。

本実施の形態３では、ＶＬＤ処理手段１０４が、スキャンごとにハフマンデコードが完了したマクロブロックの数の情報を生成する機能をさらに有する。また、マスクサイズ決定手段１０３は、画像サイズとカラーフォーマットの情報を基に１つのスキャン当たりのマクロブロックの総数を算出し、その算出した値とメモリサイズと画像サイズの情報を基に、各マクロブロックの位置に応じたマスクサイズをマクロブロックごとに決定する。また、マスクサイズ決定手段１０３は、算出したマクロブロックの総数の情報と、ＶＬＤ処理手段１０４により生成されたマクロブロックの数の情報と、画像サイズ・カラーフォーマット認識手段２０１により生成された画像サイズの情報を基に、ＶＬＤ処理手段１０４において次にハフマンデコードの処理が施されるマクロブロックあるいは現在ハフマンデコードの処理が施されているマクロブロックの位置を認識し、そのマクロブロックのマスクサイズの情報を出力する。

具体的には、マスクサイズ決定手段１０３は、画像サイズとカラーフォーマットの情報から総マクロブロック数を計算し、その算出した値とメモリサイズと画像サイズの情報を基に、各マクロブロックの所定の係数部分以外のハフマンデコード結果を間引いた画像データ（スキャン）を格納するのに必要となるメモリ量を計算する。ここで、各マクロブロックに対する所定の係数部分はそのマクロブロックの位置に応じて決める。そして、マスクサイズ決定手段１０３は、その計算値がメモリサイズの情報から得た実際のメモリ量以下であるか否かを判定する。判定の結果、所望のメモリ量（計算値）が実際のメモリ量以下である場合には、マスクサイズ決定手段１０３は、所定の係数部分以外の部分のハフマンデコード結果を間引くためのマスクサイズをマクロブロックの位置ごとに決定する。また、メモリサイズの情報から得た実際のメモリ量を超えるメモリ量が必要となる場合には、前述の実施の形態１と同様に、適宜、マスクサイズを小さくしていく。また、前述の実施の形態１と同様に、マスクサイズ決定手段１０３は、エラー判定を行ってもよい。

例えば、マスクサイズ決定手段１０３は、各マクロブロックの間引き量を画面の中央部分からの距離に応じて決定する。つまり、画面の中央部分に位置するマクロブロックについては大きなマスクサイズを適応して画像情報（ハフマンデコード結果）の間引きを控え、画面の中央から外れる部分に位置するマクロブロックについては小さなマスクサイズを適応することで画像情報を多く間引くようにしてもよい。このようにすれば、画像劣化を抑えることができる。

上記実施の形態１ないし３によれば、プログレッシブＤＣＴ方式のＪＰＥＧデータの再生において、画像劣化を最小限に抑えることができ、画質を改善することができる。

本発明にかかるプログレッシブＪＰＥＧ再生装置は、画像劣化を最小限に抑えることができ、プログレッシブＤＣＴ方式のＪＰＥＧデータを再生する装置に有用である。

本発明の実施の形態１におけるプログレッシブＪＰＥＧ再生装置の構成を示すブロック図 本発明の実施の形態２および３におけるプログレッシブＪＰＥＧ再生装置の構成を示すブロック図 従来のプログレッシブＪＰＥＧ再生装置の構成を示すブロック図

符号の説明

１０１、３０１、３０２ 入力端子
１０２ 画像サイズ認識手段
１０３ マスクサイズ決定手段
１０４、３０３ ＶＬＤ処理手段
１０５、３０４ メモリ手段
１０６、３０５ ＩＱ処理手段
１０７、３０６ ＩＤＣＴ処理手段
１０８、３０７ スケーリング処理手段
１０９、３０８ 出力端子
２０１ 画像サイズ・カラーフォーマット認識手段

Claims (5)

1. プログレッシブＤＣＴ方式のＪＰＥＧデータのマーカー解析により認識した画像サイズの情報を生成する画像サイズ認識手段と、
   メモリサイズの情報と前記画像サイズの情報を基に画像情報の間引き量を決定しその間引き量の情報を出力するマスクサイズ決定手段と、
   前記ＪＰＥＧデータをハフマンデコードして画像情報を得るとともに、それらの画像情報から前記間引き量の情報に従って画像情報を間引くマスク処理を行うＶＬＤ処理手段と、
   前記ＶＬＤ処理手段からの画像情報を格納するとともに、前記メモリサイズの情報を生成するメモリ手段と、
   前記メモリ手段の出力に対して逆量子化処理を行うＩＱ処理手段と、
   前記ＩＱ処理手段の出力に対して逆離散コサイン変換処理を行うＩＤＣＴ処理手段と、
   を具備することを特徴とするプログレッシブＪＰＥＧ再生装置。
2. 請求項１記載のプログレッシブＪＰＥＧ再生装置であって、前記ＪＰＥＧデータのマーカー解析により認識したカラーフォーマットの情報を生成するカラーフォーマット認識手段をさらに具備し、前記マスクサイズ決定手段は、前記メモリサイズの情報と前記画像サイズの情報と前記カラーフォーマットの情報を基にＹＵＶ成分ごとに画像情報の間引き量を決定しその間引き量の情報を出力することを特徴とするプログレッシブＪＰＥＧ再生装置。
3. 請求項１記載のプログレッシブＪＰＥＧ再生装置であって、
   前記ＪＰＥＧデータのマーカー解析により認識したカラーフォーマットの情報を生成するカラーフォーマット認識手段をさらに具備し、
   前記ＶＬＤ処理手段は、ハフマンデコードが完了したマクロブロックの数の情報を生成する機能をさらに有し、
   前記マスクサイズ決定手段は、前記画像サイズの情報と前記カラーフォーマットの情報を基にマクロブロックの総数を算出し、その算出した値と前記メモリサイズの情報と前記画像サイズの情報を基に各マクロブロックの位置に応じた画像情報の間引き量をマクロブロックごとに決定し、算出したマクロブロックの総数の情報と前記ＶＬＤ処理手段により生成されたマクロブロックの数の情報と前記画像サイズの情報を基に前記ＶＬＤ処理手段において次にハフマンデコードの処理が施されるマクロブロックあるいは現在ハフマンデコードの処理が施されているマクロブロックの位置を認識し、そのマクロブロックの間引き量の情報を出力する
   ことを特徴とするプログレッシブＪＰＥＧ再生装置。
4. 請求項３記載のプログレッシブＪＰＥＧ再生装置であって、前記マスクサイズ決定手段は、各マクロブロックの間引き量を画面の中央部分からの距離に応じて決定することを特徴とするプログレッシブＪＰＥＧ再生装置。
5. 請求項１ないし４のいずれかに記載のプログレッシブＪＰＥＧ再生装置であって、前記ＩＱ処理手段における逆量子化処理は、全スキャンがハフマンデコードされた後に行われることを特徴とするプログレッシブＪＰＥＧ再生装置。
   
   

Images