JP5763933B2 - 画像処理装置、画像処理方法 - Google Patents

Description

本発明は、画像表示のための技術に関するものである。

近年、ＴＶの受像機やＰＣのモニタをはじめとして、液晶表示パネルなどの様々な表示部を備えた画像表示装置が実用化されている。一方、液晶表示装置に代表されるホールド型表示装置において、動物体の追従視（動画表示において、動物体を視線で追いかける見方）を行なった場合、光出力期間に応じた動きぼけが観測される。

このような動きぼけを低減する為の技術として、「空間周波数分離方式」が提案されている。「空間周波数分離方式」とは、例えばフレームレート６０Ｈｚの入力画像信号を、倍の１２０Ｈｚとして倍速化し、動きぼけに関与する画像の空間的高周波成分を、サブフレームの一方に集中させ、もう一方は減少させて表示する方法である。これにより、出力画像において一方のサブフレームに空間的高周波成分が局在することとなり、動きぼけを改善することができる。

特許文献１では、入力画像データを倍速化した後に、空間的な高周波成分強調画像データと低周波成分画像データとに分離し、サブフレーム毎に切り替えて表示をする。その際、低周波成分画像データは、そのサブフレームを挟む両隣のサブフレームからそれぞれ生成される低周波成分画像データの平均値としている。平均値とすることによって、高周波成分強調画像データと低周波成分画像データの表示における時間的な重心のずれを低減することができる。これにより、特許文献１では、動きぼけを改善する一方で、時間的な重心のずれによって視認されるゴーストや尾引きをさらに低減することが可能となる。

特開２００９−０４４４６０号公報

特許文献１において表示する低周波成分画像データは、上記の通り、そのサブフレームを挟む両隣のサブフレームからそれぞれ生成される低周波成分画像データの平均値としている。低周波成分画像データの平均値を得る為には、少なくとも１サブフレーム前の入力画像データから生成される低周波成分画像データが必要となり、そのため、低周波成分画像データを記憶する為のメモリが必要となる。

一方、メモリ帯域を圧縮する為に、低周波成分画像データを非可逆圧縮した場合、その圧縮、及び復号化によって圧縮誤差が発生し、画像の品質が低下する。「空間周波数分離方式」では、空間的な周波数特性によって圧縮誤差量が異なってくる為に、例えば入力画像データの階調値が同一であったとしても、その周波数特性の違いによって、領域内の階調値が異なって視認される場合があった。

本発明は以上の問題に鑑みてなされたものであり、低周波成分画像を非可逆圧縮した際に発生する画像の品質低下を抑制する為の技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、複数の画像フレームを取得する取得手段と、
前記取得手段が取得した画像フレームから低周波画像フレームを生成する第１の生成手段と、
前記取得手段が取得した第１の画像フレームから前記第１の生成手段が生成した第１の低周波画像フレームを圧縮することで得られる第１の圧縮済み低周波画像フレームを復号して得られる第１の復号済み低周波画像フレームと、前記第１の画像フレームの次に前記取得手段が取得した第２の画像フレームから前記第１の生成手段が生成した第２の低周波画像フレームと、前記第２の低周波画像フレームを圧縮することで得られる第２の圧縮済み低周波画像フレームを復号して得られる第２の復号済み低周波画像フレーム及び前記第２の低周波画像フレームの差分画像フレームと、を用いて低周波サブフレームを生成する第２の生成手段と、
前記取得手段が取得した画像フレームから高周波サブフレームを生成する第３の生成手段と、
前記第２の生成手段により生成された低周波サブフレームと、前記取得手段が取得した前記第２の画像フレームから前記第３の生成手段により生成された高周波サブフレームと、を、前記第２の画像フレームに対応するサブフレームとして表示するために出力する出力手段と
を備えることを特徴とする。

本発明によれば、低周波成分画像データを非可逆圧縮した際に発生する画像の品質低下を抑制することが可能となる。

画像処理装置の機能構成例を示すブロック図。 入力フレーム画像と出力サブフレーム画像との時系列的な関係を示す図。 画像処理装置の機能構成例を示すブロック図。 画像処理装置の機能構成例を示すブロック図。 画像処理装置が行う処理のフローチャート。 画像処理装置の機能構成例を示すブロック図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

［第１の実施形態］
本実施形態に係る画像処理装置は、入力される各フレームの画像を２つのサブフレーム画像に分解し、１フレーム期間内に２枚のサブフレーム画像を出力することで、入力フレームレートの２倍の出力フレームレートを得るものである。そしてその際に、「空間周波数分離方式」において、動きぼけを改善する一方で、表示における時間的な重心のずれによって視認されるゴーストや尾引きを低減する。

先ず、本実施形態に係る画像処理装置について、図１のブロック図を用いて説明する。以下では、第ｉ（ｉ＝１，２，…）フレーム目の画像（ｉ番目に画像処理装置に入力された画像）をＡ［ｉ］と表記する。

フィルタ部１００は画像Ａ［ｉ］が入力されると、画像Ａ［ｉ］から、画像Ａ［ｉ］中（画像中）の低周波数成分から成る画像を低周波数成分画像ｉとして生成すると共に、画像Ａ［ｉ］中の高周波数成分を強調した高周波成分強調画像ｉを生成する。以下では、画像Ａ［ｉ］から生成される低周波数成分画像ｉをＬ［ｉ］、画像Ａ［ｉ］から生成される高周波成分強調画像ｉをＳＨ［ｉ］と表記する。

低周波数成分画像は、例えば、画像Ａ［ｉ］に対してローパスフィルタ処理を行ったりすることで生成されるものであり、その生成方法については特に限定するものではない。また、高周波成分強調画像については、例えば以下の式に従って生成する。

ＳＨ［ｉ］＝２×Ａ［ｉ］−Ｌ［ｉ］
そしてフィルタ部１００は、生成した高周波成分強調画像ＳＨ［ｉ］は切替部１０７に送出し、低周波数成分画像Ｌ［ｉ］は復号化予測部１０４、ブレンド部１０６、圧縮誤差量算出部１０５、圧縮符号化部１０１に送出する。

圧縮符号化部１０１は、低周波数成分画像Ｌ［ｉ］に対して非可逆圧縮処理を行い、圧縮画像ｉを生成する。以下では圧縮画像ｉをＣ［ｉ］と表記する。そして圧縮符号化部１０１は生成した圧縮画像Ｃ［ｉ］をメモリ部１０２に格納する。

復号化部１０３はメモリ部１０２から圧縮画像Ｃ［ｉ−１］を読み出すと、この圧縮画像Ｃ［ｉ−１］を復号する処理を行うことで、復号画像（ｉ−１）を生成する。以下では復号画像ｉをＬ’［ｉ］と表記する。そして復号化部１０３は、生成した復号画像Ｌ’［ｉ−１］をブレンド部１０６に対して送出する。

一方、復号化予測部１０４は、低周波数成分画像Ｌ［ｉ］に対して非可逆圧縮処理を行うことで圧縮画像Ｃ［ｉ］を生成し、生成した圧縮画像Ｃ［ｉ］を復号することで、復号画像Ｌ’［ｉ］を生成する。この非可逆圧縮処理、復号処理はそれぞれ、圧縮符号化部１０１、復号化部１０３が行う処理とほぼ同じものである。そして復号化予測部１０４は、生成した復号画像Ｌ’［ｉ］を圧縮誤差量算出部１０５に対して送出する。

圧縮誤差量算出部１０５は、フィルタ部１００から送出された低周波数成分画像Ｌ［ｉ］と復号化予測部１０４から送出された復号画像Ｌ’［ｉ］との差分画像（圧縮誤差量）Ｅ［ｉ］を以下の式に従って生成する。

Ｅ［ｉ］＝Ｌ［ｉ］−Ｌ’［ｉ］
なお、圧縮を行なわない場合は、Ｌ’［ｉ］＝Ｌ［ｉ］となり、Ｅ［ｉ］＝０となる。そして圧縮誤差量算出部１０５は、生成した差分画像Ｅ［ｉ］をブレンド部１０６に対して送出する。

ブレンド部１０６は、低周波数成分画像Ｌ［ｉ］と復号画像Ｌ’［ｉ−１］と差分画像Ｅ［ｉ］とを規定の比率で合成して合成画像ＳＬ［ｉ］を生成する。例えば、α（０≦α≦１）とβ（０≦β≦１）とを用いて以下の式に従って合成画像ＳＬ［ｉ］を生成する。

ＳＬ［ｉ］＝Ｌ’［ｉ−１］×α＋Ｌ［ｉ］×（１−α）＋Ｅ［ｉ］×β
即ち、復号画像Ｌ’［ｉ−１］を構成する各画素の画素値に対してαを乗じた画像と、低周波数成分画像Ｌ［ｉ］を構成する各画素の画素値に対して（１−α）を乗じた画像と、差分画像Ｅ［ｉ］を構成する各画素の画素値に対してβを乗じた画像とを合成する。そしてブレンド部１０６は、このようにして生成した合成画像ＳＬ［ｉ］を切替部１０７に送出する。

切替部１０７は、フィルタ部１００から送出された高周波成分強調画像ＳＨ［ｉ］と、ブレンド部１０６から送出された合成画像ＳＬ［ｉ］とを、第ｉフレーム目におけるサブフレーム画像として、交互に切り替えて出力する。例えば、合成画像ＳＬ［ｉ］を最初に出力し、高周波成分強調画像ＳＨ［ｉ］を次に出力する。これにより、第ｉフレーム目におけるサブフレーム画像として、合成画像ＳＬ［ｉ］、高周波成分強調画像ＳＨ［ｉ］、の順に出力することができる。出力先はＣＲＴや液晶画面などの表示装置とするが、特に限定するものではない。

これにより、「空間周波数分離方式」において、動きぼけを改善する一方で、表示における時間的な重心のずれによって視認されるゴーストや尾引きを低減することが可能となる。

次に、入力フレーム画像と出力サブフレーム画像との時系列的な関係を図２を用いて説明する。最上段に示す「サブフレーム番号」とは出力するサブフレーム画像のそれぞれに対する番号で、出力順に１，２，…となっている。

上から２段目には、入力されるフレーム画像が示されている。上から３段目には、出力するサブフレーム画像が示されている。上から４段目には、出力するサブフレーム画像の詳細が示されている。

例えば、第（ｉ−１）フレーム目の画像Ａ［ｉ−１］が入力されると、上から３段目に示す如く、先ずサブフレーム番号＝１のサブフレーム画像であるＳＬ［ｉ−１］が出力される。ＳＬ［ｉ−１］は、上から４段目に示す如く、「Ｌ’［ｉ−２］×α＋Ｌ［ｉ−１］×（１−α）＋Ｅ［ｉ−１］×β」である。ＳＬ［ｉ−１］を出力した後、上から３段目に示す如く、サブフレーム番号＝２のサブフレーム画像であるＳＨ［ｉ−１］を出力する。ＳＨ［ｉ−１］は、上から４段目に示す如く、「２×Ａ［ｉ−１］−Ｌ［ｉ−１］」である。このようにして各サブフレーム画像が順次出力される。

Ａ［ｉ］から生成したＬ［ｉ］は、図２に示す表のサブフレーム番号＝３及び５において、係数αに応じて出力画像に配分されることが理想である。しかしながら、メモリ帯域の圧縮を行なった場合、サブフレーム番号＝５において圧縮誤差が発生する。その圧縮誤差量は、Ｅ［ｉ］×βと表わすことができる。ここで、係数βは係数αと同一値とすると、Ｅ［ｉ］×βは、サブフレーム番号＝３において予め合成していることがわかる。

つまり、本実施形態では、圧縮誤差量を２サブフレーム前の画像に合成して出力をすることになり、単位時間において積分した出力階調値を、メモリ帯域の圧縮を行なわない場合の理想値と同程度にすることができる。特に静止画においては、各フレームで発生する圧縮誤差量は同一である為、サブフレーム番号＝３における圧縮誤差量Ｅ［ｉ］×βと、サブフレーム番号＝５において合成される圧縮誤差量Ｅ［ｉ＋１］×βは同一となる。つまり、出力画像の内訳は、理想的な出力である、Ｌ［ｉ］×α＋Ｌ［ｉ＋１］×（１−α）と同一となる。

係数βは係数αと同一値としたが、係数βは圧縮誤差量を２サブフレーム前の画像にどの程度合成するかを決定するものであって、β≦αを満たす範囲で設定することが望ましい。

本実施形態によれば、メモリ帯域の圧縮における圧縮誤差量を予め算出し、画像に合成することによって、単位時間あたりにおいて積分した出力階調値を、メモリ帯域の圧縮を行なわない場合の理想値と同程度にすることができる。特に、入力画像が静止画の場合は、理想値と同一にすることができる。これによって、低周波成分画像を非可逆圧縮した際に発生する画像の品質低下を抑制することが可能となる。またその際に、圧縮誤差量をフレーム遅延させる必要がないので、圧縮誤差量を格納するメモリは必要ない。

なお、圧縮符号化部１０１における非可逆圧縮処理はどのようなものであってもよい。例えば、ＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）のように、復号結果の予測値に基づいて圧縮符号化する方式では、復号化予測部１０４は必要なく、圧縮時に使用する予測値をＬ’［ｉ］として使用すればよい。

［第２の実施形態］
第１の実施形態では、圧縮誤差量Ｅ［ｉ］を結果的に２サブフレーム前の画像に合成した。これによって、特に入力画像が静止画の場合は、理想値と同一にすることができる。一方、実際に誤差が発生するサブフレームに対して、２サブフレーム前に圧縮誤差量を合成して表示をするので、入力画像が動画像の場合は、時間的な表示のずれによって、動物体近傍にゴーストや色付きが視認される可能性がある。

本実施形態では、圧縮誤差量Ｅ［ｉ］を１サブフレーム前の画像と２サブフレーム前の画像に分配して合成する。これによって、実際に誤差が発生するサブフレームに対して、時間的に最も近い表示画像に圧縮誤差量を合成することが可能となる。

本実施形態に係る画像処理装置の機能構成例について、図３のブロック図を用いて説明する。なお、図３において図１と同じ構成用件については同じ参照番号を付しており、その説明は省略する。

分配処理部３００は、圧縮誤差量算出部１０５が求めたＥ［ｉ］をＥ１［ｉ］とＥ２［ｉ］とに分割する（Ｅ［ｉ］＝Ｅ１［ｉ］＋Ｅ２［ｉ］）。例えば、画像Ｅ［ｉ］を構成する各画素の画素値に対してｒ（０＜ｒ＜１）を乗じた画素値を有する画像Ｅ１［ｉ］と、画像Ｅ［ｉ］を構成する各画素の画素値に対して（１−ｒ）を乗じた画素値を有する画像Ｅ２［ｉ］と、を生成する。そして分配処理部３００は、Ｅ１［ｉ］をブレンド部１０６に送出し、Ｅ２［ｉ］を加算器３０１に送出する。

加算器３０１は、フィルタ部１００からのＳＨ［ｉ］にＥ２［ｉ］を合成した画像をＳＨ’［ｉ］として生成する。そして加算器３０１は、生成した画像ＳＨ’［ｉ］をブレンド部１０６に対して送出する。

ブレンド部１０６は、低周波数成分画像Ｌ［ｉ］と復号画像Ｌ’［ｉ−１］と差分画像Ｅ１［ｉ］とを規定の比率で合成して合成画像ＳＬ［ｉ］を生成する。例えば、α（０≦α≦１）とβ（０≦β≦１）とを用いて以下の式に従って合成画像ＳＬ［ｉ］を生成する。

ＳＬ［ｉ］＝Ｌ’［ｉ−１］×α＋Ｌ［ｉ］×（１−α）＋Ｅ１［ｉ］×β
そしてブレンド部１０６は、このようにして生成した合成画像ＳＬ［ｉ］を切替部１０７に送出する。切替部１０７は、加算器３０１から送出された画像ＳＨ’［ｉ］と、ブレンド部１０６から送出された合成画像ＳＬ［ｉ］とを、第ｉフレーム目におけるサブフレーム画像として、交互に切り替えて出力する。例えば、合成画像ＳＬ［ｉ］を最初に出力し、画像ＳＨ’［ｉ］を次に出力する。出力先はＣＲＴや液晶画面などの表示装置とするが、特に限定するものではない。

本実施形態によれば、圧縮誤差量Ｅ［ｉ］を１サブフレーム前の画像と２サブフレーム前の画像に分配して合成することになり、実際に圧縮誤差が発生するサブフレームに対して時間的に最も近い表示画像に圧縮誤差量を合成することが可能となる。これにより、圧縮誤差量の時間的な表示のずれによって視認される動物体近傍のゴーストや色付きを低減することが可能となる。

［第３の実施形態］
第１，２の実施形態では、ブレンド部１０６や加算器３０１において画像の合成を行っているが、圧縮誤差量の大きさ及び係数によっては、表示可能なデータ値の許容範囲を逸脱する場合がある。本実施形態では、表示可能なデータ値の許容範囲を逸脱する場合においても画像の品質低下を抑制することを可能とする。

本実施形態に係る画像処理装置の構成について、図４のブロック図を用いて説明する。なお、図４において、図１と同じ構成用件には同じ参照番号を付しており、その説明は省略する。

合成画像ＳＬ［ｉ］は、ブレンド部１０６において合成する圧縮誤差量Ｅ［ｉ］や係数βによっては、表示可能なデータ値の許容範囲を逸脱する場合がある。飽和処理部４００は、データ値の許容範囲を逸脱した場合に、これを許容範囲に収まるように補正して、切替部１０７へ出力する。また、前述の飽和処理において、入力に対して加算、または減算した補正量Ｓ[ｉ]を飽和合成部４０１へ出力する。飽和合成部４０１は、高周波成分強調画像ＳＨ［ｉ］に補正量Ｓ[ｉ]の一部若しくは全部を、所定の係数に基づいて合成して、切替部１０７へ出力する。

本実施形態に係る画像処理装置が行う処理について、同処理のフローチャートを示す図５を用いて説明する。ステップＳ１では、フィルタ部１００は画像Ａ［ｉ］を取得する。ステップＳ２では、フィルタ部１００は画像Ａ［ｉ］から、低周波数成分画像Ｌ［ｉ］、高周波成分強調画像ＳＨ［ｉ］を生成する。

ステップＳ３では復号化予測部１０４は、低周波数成分画像Ｌ［ｉ］に対して非可逆圧縮処理を行うことで圧縮画像Ｃ［ｉ］を生成し、生成した圧縮画像Ｃ［ｉ］を復号することで、復号画像Ｌ’［ｉ］を生成する。

ステップＳ４で圧縮誤差量算出部１０５は、フィルタ部１００から送出された低周波数成分画像Ｌ［ｉ］と復号化予測部１０４から送出された復号画像Ｌ’［ｉ］との差分画像（圧縮誤差量）Ｅ［ｉ］をＥ［ｉ］＝Ｌ［ｉ］−Ｌ’［ｉ］を計算して生成する。

ステップＳ５では圧縮符号化部１０１は、低周波数成分画像Ｌ［ｉ］に対して非可逆圧縮処理を行い、圧縮画像Ｃ［ｉ］を生成する。ステップＳ６では圧縮符号化部１０１は、この生成した圧縮画像Ｃ［ｉ］をメモリ部１０２に格納する。

ステップＳ７では、復号化部１０３はメモリ部１０２から圧縮画像Ｃ［ｉ−１］を読み出す。そしてステップＳ８では復号化部１０３は、この圧縮画像Ｃ［ｉ−１］を復号する処理を行うことで、復号画像Ｌ’［ｉ−１］を生成する。

ステップＳ９ではブレンド部１０６は、低周波数成分画像Ｌ［ｉ］と復号画像Ｌ’［ｉ−１］と差分画像Ｅ［ｉ］とを第１の実施形態と同様にして、規定の比率で合成して合成画像ＳＬ［ｉ］を生成する。

ステップＳ１０では飽和処理部４００は、合成画像ＳＬ［ｉ］を構成する各画素の画素値が許容範囲内にあるか否かを判断する。例えば、表示装置に表示可能な画素値の範囲内に収まっているか否かを判断する。この判断の結果、許容範囲内にある場合は処理はステップＳ１３に進み、許容範囲内にない場合は処理はステップＳ１１に進む。

ステップＳ１１では飽和処理部４００は、合成画像ＳＬ［ｉ］を構成する各画素の画素値が許容範囲内に収まるように、合成画像ＳＬ［ｉ］を補正する。例えば、合成画像ＳＬ［ｉ］を合成する各画素の画素値から規定の補正量Ｓ［ｉ］を減じて合成画像ＳＬ［ｉ］を更新する。

ステップＳ１２では飽和合成部４０１は、高周波成分強調画像ＳＨ［ｉ］を構成する各画素の画素値に対して規定の補正量Ｓ［ｉ］を加算することで高周波成分強調画像ＳＨ［ｉ］を更新する。規定の補正量Ｓ［ｉ］の代わりに、ｄ（０＜ｄ＜１）×Ｓ［ｉ］を加算しても良い。

ステップＳ１３では切替部１０７は、高周波成分強調画像ＳＨ［ｉ］と合成画像ＳＬ［ｉ］とを、第ｉフレーム目におけるサブフレーム画像として、交互に切り替えて出力する。

本実施形態は、第２の実施形態に適用することもできる。即ち、加算器３０１による高周波成分強調画像ＳＨ’［ｉ］が表示可能なデータ値の許容範囲を逸脱する場合は、加算器３０１からの出力に対しても同様に前述の飽和処理を行なえばよい。本実施形態によれば、前述の実施形態と同程度の効果が得られる一方で、表示データの飽和による画像の品質低下を抑制することが可能となる。

［第４の実施形態］
本実施形態に係る画像処理装置の機能構成例について、図６のブロック図を用いて説明する。なお、図６において図１に示した構成用件と同じ構成用件には同じ参照番号を付しており、その説明は省略する。

ローパスフィルタ部６００は、画像Ａ［ｉ］を入力すると、画像Ａ［ｉ］から所定の定数で示される下限空間周波数をカットオフ（濾波）するなどしてこの画像Ａ［ｉ］に対してローパスフィルタ処理を行い、低周波数成分画像Ｌ［ｉ］を生成する。

ブレンド部１０６は、低周波数成分画像Ｌ［ｉ］と、復号化部１０３による復号画像Ｌ’［ｉ−１］と、を規定の比率で合成して合成画像ＳＬ［ｉ］を生成する。例えば、ＳＬ［ｉ］＝Ｌ［ｉ］×（１−α）＋Ｌ’［ｉ−１］×αを計算する。

演算部６０１は、ＳＨ［ｉ］＝２×Ａ［ｉ］−ＳＬ［ｉ］を計算することで、高周波成分強調画像ＳＨ［ｉ］を生成する。もちろん、高周波成分強調画像ＳＨ［ｉ］を求めるための処理はこれに限るものではない。

切替部１０７は、高周波成分強調画像ＳＨ［ｉ］と合成画像ＳＬ［ｉ］とを、第ｉフレーム目におけるサブフレーム画像として、交互に切り替えて出力する。例えば、合成画像ＳＬ［ｉ］を最初に出力し、高周波成分強調画像ＳＨ［ｉ］を次に出力する。これにより、第ｉフレーム目におけるサブフレーム画像として、合成画像ＳＬ［ｉ］、高周波成分強調画像ＳＨ［ｉ］、の順に出力することができる。出力先はＣＲＴや液晶画面などの表示装置とするが、特に限定するものではない。

本実施形態によれば、圧縮誤差量を含む合成画像ＳＬ［ｉ］に基づいて高周波成分強調画像ＳＨ［ｉ］を生成する。前述の実施形態とは高周波成分強調画像ＳＨ［ｉ］の生成方法が異なるが、圧縮誤差量が合成された出力結果を得ることができる。つまり、単位時間あたりにおいて積分した出力階調値を理想値と同程度にすることができ、低周波数成分画像Ｌ［ｉ］を非可逆圧縮した際に発生する画像の品質低下を抑制することが可能となる。

入力画像は、１つのフレームを２つのサブフレームに倍速化して入力された画像であるものとして説明したが、どのようなものであってもよい。以上説明したように、本発明によれば、低周波成分画像データを非可逆圧縮した際に発生する画像の品質低下を抑制することが可能となる。

［第５の実施形態］
図１，３，４，６の各図に示した各部は何れもハードウェアで構成しても良いが、メモリ部１０２を除く他の各部をソフトウェア（コンピュータプログラム）で構成しても良い。その場合、このメモリ部１０２を有するＰＣ（パーソナルコンピュータ）にこのソフトウェアをインストールし、このＰＣが有するＣＰＵ等の制御部がこのソフトウェアを実行することで、このＰＣは図１，３，４，６の各図に示した各部の機能を実現する。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (13)

1. 複数の画像フレームを取得する取得手段と、
   前記取得手段が取得した画像フレームから低周波画像フレームを生成する第１の生成手段と、
   前記取得手段が取得した第１の画像フレームから前記第１の生成手段が生成した第１の低周波画像フレームを圧縮することで得られる第１の圧縮済み低周波画像フレームを復号して得られる第１の復号済み低周波画像フレームと、前記第１の画像フレームの次に前記取得手段が取得した第２の画像フレームから前記第１の生成手段が生成した第２の低周波画像フレームと、前記第２の低周波画像フレームを圧縮することで得られる第２の圧縮済み低周波画像フレームを復号して得られる第２の復号済み低周波画像フレーム及び前記第２の低周波画像フレームの差分画像フレームと、を用いて低周波サブフレームを生成する第２の生成手段と、
   前記取得手段が取得した画像フレームから高周波サブフレームを生成する第３の生成手段と、
   前記第２の生成手段により生成された低周波サブフレームと、前記取得手段が取得した前記第２の画像フレームから前記第３の生成手段により生成された高周波サブフレームと、を、前記第２の画像フレームに対応するサブフレームとして表示するために出力する出力手段と
   を備えることを特徴とする画像処理装置。
2. 前記第２の生成手段は、前記第１の復号済み低周波画像フレームに第１の係数を乗算した画像フレームと、前記第２の低周波画像フレームに第２の係数を乗算した画像フレームと、前記差分画像フレームに対して第３の係数を乗算した画像フレームと、を合成した画像フレームを、前記低周波サブフレームとして生成することを特徴とする請求項１に記載の画像処理装置。
3. 更に、
   前記第１の生成手段が生成した低周波画像フレームを圧縮することで得られる圧縮済み低周波画像フレームを格納するためのメモリを備え、
   前記第２の生成手段は、前記第１の圧縮済み低周波画像フレームを前記メモリから読み出して復号し、該復号により得られる前記第１の復号済み低周波画像フレームと、前記第２の低周波画像フレームと、前記差分画像フレームと、を用いて前記低周波サブフレームを生成することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第３の生成手段は、前記差分画像フレームを用いて、前記第２の画像フレームの高周波成分が強調された前記高周波サブフレームを生成することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記第３の生成手段は、前記第２の画像フレームと、前記第２の低周波画像フレームと、前記差分画像フレームと、を用いて前記高周波サブフレームを生成することを特徴とする請求項４に記載の画像処理装置。
6. 前記第３の生成手段は、前記第２の画像フレームの高周波成分が強調された高周波画像フレームと、前記差分画像フレームを構成する各画素の画素値に対してｒ（０＜ｒ＜１）を乗じた画素値を有する画像フレームと、を用いて前記高周波サブフレームを生成し、
   前記第２の生成手段は、前記差分画像フレームを構成する各画素の画素値に対して（１−ｒ）を乗じた画素値を有する画像フレームと、前記第１の復号済み低周波画像フレームと、前記第２の低周波画像フレームと、を用いて前記低周波サブフレームを生成することを特徴とする請求項４に記載の画像処理装置。
7. 更に、
   前記低周波サブフレームの画素値が許容範囲を超えているか否かを判断する判断手段と、
   前記判断手段が、前記低周波サブフレームの画素値が前記許容範囲を超えていると判断した場合には、該画素値が該許容範囲内に収まるように該画素値を補正する補正手段と
   を備えることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 複数の画像フレームを取得する取得工程と、
   前記取得工程で取得した画像フレームから低周波画像フレームを生成する第１の生成工程と、
   前記取得工程で取得した第１の画像フレームから前記第１の生成工程で生成した第１の低周波画像フレームを圧縮することで得られる第１の圧縮済み低周波画像フレームを復号して得られる第１の復号済み低周波画像フレームと、前記第１の画像フレームの次に前記取得工程で取得した第２の画像フレームから前記第１の生成工程で生成した第２の低周波画像フレームと、前記第２の低周波画像フレームを圧縮することで得られる第２の圧縮済み低周波画像フレームを復号して得られる第２の復号済み低周波画像フレーム及び前記第２の低周波画像フレームの差分画像フレームと、を用いて低周波サブフレームを生成する第２の生成工程と、
   前記取得工程で取得した画像フレームから高周波サブフレームを生成する第３の生成工程と、
   前記第２の生成工程で生成された低周波サブフレームと、前記取得工程で取得した前記第２の画像フレームから前記第３の生成工程で生成された高周波サブフレームと、を、前記第２の画像フレームに対応するサブフレームとして表示するために出力する出力工程と
   を備えることを特徴とする画像処理方法。
9. 前記第２の生成工程では、前記第１の復号済み低周波画像フレームに第１の係数を乗算した画像フレームと、前記第２の低周波画像フレームに第２の係数を乗算した画像フレームと、前記差分画像フレームに対して第３の係数を乗算した画像フレームと、を合成した画像フレームを、前記低周波サブフレームとして生成することを特徴とする請求項８に記載の画像処理方法。
10. 更に、
    前記第１の生成工程で生成した低周波画像フレームを圧縮することで得られる圧縮済み低周波画像フレームをメモリに格納する工程を備え、
    前記第２の生成工程では、前記第１の圧縮済み低周波画像フレームを前記メモリから読み出して復号し、該復号により得られる前記第１の復号済み低周波画像フレームと、前記第２の低周波画像フレームと、前記差分画像フレームと、を用いて前記低周波サブフレームを生成することを特徴とする請求項８又は９に記載の画像処理方法。
11. 前記第３の生成工程では、前記差分画像フレームを用いて、前記第２の画像フレームの高周波成分が強調された前記高周波サブフレームを生成することを特徴とする請求項８乃至１０の何れか１項に記載の画像処理方法。
12. 更に、
    前記低周波サブフレームの画素値が許容範囲を超えているか否かを判断する判断工程と、
    前記判断工程で、前記低周波サブフレームの画素値が前記許容範囲を超えていると判断した場合には、該画素値が該許容範囲内に収まるように該画素値を補正する補正工程と
    を備えることを特徴とする請求項８乃至１１の何れか１項に記載の画像処理方法。
13. コンピュータを請求項１乃至７の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images