JPWO2009107197A1 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

画像処理装置は、入力画像における補正対象画素のレベル値を示す輝度値と補正対象画素の周辺画素を平滑化した平滑化画素のレベル値を示す輝度値との差を示す相対値に基づいて、入力画像のダイナミックレンジを圧縮する場合に、入力画像を縮小した縮小画像を生成し、生成された縮小画像から縮小画像のエッジ部分を保存しつつ平滑化した平滑化画像を生成し、生成された平滑化画像を元の入力画像の大きさに拡大した拡大画像を生成し、生成された拡大画像と入力画像との相対値に基づいて、入力画像のダイナミックレンジを圧縮した出力画像を生成する。

Description

この発明は、入力画像における補正対象画素のレベル値を示す輝度値と前記補正対象画素の周辺画素を平滑化した平滑化画素のレベル値を示す輝度値との差を示す相対値に基づいて、入力画像のダイナミックレンジを圧縮する画像処理装置に関する。

従来より、入力画像のダイナミックレンジを相対的に圧縮する画像処理手法として、人間の視覚特性をモデル化した「Ｃｅｎｔｅｒ／Ｓｕｒｒｏｕｎｄ Ｒｅｔｉｎｅｘ」と呼ばれる画質改善手法（以下、「Ｒｅｔｉｎｅｘ手法」と言う）が知られている。

このＲｅｔｉｎｅｘ手法は、入力画像の低域周波数成分のみを通過させるＬＰＦ（Low Pass Filter）を用いて、入力画像から抽出した低域周波数成分を抑制することで、画像全体のダイナミックレンジを相対的に圧縮する手法である（特許文献１参照）。具体的に説明すると、特許文献１において、入力画像の画素レベル値をＩ（ｘ，ｙ）、ＬＰＦによって抽出された低域周波数成分の画素レベル値をＬＰＦ（Ｉ（ｘ，ｙ））とすると、Ｒｅｔｉｎｅｘ手法による出力画像の画素レベル値Ｏ（ｘ，ｙ）は、「Ｏ（ｘ，ｙ）＝ｌｏｇ（Ｉ（ｘ，ｙ））−ｌｏｇ（ＬＰＦ（Ｉ（ｘ，ｙ）））」とあらわされる。

また、一般的に、ＬＰＦを用いたダイナミックレンジ圧縮処理においては、当該ダイナミックレンジを圧縮する際に利用する入力画像と平滑化画像との明るさのレベル値の差を示す相対値をとるために、入力画像に対してある程度広い範囲（例えば、入力画像サイズの約１／３程度など）のフィルタサイズが必要となる。しかしながら、上記した特許文献１では、入力画像に対して約１／３程度のフィルタサイズが必要となるために、ＬＰＦによる計算量が増加する。

そこで、特許文献２では、入力画像を縮小し、縮小された入力画像に対してＬＰＦを適用することで、ＬＰＦによる計算量を削減するとともに、高速なダイナミックレンジ圧縮処理を実現する技術が開示されている。

上記した特許文献２に係る画像処理装置による処理を、図９を用いて説明すると、画像処理装置は、入力画像を縮小処理して縮小画像を生成する（図９の（１）参照）。そして、画像処理装置は、生成された縮小画像を用いて平滑化処理（ＬＰＦを適用）を行なって縮小平滑化画像を生成する（図９の（２）参照）。続いて、画像処理装置は、生成された縮小平滑化画像を入力画像と同一のサイズに拡大して拡大平滑化画像を生成する（図９の（３）参照）。その後、画像処理装置は、生成された拡大平滑化画像と入力画像との相対値に基づいて出力画像を生成する（図９の（４）参照）。なお、図９は、従来技術に係る画像処理装置による処理を説明するための図である。

特表２０００−５１１３１５号公報 特開２００４−１６５８４０号公報

しかしながら、上記した従来の技術では、オーバーシュートおよびアンダーシュートが発生してしまうという課題があった。

具体的に説明すると、特許文献１に係るＲｅｔｉｎｅｘ手法は、入力画像における補正対象画素の周辺画素にＬＰＦをかけることによって平滑化画素値（低域周波数成分）を算出する。そして、Ｒｅｔｉｎｅｘ手法は、算出された平滑化画素値をダイナミックレンジの中間値に近づける（低域周波数成分の抑制）とともに、算出された平滑化画素値と入力画像における補正対象画素値との相対値（高域周波数成分）を拡大する（広域周波数成分の拡大）。続いて、Ｒｅｔｉｎｅｘ手法は、抑制した低域周波数成分と拡大した高域周波数成分とを足し合わせて出力画像を生成する。この結果、明るさが急激に変換する高域周波数領域（例えば、エッジ部分など）では、平滑化画像と入力画像との相対値が極端に増加（オーバーシュートおよびアンダーシュートが発生）して、入力画像を過補正することになるため、出力画像の画質が著しく悪化してしまうという課題があった（図１０参照）。

また、特許文献２においては、縮小画像を用いることによって少ない計算量で処理することを可能にしているものの、ＬＰＦを適用した平滑化画像にはエッジが保存されないために、特許文献１と同様に、オーバーシュートおよびアンダーシュートが発生してしまうという課題があった。なお、図１０は、従来技術に係るオーバーシュートおよびアンダーシュートを説明するための図である。

そこで、この発明は、上記した従来技術の課題を解決するためになされたものであり、ＬＰＦを用いたダイナミックレンジ圧縮処理において、オーバーシュートおよびアンダーシュートを抑制することが可能である画像処理装置を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本願の開示する画像処理装置は、入力画像のダイナミックレンジを圧縮する画像処理装置であって、前記入力画像を縮小した縮小画像を生成する画像縮小処理手段と、前記画像縮小処理手段により生成された縮小画像から、前記縮小画像のエッジ部分を保存しつつ平滑化した平滑化画像を生成する平滑化画像生成手段と、前記平滑化画像生成手段により生成された平滑化画像を元の入力画像の大きさに拡大した拡大画像を生成する画像拡大処理手段と、前記画像拡大処理手段により生成された拡大画像と前記入力画像との相対値に基づいて、前記入力画像のダイナミックレンジを圧縮した出力画像を生成する出力画像生成手段と、を備えたことを要件とする。

本願の開示する画像処理装置によれば、入力画像と縮小画像を平滑化して入力画像と同じ大きさに拡大した拡大平滑化画像との明るさのレベル値を小さくすることができる結果、オーバーシュートおよびアンダーシュートを抑制することができるという効果を奏する。

図１は、実施例１に係る画像処理装置の概要および特徴を示す図である。 図２は、実施例１に係る画像処理装置の構成を示すブロック図である。 図３は、実施例１に係るオーバーシュートおよびアンダーシュートを説明するための図である。 図４は、実施例１に係る画像処理装置による処理を示すフローチャートである。 図５は、実施例２に係る画像処理装置の構成を示すブロック図である。 図６は、実施例２に係るジャギー形状の抑制を説明するための図である。 図７は、実施例２に係る画像処理装置による処理を示すフローチャートである。 図８は、画像処理プログラムを実行するコンピュータを示す図である。 図９は、従来技術に係る画像処理装置による処理を説明するための図である。 図１０は、従来技術に係るオーバーシュートおよびアンダーシュートを説明するための図である。

符号の説明

１０ 画像処理装置
１１ 記憶部
１１ａ 入力画像記憶部
１１ｂ 縮小画像記憶部
１１ｃ 縮小平滑化画像記憶部
１１ｄ 平滑化画像記憶部（第一平滑化画像記憶部）
１１ｅ 第二平滑化画像記憶部
１２ 制御部
１２ａ 入力画像受付部
１２ｂ 画像縮小処理部
１２ｃ 平滑化画像生成部（第一平滑化画像生成部）
１２ｄ 画像拡大処理部
１２ｅ 出力画像生成部
１２ｆ 第二平滑化画像生成部

以下に添付図面を参照して、この発明に係る画像処理装置の実施例を詳細に説明する。なお、以下では、実施例１に係る画像処理装置の概要および特徴、画像処理装置の構成および処理の流れを順に説明し、最後に本実施例による効果を説明する。

［画像処理装置の概要および特徴］
次に、実施例１に係る画像処理装置の概要および特徴を説明する。図１は、実施例１に係る画像処理装置の概要および特徴を示す図である。

この画像処理装置は、入力画像における補正対象画素の周辺画素にＬＰＦをかけた平滑化画素と、補正対象画素との相対値を用いて、入力画像のダイナミックレンジを相対的に圧縮して出力画像を生成する。

このような構成において、画像処理装置は、入力画像のダイナミックレンジを圧縮することを概要とし、特に、入力画像のダイナミックレンジを圧縮して出力画像を生成する際に、出力画像のエッジ部分におけるオーバーシュートおよびアンダーシュートを抑制することが可能である点を主たる特徴とする。

この主たる特徴について説明すると、画像処理装置は、入力画像を縮小した縮小画像を生成する（図１の（１）参照）。具体的に例を挙げると、画像処理装置は、入力される動画や静止画などの入力画像を受け付けると、当該入力画像を所定の大きさに縮小処理して縮小画像を生成する。なお、入力される動画や静止画などの入力画像は、カラー画像でもモノクロ画像でもよい。

そして、画像処理装置は、生成された縮小画像から、縮小画像のエッジ部分を保存しつつ平滑化した平滑化画像を生成する（図１の（２）参照）。上記した例で具体的に説明すると、画像処理装置は、生成された縮小画像を、エッジ保存型のＬＰＦであるバイラテラルフィルタやイプシロンフィルタなどを用いて、当該縮小画像のエッジ部分を保存しつつ平滑化された縮小平滑化画像を生成する。なお、エッジ保存型ＬＰＦのフィルタサイズは、より精度の高い相対値を算出して好ましいダイナミックレンジ圧縮処理の効果を得るために、縮小画像の縦横サイズの約１／３程度が望ましい。

続いて、画像処理装置は、生成された平滑化画像を元の入力画像の大きさに拡大した拡大画像を生成する（図１の（３）参照）。上記した例で具体的に説明すると、画像処理装置は、生成された平滑化画像（入力画像を縮小処理し、エッジ部分を保存しつつ平滑化された縮小平滑化画像）を元の入力画像と同じ解像度に拡大して拡大平滑化画像を生成する。

その後、画像処理装置は、生成された拡大画像と入力画像との相対値に基づいて、入力画像のダイナミックレンジを圧縮した出力画像を生成する（図１の（４）参照）。上記した例で具体的に説明すると、画像処理装置は、生成された拡大画像（拡大平滑化画像）の明るさのレベル値を示す輝度値と、入力画像の明るさのレベル値を示す輝度値との差である相対値に基づいて、入力画像のダイナミックレンジを圧縮した出力画像を生成する。

例えば、画像処理装置は、入力画像の画素レベル値（輝度値）をＩ（ｘ，ｙ）、拡大平滑化画像の画素レベル値（輝度値）をＬＰＦ（Ｉ（ｘ，ｙ））、出力画像の画素レベル値をＯ（ｘ，ｙ）とすると、「Ｏ（ｘ，ｙ）＝ｌｏｇ（Ｉ（ｘ，ｙ））−ｌｏｇ（ＬＰＦ（Ｉ（ｘ，ｙ）））」の式を用いて全画素に対して画素レベル値を算出する。

このように、実施例１に係る画像処理装置は、縮小処理された入力画像を、エッジ保存型ＬＰＦを用いてエッジ部分が保存された縮小平滑化画像を生成し、生成された縮小平滑化画像を、元の入力画像の大きさに拡大した拡大平滑化画像と入力画像との相対値に基づいてダイナミックレンジ圧縮処理することができる結果、オーバーシュートおよびアンダーシュートを抑制することが可能である。

［画像処理装置の構成］
次に、図２を用いて、実施例１に係る画像処理装置の構成を説明する。図２は、実施例１に係る画像処理装置の構成を示すブロック図である。図２に示すように、画像処理装置１０は、記憶部１１と制御部１２とから構成され、入力画像における補正対象画素のレベル値を示す輝度値と補正対象画素の周辺画素を平滑化した平滑化画素のレベル値を示す輝度値との差を示す相対値に基づいて、入力画像のダイナミックレンジを圧縮する。

記憶部１１は、制御部１２による各種処理に必要なデータや、制御部１２による各種処理結果を記憶するとともに、特に本発明に密接に関連するものとしては、入力画像記憶部１１ａと、縮小画像記憶部１１ｂと、縮小平滑化画像記憶部１１ｃと、平滑化画像記憶部１１ｄとを備える。

入力画像記憶部１１ａは、後述する入力画像受付部１２ａによって受け付けられた画像処理装置１０に入力される動画や静止画などの入力画像を記憶する。また、縮小画像記憶部１１ｂは、後述する画像縮小処理部１２ｂによって縮小処理された縮小画像を記憶する。

縮小平滑化画像記憶部１１ｃは、後述する平滑化画像生成部１２ｃによって平滑化された縮小平滑化画像を記憶する。また、平滑化画像記憶部１１ｄは、後述する画像拡大処理部１２ｄによって拡大処理された拡大平滑化画像を記憶する。

制御部１２は、制御プログラム、各種の処理手順などを想定したプログラムおよび所要データを格納するための内部メモリを有するとともに、特に本発明に密接に関連するものとしては、入力画像受付部１２ａと、画像縮小処理部１２ｂと、平滑化画像生成部１２ｃと、画像拡大処理部１２ｄと、出力画像生成部１２ｅとを備え、これらによって種々の処理を実行する。

入力画像受付部１２ａは、画像処理装置１０に入力される動画や静止画などの入力画像を受け付けて入力画像記憶部１１ａに格納する。具体的に例を挙げると、入力画像受付部１２ａは、画像処理装置１０に入力される動画や静止画などの入力画像（例えば、カラー画像やモノクロ画像など）を受け付けて入力画像記憶部１１ａに格納する。なお、外部から受け付ける動画像や静止画などは、外部ネットワークからだけでなく、ＣＤ−ＲＯＭなどの記憶媒体などから受け付けても良い。

画像縮小処理部１２ｂは、入力画像記憶部１１ａに格納された入力画像を縮小した縮小画像を生成して縮小画像記憶部１１ｂに格納する。上記した例で具体的に例を挙げると、画像縮小処理部１２ｂは、入力画像記憶部１１ａに格納された入力画像を所定の大きさに縮小処理（入力画像の解像度を下げる処理）して縮小画像を生成し、縮小画像記憶部１１ｂに格納する。

なお、画像縮小処理部１２ｂによる縮小処理のアルゴリズムは、通常の縮小処理であれば何であっても良いが、元の入力画像の画素値を補間することなくサブサンプリングを行なった方が良いので、隣接する最も近いピクセルの色をコピーして補間する（単純に元の入力画像を縮小する）ニアレストネイバー方式が望ましい。

平滑化画像生成部１２ｃは、縮小画像記憶部１１ｂに格納された縮小画像から、縮小画像のエッジ部分を保存しつつ平滑化した平滑化画像を生成して縮小平滑化画像記憶部１１ｃに格納する。上記した例で具体的に例を挙げると、平滑化画像生成部１２ｃは、縮小画像記憶部１１ｂに格納された縮小画像を、エッジ保存型のＬＰＦであるバイラテラルフィルタやイプシロンフィルタなどを用いて、当該縮小画像のエッジ部分を保存しつつ平滑化された縮小平滑化画像を生成して縮小平滑化画像記憶部１１ｃに格納する。なお、エッジ保存型ＬＰＦのフィルタサイズは、より精度の高い相対値を算出して好ましいダイナミックレンジ圧縮処理の効果を得るために、縮小画像の縦横サイズの約１／３程度が望ましい。

このバイラテラルフィルタやイプシロンフィルタなどのエッジ保存型ＬＰＦは、空間方向の距離差に対する重み付けと画素レベル値方向の重み付けとを組み合わせて、フィルタリングの着目画素と画素値の差の大きな画素とについて重み付けを小さくするフィルタである。つまり、フィルタリングの着目画素と画素値の差の大きな画素とは、画像におけるエッジ部分のことであり、平滑化画像生成部１２ｃは、エッジ部分の重み付けを小さくすることで、当該エッジ部分の平滑化（ぼかし）を抑制した平滑化画像を生成する。

画像拡大処理部１２ｄは、縮小平滑化画像記憶部１１ｃに格納された平滑化画像を元の入力画像の大きさに拡大した拡大画像を生成して平滑化画像記憶部１１ｄに格納する。上記した例で具体的に例を挙げると、画像拡大処理部１２ｄは、縮小平滑化画像記憶部１１ｃに格納された縮小平滑化画像を元の入力画像と同じ解像度に拡大して拡大平滑化画像を生成して平滑化画像記憶部１１ｄに格納する。

なお、画像拡大処理部１２ｄによる拡大処理のアルゴリズムは、画像を拡大する際にエッジ近傍（画像の輪郭部分）に発生する階段状の形状であるジャギー形状をなるべく抑制した方が良いので、新しいピクセルを作る時に隣接する上下左右４つのピクセルの色をそのまま平均化するバイリニア方式が望ましい。つまり、バイリニア方式は、そのまま平均化するために出力する拡大画像がぼやけてしまう可能性の高い画像処理方法であり、粗い画像や上記したジャギー形状が発生する可能性のある画像などの場合に有効である。

出力画像生成部１２ｅは、平滑化画像記憶部１１ｄに格納された拡大画像と、入力画像記憶部１１ａに格納された入力画像との相対値に基づいて、入力画像のダイナミックレンジを圧縮した出力画像を生成する。上記した例で具体的に例を挙げると、出力画像生成部１２ｅは、平滑化画像記憶部１１ｄに格納された拡大画像（拡大平滑化画像）の明るさのレベル値を示す輝度値と、入力画像記憶部１１ａに格納された入力画像の明るさのレベル値を示す輝度値との差である相対値に基づいて、入力画像のダイナミックレンジを圧縮した出力画像を生成する。

例えば、出力画像生成部１２ｅは、入力画像の画素レベル値（輝度値）をＩ（ｘ，ｙ）、拡大平滑化画像の画素レベル値（輝度値）をＬＰＦ（Ｉ（ｘ，ｙ））、出力画像の画素レベル値をＯ（ｘ，ｙ）とすると、「Ｏ（ｘ，ｙ）＝ｌｏｇ（Ｉ（ｘ，ｙ））−ｌｏｇ（ＬＰＦ（Ｉ（ｘ，ｙ）））」の式を用いて全画素に対して画素レベル値を算出する。

図３は、実施例１に係るオーバーシュートおよびアンダーシュートを説明するための図である。図３に示すように、エッジ部分を保存しつつ平滑化された平滑化画像の画素レベル値（輝度値）と入力画像の画素レベル値（輝度値）との差である相対値は、エッジ部分を保存することのない通常のＬＰＦを用いた従来技術の相対値（図１０参照）と比較して、特に、エッジ部分の相対値が小さくなる（より正確な相対値を算出している）ので、ダイナミックレンジを圧縮してより精度の高い出力画像を生成することができる。この結果、図３に示す出力画像例の点線で囲った部分と従来技術による出力画像例である図１０に示す出力画像例の点線で囲った部分を比較すると分かるように、従来技術では、オーバーシュートもしくはアンダーシュートが発生して不要な暗部が発生していたのに対し、図３に示す実施例１による出力画像では、不要な暗部は発生しない。

［実施例１に係る画像処理装置による処理］
次に、図４を用いて、実施例１に係る画像処理装置１０による処理を説明する。図４は、実施例１に係る画像処理装置１０による処理を示すフローチャートである。

図４に示すように、画像処理装置１０は、当該画像処理装置１０に動画や静止画などが入力されると（ステップＳ１０１肯定）、入力される入力画像を受け付けて入力画像記憶部１１ａに格納する（ステップＳ１０２）。そして、画像処理装置１０は、入力画像記憶部１１ａに格納された入力画像を所定の大きさに縮小処理して縮小画像を生成し、縮小画像記憶部１１ｂに格納する（ステップＳ１０３）。

続いて、画像処理装置１０は、縮小画像記憶部１１ｂに格納された縮小画像を、エッジ保存型のＬＰＦであるバイラテラルフィルタやイプシロンフィルタなどを用いて、当該縮小画像のエッジ部分を保存しつつ平滑化された縮小平滑化画像を生成して縮小平滑化画像記憶部１１ｃに格納する（ステップＳ１０４）。

その後、画像処理装置１０は、縮小平滑化画像記憶部１１ｃに格納された縮小平滑化画像を元の入力画像と同じ解像度に拡大して拡大平滑化画像を生成して平滑化画像記憶部１１ｄに格納する（ステップＳ１０５）。そして、画像処理装置１０は、平滑化画像記憶部１１ｄに格納された拡大画像（拡大平滑化画像）の明るさのレベル値を示す輝度値と、入力画像記憶部１１ａに格納された入力画像の明るさのレベル値を示す輝度値との差である相対値に基づいて、入力画像のダイナミックレンジを圧縮した出力画像を生成する（ステップＳ１０６）。

［実施例１による効果］
このように、画像処理装置１０は、縮小処理された入力画像を、エッジ保存型ＬＰＦを用いてエッジ部分が保存された縮小平滑化画像を生成し、生成された縮小平滑化画像を、元の入力画像の大きさに拡大した拡大平滑化画像と入力画像との相対値に基づいてダイナミックレンジを圧縮することとしたので、オーバーシュートおよびアンダーシュートを抑制することが可能である。つまり、画像処理装置１０は、入力画像を縮小することでメモリを削減するとともに処理負荷を削減し、縮小画像のエッジを保存しつつ平滑化した画像と入力画像との相対値に基づいてレンジ補正することでオーバーシュートおよびアンダーシュートを抑制している。

例えば、画像処理装置１０は、入力画像を受け付けて入力画像記憶部１１ａに格納する。そして、画像処理装置１０は、入力画像記憶部１１ａに格納された入力画像を所定の大きさに縮小処理して縮小画像を生成する。続いて、画像処理装置１０は、生成された縮小画像をエッジ保存型のＬＰＦを用いて、当該縮小画像のエッジ部分を保存しつつ平滑化された縮小平滑化画像を生成する。その後、画像処理装置１０は、生成された縮小平滑化画像を元の入力画像と同じ解像度に拡大して拡大平滑化画像を生成する。そして、画像処理装置１０は、生成された拡大平滑化画像の明るさのレベル値を示す輝度値と、入力画像記憶部１１ａに格納された入力画像の明るさのレベル値を示す輝度値との差である相対値に基づいて、入力画像のダイナミックレンジを圧縮した出力画像を生成する。この結果、画像処理装置１０は、オーバーシュートおよびアンダーシュートを抑制することが可能である。つまり、画像処理装置１０は、オーバーシュートおよびアンダーシュートを抑制して、より高精度な出力画像を生成することが可能である。

ところで、上記した実施例１では、入力画像を縮小してエッジを保存しつつ平滑化した縮小平滑化画像を、元の入力画像の大きさに拡大して、当該拡大した拡大画像と入力画像との相対値に基づいてレンジ補正する場合を説明したが、本発明はこれに限定されるものではなく、拡大画像をＬＰＦに適用した拡大平滑化画像と入力画像との相対値からレンジ補正することもできる。

そこで、以下の実施例２では、図５〜図７を用いて、実施例２に係る画像処理装置１０による処理について説明する。

［実施例２に係る画像処理装置の構成］
まず、図５を用いて、実施例２に係る画像処理装置の構成を説明する。図５は、実施例２に係る画像処理装置の構成を示すブロック図である。また、実施例２においては、実施例１の構成において説明した平滑化画像生成部１２ｃを第一平滑化画像生成部１２ｃ、平滑化画像記憶部１１ｄを第一平滑化画像記憶部１１ｄとして説明する。なお、実施例２に係る画像処理装置１０の一部の構成や機能などは、上記した実施例１と同様であるためその説明を省略して、特に、実施例１とは異なる画像拡大処理後の平滑化処理について説明する。

記憶部１１は、制御部１２による各種処理に必要なデータや、制御部１２による各種処理結果を記憶するとともに、特に本発明に密接に関連するものとしては、入力画像記憶部１１ａと、縮小画像記憶部１１ｂと、縮小平滑化画像記憶部１１ｃと、第一平滑化画像記憶部１１ｄと、第二平滑化画像記憶部１１ｅとを備え、第二平滑化画像記憶部１１ｅは、後述する第二平滑化画像生成部１２ｆによって平滑化された平滑化画像を記憶する。

制御部１２は、制御プログラム、各種の処理手順などを想定したプログラムおよび所要データを格納するための内部メモリを有するとともに、特に本発明に密接に関連するものとしては、入力画像受付部１２ａと、画像縮小処理部１２ｂと、第一平滑化画像生成部１２ｃと、画像拡大処理部１２ｄと、第二平滑化画像生成部１２ｆと、出力画像生成部１２ｅとを備え、これらによって種々の処理を実行する。

第二平滑化画像生成部１２ｆは、第一平滑化画像記憶部１１ｄに格納された拡大画像から、当該拡大画像を平滑化した平滑化画像を生成する。具体的に例を挙げると、第二平滑化画像生成部１２ｆは、画像拡大処理部１２ｄによって生成されて第一平滑化画像記憶部１１ｄに格納された拡大画像を、エッジ保存型ではない通常のＬＰＦを用いて平滑化して平滑化画像を生成し、第二平滑化画像記憶部１１ｅに格納する。なお、第二平滑化画像生成部１２ｆにおける通常のＬＰＦは、第一平滑化画像生成部１２ｃとは異なり、画素値方向の重み付けはとらず、空間方向の重み付けのみを持ち、フィルタサイズは、拡大率と同程度のものを用いてＬＰＦ処理を行なう。

この第二平滑化画像生成部１２ｆにおいて、通常のＬＰＦを用いて平滑化する理由としては、画像を拡大する際にエッジ近傍（画像の輪郭部分）に発生する階段状の形状であるジャギー形状を抑制するためである。つまり、第二平滑化画像生成部１２ｆによる平滑化処理は、図６に示すように、第一平滑化画像において発生するジャギー形状を平滑化して、第二平滑化画像のようなジャギー部分をぼかした画像を出力する。なお、図６は、実施例２に係るジャギー形状の抑制を説明するための図である。

出力画像生成部１２ｅは、第二平滑化画像記憶部１１ｅに格納された平滑化画像と入力画像記憶部１１ａに格納された入力画像との相対値に基づいて、入力画像のダイナミックレンジを圧縮した出力画像を生成する。上記した例で具体的に例を挙げると、出力画像生成部１２ｅは、第二平滑化画像記憶部１１ｅに格納された平滑化画像（拡大処理された後に平滑化された平滑化画像）の明るさのレベル値を示す輝度値と、入力画像記憶部１１ａに格納された入力画像の明るさのレベル値を示す輝度値との差である相対値に基づいて、入力画像のダイナミックレンジを圧縮した出力画像を生成する。

［実施例２に係る画像処理装置による処理］
次に、図７を用いて、実施例２に係る画像処理装置１０による処理を説明する。図７は、実施例２に係る画像処理装置１０による処理を示すフローチャートである。

図７に示すように、画像処理装置１０は、当該画像処理装置１０に動画や静止画などが入力されると（ステップＳ２０１肯定）、入力される入力画像を受け付けて入力画像記憶部１１ａに格納する（ステップＳ２０２）。そして、画像処理装置１０は、入力画像記憶部１１ａに格納された入力画像を所定の大きさに縮小処理して縮小画像を生成し、縮小画像記憶部１１ｂに格納する（ステップＳ２０３）。

続いて、画像処理装置１０は、縮小画像記憶部１１ｂに格納された縮小画像を、エッジ保存型のＬＰＦであるバラテラルフィルタやイプシロンフィルタなどを用いて、当該縮小画像のエッジ部分を保存しつつ平滑化された縮小平滑化画像を生成して縮小平滑化画像記憶部１１ｃに格納する（ステップＳ２０４）。

その後、画像処理装置１０は、縮小平滑化画像記憶部１１ｃに格納された縮小平滑化画像を元の入力画像と同じ解像度に拡大して拡大平滑化画像を生成して第一平滑化画像記憶部１１ｄに格納する（ステップＳ２０５）。そして、画像処理装置１０は、第一平滑化画像記憶部１１ｄに格納された拡大画像を、エッジ保存型ではない通常のＬＰＦを用いて平滑化して平滑化画像を生成し、第二平滑化画像記憶部１１ｅに格納する（ステップＳ２０６）。

続いて、画像処理装置１０は、第二平滑化画像記憶部１１ｅに格納された平滑化画像（拡大処理された後に平滑化された平滑化画像）の明るさのレベル値を示す輝度値と、入力画像記憶部１１ａに格納された入力画像の明るさのレベル値を示す輝度値との差である相対値に基づいて、入力画像のダイナミックレンジを圧縮した出力画像を生成する（ステップＳ２０７）。

［実施例２による効果］
このように、画像処理装置１０は、縮小画像の拡大後の平滑化画像に対して、エッジ保存型ではない通常のＬＰＦを適用してぼかす処理を実施するので、画像の拡大処理に伴うエッジ近傍のブロック状のジャギーの発生を抑制することが可能であるとともに、オーバーシュートおよびアンダーシュートの発生を抑制することが可能である。

また、実施例２によれば、画像処理装置１０は、画像拡大における拡大率と同等の小さいＬＰＦのフィルタサイズで良いので、処理性能を劣化させることなく、エッジ部分のアーティファクトの発生を抑制した出力画像を生成することが可能である。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、（１）システム構成、（２）プログラムに区分けして異なる実施例を説明する。

（１）システム構成
また、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメタを含む情報（例えば、図２に示した平滑化画像生成部１２ｃ（エッジ保存型ＬＰＦ：イプシロンフィルタやバイラテラルフィルタなど）の処理／制御手順など、利用するＬＰＦにより若干の差があるもの）については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、例えば、出力画像生成部１２ｅを、入力画像と平滑化画像との相対値を算出する「相対値算出部」と、入力画像と平滑化画像との相対値に基づいて入力画像のダイナミックレンジを圧縮して出力画像を生成する「ダイナミックレンジ補正部」として分散するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

（２）プログラム
なお、本実施例で説明した画像処理装置は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図８を用いて、上記の実施例に示した画像処理装置と同様の機能を有する画像処理プログラムを実行するコンピュータの一例を説明する。図８は、画像処理プログラムを実行するコンピュータを示す図である。

図８に示すように、画像処理装置としてのコンピュータ１１０は、ＨＤＤ１３０、ＣＰＵ１４０、ＲＯＭ１５０およびＲＡＭ１６０をバス１８０などで接続して構成される。

ＲＯＭ１５０には、上記の実施例１に示した画像処理装置１０と同様の機能を発揮する画像処理プログラム、つまり、図８に示すように入力画像受付プログラム１５０ａと、画像縮小処理プログラム１５０ｂと、平滑化画像生成プログラム１５０ｃと、画像拡大処理プログラム１５０ｄと、出力画像生成プログラム１５０ｅとが、あらかじめ記憶されている。なお、これらのプログラム１５０ａ〜１５０ｅについては、図２に示した画像処理装置１０の各構成要素と同様、適宜統合または、分散してもよい。

そして、ＣＰＵ１４０がこれらのプログラム１５０ａ〜プログラム１５０ｅをＲＯＭ１５０から読み出して実行することで、図８に示すように、プログラム１５０ａ〜プログラム１５０ｅは、入力画像受付プロセス１４０ａと、画像縮小処理プロセス１４０ｂと、平滑化画像生成プロセス１４０ｃと、画像拡大処理プロセス１４０ｄと、出力画像生成プロセス１４０ｅとして機能するようになる。なお、プロセス１４０ａ〜プロセス１４０ｅは、図２に示した、入力画像受付部１２ａと、画像縮小処理部１２ｂと、平滑化画像生成部１２ｃと、画像拡大処理部１２ｄと、出力画像生成部１２ｅとにそれぞれ対応する。

そして、ＣＰＵ１４０はＲＡＭ１６０に記録された入力画像データ１３０ａと、縮小画像データ１３０ｂと、縮小平滑化画像データ１３０ｃと、平滑化画像データ１３０ｄとに基づいて画像処理プログラムを実行する。

なお、上記した各プログラム１５０ａ〜プログラム１５０ｅについては、必ずしも最初からＲＯＭ１５０に記憶させておく必要はなく、例えば、コンピュータ１１０に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、またはコンピュータ１１０の内外に備えられるＨＤＤなどの「固定用の物理媒体」、さらには公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１１０に接続される「他のコンピュータ（またはサーバ）」などに各プログラムを記憶させておき、コンピュータ１１０がこれから各プログラムを読み出して実行するようにしてもよい。

Claims (4)

1. 入力画像のダイナミックレンジを圧縮する画像処理装置であって、
   前記入力画像を縮小した縮小画像を生成する画像縮小処理手段と、
   前記画像縮小処理手段により生成された縮小画像から、前記縮小画像のエッジ部分を保存しつつ平滑化した平滑化画像を生成する平滑化画像生成手段と、
   前記平滑化画像生成手段により生成された平滑化画像を元の入力画像の大きさに拡大した拡大画像を生成する画像拡大処理手段と、
   前記画像拡大処理手段により生成された拡大画像と前記入力画像との相対値に基づいて、前記入力画像のダイナミックレンジを圧縮した出力画像を生成する出力画像生成手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記画像拡大処理手段により生成された拡大画像から、前記拡大画像を平滑化した平滑化画像を生成する第二の平滑化画像生成手段をさらに備え、
   前記出力画像生成手段は、前記第二の平滑化画像生成手段により生成された平滑化画像と前記入力画像との相対値に基づいて、前記入力画像のダイナミックレンジを圧縮した出力画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 入力画像のダイナミックレンジを圧縮する画像処理装置に適した画像処理方法であって、
   前記入力画像を縮小した縮小画像を生成する画像縮小処理工程と、
   前記画像縮小処理工程により生成された縮小画像から、前記縮小画像のエッジ部分を保存しつつ平滑化した平滑化画像を生成する平滑化画像生成工程と、
   前記平滑化画像生成工程により生成された平滑化画像を元の入力画像の大きさに拡大した拡大画像を生成する画像拡大処理工程と、
   前記画像拡大処理工程により生成された拡大画像と前記入力画像との相対値に基づいて、前記入力画像のダイナミックレンジを圧縮した出力画像を生成する出力画像生成工程と、
   を含んだことを特徴とする画像処理方法。
4. 入力画像のダイナミックレンジを圧縮する画像処理装置としてのコンピュータに実行させる画像処理プログラムであって、
   前記入力画像を縮小した縮小画像を生成する画像縮小処理手順と、
   前記画像縮小処理手順により生成された縮小画像から、前記縮小画像のエッジ部分を保存しつつ平滑化した平滑化画像を生成する平滑化画像生成手順と、
   前記平滑化画像生成手順により生成された平滑化画像を元の入力画像の大きさに拡大した拡大画像を生成する画像拡大処理手順と、
   前記画像拡大処理手順により生成された拡大画像と前記入力画像との相対値に基づいて、前記入力画像のダイナミックレンジを圧縮した出力画像を生成する出力画像生成手順と、
   をコンピュータに実行させることを特徴とする画像処理プログラム。

Images