JP5420049B1 - 拡大率推定装置またはその方法 - Google Patents

Abstract

【課題】 拡大画像について拡大率を推定する。
【解決手段】 生成手段３は、入力画像の高周波を除去した画像を生成する。第１演算手段５は前記入力画像の空間周波数成分のうち、所定以上の高周波成分を空間周波成分特性値として演算する。第２演算手段７は、前記入力画像の空間周波数成分を第２空間周波数成分特性値として演算する。判断手段９は前記各画素について、ブロックノイズであるか否かを判断する。拡大率推定手段１１は、判断手段９がブロックノイズであると判断した画素は、前記総計対象画素から排除し、残った画素について、前記第１空間周波数成分特性値と、前記第２空間周波数成分特性値との差分が小さいほど、前記入力画像の拡大率は高いと推定する。
【選択図】 図１

Description

この発明は、拡大率推定装置に関し、特に、画像の拡大率推定に関する。

特許文献１に、入力された画像の解像度を判定する技術として、画像の有効期間を表すイネーブル信号の立ち上がりから立ち下がりまでの期間、すなわち、画像の水平画素数あるいは垂直画素数をカウントすることにより解像度を判定する技術が開示されている。

特開２００６−１６６１８８号公報

しかし、上記特許文献１に開示された判定方法では、以下のような問題があった。拡大処理等した結果、ボケが発生しているような場合には、解像度を正確に判断ができない。このような場合、かかるボケ画像に基づいて、エッジ強調処理を行うと過不足のあるエッジ強調となってしまう。

この発明は、上記問題を解決し、拡大処理された画像の拡大率を推定する方法またはその装置を提供することを目的とする。

(1)本発明にかかる拡大率推定装置は、入力画像の拡大率を推定する拡大率推定装置であって、前記入力画像の所定の高周波成分を第１空間周波数成分特性値として演算する第１演算手段、前記入力画像の空間周波数成分を第２空間周波数成分特性値として演算する第２演算手段、前記第２周波数成分特性値に対する前記第１周波数成分特性値の割合が小さいほど、前記入力画像の拡大率は高いと推定する拡大率推定手段を備えている。このように、前記入力画像の所定の高周波成分を第１空間周波数成分特性値として演算し、これと、前記入力画像の高周波成分を第２空間周波数成分特性値として演算し、この割合から拡大率を推定することにより、拡大画像であっても簡易かつ正確に拡大率を推定することができる。

を特徴とする拡大率推定装置。

(2)本発明にかかる拡大率推定装置においては、前記第１および第２空間周波成分特性値は、所定周辺画素との画素値の差分の絶対値の総計を画素毎差分値として、各画素について演算するとともに、前記画素毎差分値を総計することにより、求められる。したがって、注目画素周辺の画素差分から、高周波成分の含有度を得ることができる。

(3)本発明にかかる拡大率推定装置においては、前記生成手段は、注目画素との関係において、矩形画素領域における水平方向、垂直方向、および斜め方向に位置する画素の高周波成分を除去する。したがって、簡易に前記入力画像の所定高周波成分を取り除くことができる。

(4)本発明にかかる拡大率推定装置においては、前記各画素について、ブロックノイズであるか否かを判断する判断手段を備え、前記拡大率推定手段は、前記判断手段がブロックノイズであると判断した画素は、前記総計対象画素から排除する。したがって、ブロックノイズを除去して正確な拡大率を得ることができる。

(5)本発明にかかる拡大率推定装置においては、前記判断手段は、注目画素について、注目画素を挟んで左右方向の所定数の画素について、および注目画素を挟んで上下方向の所定数の画素について、注目画素の画素値との差分を求める差分値演算手段、前記求めた差分値の傾向が、前記左右方向および前記上下方向とも、一方方向増加傾向または一方方向減少傾向である場合には、当該注目画素はブロックノイズがあると判断するブロックノイズ画素判断手段、を備えている。したがって、簡易で、かつ、ブロックノイズの境界位置を正確に検出することできる。

(6)本発明にかかるエッジ抽出閾値算出装置においては、前記拡大率推定手段が推定した拡大率に応じて、エッジ抽出閾値を変動させる手段であって、前記推定した拡大率が大きい場合には、エッジ抽出閾値が大きく、前記推定した拡大率が小さい場合には、エッジ抽出閾値が小さくなるように変動させるエッジ抽出閾値変動手段を備えている。したがって、拡大率に応じて、エッジ抽出閾値を変動させることができる。これによりより正確なエッジ抽出が可能となる。

(7)本発明にかかるエッジ算出間引き率装置においては、前記拡大率推定手段が推定した拡大率に応じて、エッジ量を検出する対象画像の画素を間引く間引き率を変動させる手段であって、前記推定した拡大率が大きい場合には、前記間引き率が大きく、前記推定した拡大率が小さい場合には、前記間引き率が小さくなるように変動させる画素間引き手段、を備えている。したがって、拡大率に応じて、間引き率を変動させることができる。これによりより正確なエッジ抽出が可能となる。

(8)本発明にかかるエッジ算出間引き率装置においては、前記拡大率推定手段が推定した拡大率に応じて、前記入力画像を縮小処理させる縮小手段、前記縮小された画像からエッジを抽出するエッジ抽出手段、および前記エッジ抽出された画面を、前記拡大率に応じて、拡大処理する拡大手段を備えている。したがって、拡大された画像であっても適切なエッジ抽出が可能となる。

(9)本発明にかかる拡大率推定方法は、入力画像の拡大率を推定する拡大率推定方法であって、前記入力画像の所定の高周波成分を第１空間周波数成分特性値として演算する第１演算ステップ、前記入力画像の空間周波数成分を第２空間高周波成分として演算する第２演算ステップ、前記第２空間周波数成分特性値に対する前記第１空間周波数成分特性値の割合を求め、この割合が小さいほど、前記入力画像の拡大率は高いと推定する推定ステップ、を備えている。

このように、前記入力画像の空間周波数成分のうち、高周波成分の割合が小さい場合には、画像拡大率が小さいと判断することができる。

(10)本発明にかかる拡大率推定方法は、前記入力画像の空間周波数成分のうち、所定高周波成分を取り除いた高周波除去画像データを生成し、この高周波除去画像について、各画素における空間周波数成分を画素別高周波除去画像高周波成分特性値として演算し、前記入力画像について、各画素における空間周波数成分を画素別第２空間高周波成分特性値として演算し、両者の差分を画素別第１空間高周波成分特性値とし、前記画素別第１空間高周波成分特性値を全画素の総計を第１空間高周波成分特性値とし、前記画素別第２空間高周波成分特性値を全画素の総計を第２空間高周波成分特性値とする。

このように、入力画像から所定高周波分を取り除き、残存している高周波成分により、拡大率を推定することにより、拡大画像であっても簡易かつ正確に拡大率を推定することができる。

(11)本発明にかかる拡大率推定方法においては、前記推定ステップでは、前記割合を１から減算した値を、拡大率として求める。したがって、拡大率を求めることができる。

なお、本明細書において「画素値」とは輝度値はもちろん、ＲＧＢ値など画像情報を特定する為の数値は全て含む。「一方方向増加傾向」とは、実施形態では、図６Ａの実線で示すように、「一方方向に向かって、増加している傾向をいう。「一方方向減少傾向」は、図６Ａの破線で示すように、一方方向に向かって減少している傾向をいう。ただし、この形には限定されない。

また、「第２空間周波数成分特性値」とは、実施形態では、入力画像における各画素における周辺画素との分散値から特定される特性値が該当する。また、「第１空間周波数成分特性値」は、「第２空間周波数成分特性値」から、前記入力画像から高周波成分を除去した高周波除去画像おける各画素における周辺画素との分散値との差分から特定される特性値が該当する。本実施形態においては、各画素について「第２空間周波数成分特性値」との差分を求めて、それを総計することにより、演算したが、これに限定されない。なお、かかる「第２空間周波数成分特性値」との差分で求めるのではなく、高周波成分を通過させて、これから、求めたものを含む。

拡大率推定装置１の機能ブロック図である。 拡大率推定装置１を、ＣＰＵを用いて構成した場合のハード構成の一例である。 全体のフローチャートである。 ＬＰＦ記憶部２６Ｌに記憶されたローパスフィルタを示す。 差分を求める隣接画素を示す。 ブロックノイズとエッジの傾向の違いを示す図である。 ブロックノイズ除去処理のフローチャートである。 水平方向ブロックノイズ度の演算処理のフローチャートである。 水平方向ブロックノイズ度の演算に用いる画素との関係を示す。 垂直方向ブロックノイズ度の演算処理のフローチャートである。 拡大率推定処理のフローチャートである。 拡大率推定装置１をハードウェアで実現する場合の概要を示す図である。 拡大率推定装置１を用いて、エッジ強調を実現する場合の処理フローチャートである。 エッジ検出閾値を決定するためのグラフを示す。 エッジ検出の詳細フローチャートである。 本実施形態においてエッジ検出に用いたフィルタである。 エッジ強調処理係数決定の詳細フローチャートである。 本実施形態において用いたウインドウ（１５＊３）を示す図である。 重み付けマスクである。 重み付けエッジ総計値と強調係数との関係を示すグラフである。 画素間引き処理をする場合のフローチャートである。 画素間引き処理のフィルタの一例である。

以下、本発明における実施形態について、図面を参照して説明する。

（１．１ 機能ブロック）
図１に、本発明の１実施形態にかかる拡大率推定装置である拡大率推定装置１の機能ブロック図を示す。

拡大率推定装置１は、入力画像の拡大率を推定する拡大率推定装置であって、生成手段３、第１演算手段５、第２演算手段７、判断手段９および拡大率推定手段１１を備えている。

生成手段３は、前記入力画像の所定高周波成分として、注目画素との関係において、入力画像の空間周波数成分のうち、矩形画素領域における水平方向、垂直方向、および斜め方向に位置する画素の高周波成分を取り除いた高周波除去画像を生成する。

第１演算手段５は、前記入力画像の所定の高周波成分を第１空間周波数成分特性値として演算する。第２演算手段７は、前記入力画像の空間周波数成分を第２空間周波数成分特性値として演算する。これらの第１および第２空間高周波成分特性値は、所定周辺画素との画素値の差分の絶対値の総計を画素毎差分値として、各画素について演算するとともに、前記画素毎差分値を総計することにより、求められる。

判断手段９は前記各画素について、ブロックノイズであるか否かを判断する。拡大率推定手段１１は、判断手段９がブロックノイズであると判断した画素は、前記総計対象画素から排除し、残った画素について、前記第２周波数成分特性値に対する前記第１周波数成分特性値の割合が小さいほど、前記入力画像の拡大率は高いと推定する
（１．２ ハードウェア構成）
図２に拡大率推定装置１のハードウェア構成を示す。拡大率推定装置１は、ＣＰＵ２３、ＲＡＭ２５、フラッシュメモリ２６を備えている。フラッシュメモリ２６は、ＬＰＦ記憶部２６Ｌ、プログラム記憶部２６ｐを有している。プログラム２６ｐは、後述するように、拡大率推定、エッジ抽出などの処理を実行する。ＲＡＭ２５は演算結果等を記憶する。フレームメモリ２７は１画面の画像データを保持する。ＬＰＦ記憶部２６Ｌには、図４に示すような、４方向のローパスフィルタが記憶されている。

ＣＰＵ２３は、プログラム２６Ｐに従い、フレームメモリ２７に記憶された画像データについて、拡大率を推定し、エッジ抽出を行う。

（１．３ フローチャートの説明）
図２に示すプログラム２６Pによる処理について図３を用いて説明する。ＣＰＵ２３は、注目画素番号qを初期化し(ステップＳ１００)、q番目の画素の周辺ブロックの画素データを読み出す(ステップＳ１０１）。本実施形態においては、1ブロックを7*7の49画素とした。

ＣＰＵ２３は、読み出した１ブロック分の画素データについて、図４に示す４方向ＬＰＦを用いて、高周波を除去し(ステップＳ１０３）、結果をメモリに記憶する。ＣＰＵ２３は、注目画素番号qにおける分散値を計算する(ステップＳ１０７)。本実施形態においては、図５に示すように、注目画素Ｉ(i,j)とこれに隣接する４つの画素（画素Ｉ(i,j-1)、画素Ｉ(i-1,j)、画素Ｉ(i-1,j-1)、および画素Ｉ(i+1,j-1)）とのそれぞれの差分の絶対値を加算することにより、注目画素Ｉ(i,j)における分散値を演算するようにした。画素Ｉ(i,j-1)が図４の０度方向、画素Ｉ(i-1,j)が図４の９０度方向、画素Ｉ(i-1,j-1)が図４の１３５度方向、および画素Ｉ(i+1,j-1)が図４の４５度方向における隣接画素である。

ＣＰＵ２３は、図３ステップＳ１０１で記憶した原画像について、同じく注目画素番号qにおける分散値を計算する(ステップＳ１０９)。計算手法は、ステップＳ１０７と同じなので、説明は省略する。

ＣＰＵ２３は、ステップＳ１０９で求めた原画像の分散値と、ステップＳ１０７で求めた高周波を除去した分散値との差分の絶対値を求める(ステップＳ１１１）。これにより各画素について残存している高周波成分が得られる。

ＣＰＵ２３は、全画素について、前記差分演算が完了したか否か判断し（ステップＳ１１９）、ステップＳ１０１〜ステップＳ１１１の処理を繰り返す。これにより、１フレームの全画素についての、ＬＰＦ処理した画像と、原画像における分散値が得られる。

ＣＰＵ２３は、ブロックノイズ判定を行う（ステップＳ１２３）。本実施形態においては、ブロックノイズの特性に着目して、画素毎にその判定をするようにした。図６Ａに、ある画素がブロックノイズである場合、画素値の差分と当該画素からの距離との関係を示す。図６Ｂに、ある画素がエッジである場合、画素値の差分と当該画素からの距離との関係を示す。本実施形態においては、ある画素がエッジである場合、当該画素をピークとして、画素差分値の傾向が変化するが、前記ある画素がブロックノイズである場合、画素差分値の傾向は、一方向減少か一方向増加の関係となる。

本実施形態においては、かかるブロックノイズの特性を検出することにより、ブロックノイズの画素を、演算対象から取り除くようにした。ブロックノイズ検出処理を、図７を用いて説明する。ＣＰＵ２３は、注目画素番号qを初期化する(図７ステップＳ２００）。ＣＰＵ２３は、水平方向ブロックノイズ度の演算を行う(ステップＳ２０３)。ステップＳ２０３の詳細について、図８を用いて説明する。

ＣＰＵ２３は、処理対象画素番号h(i)を初期化する。本実施形態においては、-８番目から＋８番目までを処理対象とするので、初期化はh(i)＝-８とした。ＣＰＵ２３は、注目画素qの画素値および、注目画素qから水平方向に−８番目に位置する画素の画素値を読み出す。これらの画素の関係を図９Ａに示す。ＣＰＵ２３は、注目画素qの画素値から、処理対象画素番号h(i)に位置する画素値を減算する(図８ステップＳ２２５)。差分が閾値Ｈthよりも大きい場合には、処理対象画素番号h(i)の画素の水平フラグを「１」とする。これに対して、差分が閾値Ｈthよりも大きくない場合には、差分が閾値−Ｈthのよりも小さいか否か判断する(ステップＳ２３１）。

差分が閾値−Ｈthのよりも小さい場合には、処理対象画素番号h(i)の画素の水平フラグを「−１」とする。そうでない場合は、処理対象画素番号h(i)の画素の水平フラグを「０」とする。

ＣＰＵ２３は、処理対象画素番号h(i)＞８か否か判断する(ステップＳ２３７）。処理対象画素番号h(i)＞８で無い場合には、ＣＰＵ２３は、処理対象画素番号h(i)をインクリメントして、ステップＳ２２３以下を繰り返す。

このようにして、図９に示すように、左右方向に８つずつ位置する画素と、注目画素との関係が取得される。

図８ステップＳ２３７で、処理対象画素番号h(i)＞８であれば、対象となる全画素について、水平フラグが取得したので、注目画素qについての水平方向のブロックノイズ度を求める(ステップＳ２４１）。本実施形態においては、水平方向のブロックノイズ度は、上記演算で求めた計１６の画素の水平フラグを加算した値とした。

ＣＰＵ２３は、垂直方向ブロックノイズ度の演算を行う(ステップＳ２０５)。ステップＳ２０５の詳細について、図１０を用いて説明する。図１０のステップＳ２５１〜ステップＳ２７１の処理は、方向が水平方向が、垂直方向となるだけで、図８と同様であるので説明は省略する。

ＣＰＵ２３は、ブロックノイズの画素の判定を行う(図７ステップＳ２０７、ステップＳ２０９）。本実施形態においては、水平方向ブロックノイズ度が閾値THhよりも小さいか、または、垂直方向ブロックノイズ度が閾値THvよりも小さい場合には、ブロックノイズ画素であると判断するようにした。

かかる判断基準について説明する。図６Ａは、既に説明したように、注目画素がブロックノイズである場合であり、この場合、注目画素に対して、差分の値は、距離が離れるにしたがって、一方方向増加傾向または、一方方向減少傾向にある。この場合に、ステップＳ２０３，Ｓ２０５で求めた各フラグは、注目画素を挟んで、「１」のフラグおよび「−１」のフラグの双方が存在する。したがって、この場合、ブロックノイズ度は小さくなる。これに対して、図６Ｂに示すように、注目画素で増加傾向と減少傾向が折り返しになるような場合、注目画素を挟んで、「１」のフラグかがほとんどか、または、「−１」のフラグがほとんどであるという傾向にある。したがって、この場合、ブロックノイズ度は大きくなる。したがって、閾値よりも小さくなる。すなわち、水平方向ブロックノイズ度が閾値THhよりも小さいか、または、垂直方向ブロックノイズ度が閾値THvよりも小さい場合には、ブロックノイズと判断することができる。

ＣＰＵ２３は、最終画素かどうか判断して(ステップＳ２１０)、最終でない場合は、注目画素番号qをインクリメントして(ステップＳ２１１)、ステップＳ２０３以下を繰り返す。

このようにして、ブロックノイズ画素か否かの判断が画素単位で可能となる。

ＣＰＵ２３は、拡大率推定処理を行う(図３ステップＳ１２５)。本実施形態における拡大率推定処理について、図１１を用いて説明する。ＣＰＵ２３は、図３ステップＳ１１１にて求めた差分について、１フレームの全画素のうち、ステップＳ１２３で、ブロックノイズ画素であると判断した画素を除いて、これらを総計した値Sum_ver_diffを求める(図１１ステップＳ２７１)。ＣＰＵ２３は、図３ステップＳ１０９にて求めた原画の分散値について、１フレームの全画素のうち、ステップＳ１２３で、ブロックノイズ画素であると判断した画素を除いて、これらを１フレーム分総計した値Sum_ver_orgを求める(図１１ステップＳ２７３)。ＣＰＵ２３は、正規化拡大推定率blurを下記式から求める。

blur＝１−（Sum_ver_diff／Sum_ver_org）
このようにして、ブロックノイズを判定し、ブロックノイズと判定される画像のvariation差分を収集しないことで、ブロックノイズの影響を受けられない正確な拡大率推定が可能となる。特に、一旦圧縮され、その画像がbilinear法などのような精度が低い拡大法で処理されると、圧縮時に生成されたブロックノイズが更に目立つが、かかる場合に効果を奏する。

なお、本実施形態においては、ブロックノイズを水平方向および垂直方向で判断しているが、これは、ブロックノイズは、水平または垂直方向に出現するが多いからである。

また、本実施形態においては、１画素単位でブロックノイズ判定を行うようにしたが、ブロックノイズである場合は、それが水平か垂直方向に連続することが多い。したがって、ブロックノイズ画素が所定数以上連続するか否かを判断するステップを設け、所定数連続する場合には、ブロックノイズ画素であると判断するようにしてもよい。

上記拡大率推定装置１をハードウェアで実現する場合のブロック図を図１２に示す。７*７画像が、４方向LPF２０１、原画分散値計算部２０５，およびブロックノイズ判定部２０７に与えられる。４方向LPF２０１は所定の高周波を除去し、残存した高周波成分をLPF後分散値計算部２０３が７＊７の各画素について、分散値を求める。原画像分散値計算部２０５も与えられた７＊７の各画素についての分散値を求める。ブロックノイズ判定部２０７は、７＊７の画素を用いて、ブロックノイズの判定を行う。本実施形態においては、周辺の１６画素を用いてブロックノイズ判定を行っているので、７＊７画像では不足する。したがって、ブロックノイズ判定部２０７は、その周辺のブロックの画素についても画素値を取得して、これを記憶しておけばよい。拡大率推定部２０９は、４方向LPF２０１、原画分散値計算部２０５，およびブロックノイズ判定部２０７に与えられたデータを用いて、既に説明したように、拡大率を推定する。

上記拡大率推定装置１を従来のエッジ強調処理装置と組み合わせることにより、エッジ強調処理などが可能である。特に、推定した拡大率を用いて、最適なエッジ抽出閾値を算出することにより、拡大率に応じたエッジ抽出が可能となる。

この場合のハードウェア構成は、図２と同様であるので説明は省略する。図１３に、エッジ強調処理のフローチャートを示す。

ＣＰＵ２３は、拡大率推定処理を行う（図１３ステップＳ３０１）。かかる処理は、上記拡大率推定装置１による正規化拡大推定率blurの演算処理である。ＣＰＵ２３は、正規化拡大推定率blurから、最適なエッジ抽出閾値ＴＨbを算出する(ステップＳ３０３)。これは、求めた正規化拡大推定率blurについて、図１４に示すグラフに当てはめて、エッジ抽出閾値ＴＨbを決定する。具体的には、正規化拡大推定率blurが上限閾値ＴＨ１に対応する値Ｂ１よりも小さい場合は、上限閾値ＴＨ１をエッジ抽出閾値ＴＨbとする。また、正規化拡大推定率blurが下限閾値ＴＨ２に対応する値Ｂ２よりも大きい場合は、下限閾値ＴＨ２をエッジ抽出閾値ＴＨbとする。正規化拡大推定率blurが上限閾値ＴＨ１に対応する値Ｂ１と、下限閾値ＴＨ２に対応する値Ｂ２の間に位置する場合には、図１４に示す関数ｆ（blur）に基づき、エッジ抽出閾値ＴＨbを決定する。これにより、推定拡大率が大きい場合には、小さなエッジ抽出閾値ＴＨが、推定拡大率が小さい場合には、大きなエッジ抽出閾値ＴＨが得られる。

本実施形態においては、上限閾値と下限閾値を設けたが、これについては任意である。

エッジ抽出処理について、図１５を用いて説明する。ＣＰＵ２３は、エッジ量演算対象画素(x,y)のエッジ量g(x,y)を演算する（ステップＳ３２１）。本実施形態においては、エッジ量演算対象画素(x,y)のエッジ量g(x,y)をソーベル（Sobel)フィルタを用いて、さらに、得られた水平方向、および垂直方向の合計値を加算することにより、演算した。すなわち、図１６Ａ，Ｂに示すような水平方向、および垂直方向の係数行列を用いた演算を行い、水平方向の合計値gHSの絶対値と垂直方向の合計値gVSの絶対値を求め、これらを加算するようにした。このように、二乗計算でなく、合計値gHSの絶対値と垂直方向の合計値gVSで求めている為、演算が容易となる。

ＣＰＵ２３は、エッジ量演算対象画素(x,y)のエッジ量g(x,y)が、図１３ステップＳ３０３で求めた閾値ＴＨbを越えているか否か判断し（ステップＳ３２３）、エッジ量演算対象画素(x,y)のエッジ量g(x,y)が閾値ＴＨbを越えている場合には、そのエッジ量演算対象画素(x,y)はエッジであるとし（ステップＳ３２７）、エッジ量演算対象画素(x,y)のエッジ量g(x,y)が閾値ＴＨbを越えていない場合は、そのエッジ量演算対象画素(x,y)はエッジでないと決定する(ステップＳ３２９）。ＣＰＵ２３は、かかるエッジ判定を全画素について実行する。なお、エッジ抽出は、かかる方法でない他の方法であってもよい。

つぎに、ＣＰＵ２３は、ステップＳ３０５で抽出したエッジ分布に基づき、注目画素毎のエッジ強調係数を決定する(図１３ステップＳ３０９）。

注目画素のエッジ強調係数処理について、図１７を用いて説明する。ＣＰＵ２３は、注目画素に対するウインドウを決定する(図１７ステップＳ３３１）。本実施形態においては、当該ウインドウとして、図１８に示すような注目画素を中心とする１５＊３画素の範囲とした。これにより、注目画素を中心とするウインドウ内に位置するエッジの分布が得られる。

ＣＰＵ２３は、決定したウインドウにおけるエッジ画素を特定する(ステップＳ３３３)。ＣＰＵ２３は、図１８に示すフィルタを採用して、当該範囲において注目画素に近い位置にどの程度エッジ画素が存在するかを示す重み付けエッジ総計値NumE(x,y)を演算する(ステップＳ３３５)。本実施形態においては、重み付けエッジ総計値NumE(x,y)は、前記注目画素周辺領域内の画素について、エッジ画素である場合は「１」を、エッジ画素でない場合は「０」とし、これに図１９に示すフィルタをかけた値を総計したものとした。

ＣＰＵ２３は、得られた重み付けエッジ総計値NumE(x,y)について、予め定めた下限閾値THs、上限値THhと比較する(ステップＳ３３７）。重み付けエッジ総計値NumE(x,y)が下限閾値THsよりも小さい場合は、エッジ強調係数W(x,y)＝０とする(ステップＳ３３９)。また、重み付けエッジ総計値NumE(x,y)が上限閾値THhよりも大きい場合は、エッジ強調係数W(x,y)を予め定めた上限係数値Whとする(ステップＳ３４３)。また、重み付けエッジ総計値NumE(x,y)が下限閾値THsと上限閾値THhの間である場合には、下記式によって演算する(ステップＳ３４１)。

W(x,y)＝Wh＊（NumE(x,y)−THs）／（THh−THs）
これにより、重み付けエッジ総計値NumE(x,y)とエッジ強調係数W(x,y)との関係は、図２０に示すように、下限閾値THsと上限閾値THhの間では線形に対応し、下限閾値THsよりも小さければゼロに、上限閾値THhよりも大きければ上限係数値Whとなる。

よって、平坦部分を強調せず、テクスチャやエッジ部分は線形で強調係数W(x,y)が決定される。これによりテクスチャ部分を、より強く強調することができる。また、上限を設けることで、過強調の可能性がある部分の過強調を防止でき、これにより、リンギングアーティファクトを低減することもできる。

ＣＰＵ２３はこれらの処理を全画素について行う。

つぎに、ＣＰＵ２３は、注目画素のエッジ強調・ぼかし処理（図１３ステップＳ３１１）、リンギングアーティファクト除去処理を行う。エッジ強調処理およびリンギングアーティファクト除去処理については従来の手法を採用すればよい。

このようにして、エッジ強調処理が終了する。

なお、本実施形態においては推定した拡大率からエッジ抽出閾値を演算するようにしたが、推定した拡大率が大きければ、画素間引き率を大きくし、推定した拡大率が小さければ、画素間引き率を小さくするようにしてもよい。これは、拡大率が大きいということは、原画像に対して、複数の画素でこれを表しているから、その分間引くことにより、適切なエッジ量が検出しようとするものである。

図２１にその場合のフローチャートを示す。ステップＳ４０１、ステップＳ４０５〜ステップＳ４１３は、それぞれ、ステップＳ３０１、ステップＳ３０５〜ステップＳ３１３と同じである。ステップＳ４０３にて、ステップＳ４０１で推定した拡大率に基づき、間引き率が変動するラプラシアンフィルタを用いて、画素の間引き処理を行えばよい。図２２Ａに従来のラプラシアンフィルタを示す。これに対して、図２２Ｂに示すラプラシアンフィルタは、垂直方向および水平方向における間引きが多い。かかる間引き処理がなされた画像について、ステップＳ４０５にて、エッジ抽出がなされる。

このように、本実施形態においては、推定した拡大率に基づき、エッジ強調処理が変更される。かかる拡大率を動的に検出することにより、エッジ強調処理も動的に変更することができる。

なお、拡大率が小数倍である場合もある。このような場合には、間引きでなく、入力画像を縮小した画像からエッジ検出をした後、このエッジ検出画面を元の大きさに拡大するようにしてもよい。例えば、拡大率１．３と推定された場合、図２１ステップＳ４０３にて入力画像を１／１．３倍し、エッジ抽出した後、その画面を、エッジ強調処理(ステップＳ４１１）の前に、１．３倍するようにすればよい。

（２.他の実施形態）
本実施形態においては、注目画素とその周辺画素との差分演算として、周辺画素は４つを採用したが、これに限定されず、一般的な分散その他の”ばらつき”度合い算出指標が採用可能である。

上記実施形態においては、４方向簡易ローパスフィルタを採用したが、高周波成分を除去できるのであれば、どのようなものであってもよく、一般的なローパスフィルタを採用してもよい。また、ＬＰＦのサイズは限定されない。

本実施形態においては、１フレームについて上記拡大率の推定を行うようにしたが、１フレームの一部の領域についても同様に判断することができる。

本実施形態においては、ブロックノイズ判定について、図８、図１０に示すフローチャートでブロックノイズ度を判断したが、これに限定されず、例えば、水平方向の画素を連続して判断するのではなく、一部を抽出してもよいし、また、端部のみで判断してもよい。

上記実施形態においては、図１に示す機能を実現するために、ＣＰＵ２３を用い、ソフトウェアによってこれを実現している。しかし、その一部もしくは全てを、ロジック回路などのハードウェアによって実現してもよい。なお、プログラムの一部の処理を、オペレーティングシステム（ＯＳ）にさせるようにしてもよい。

図１８に示すウインドウを１５＊３画素としたのは、必要なラインメモリとの関係で、コストパフォーマンスが良いサイズであり、これに限定されるものではない。

本実施形態においては、エッジ検出処理に、ソーベル（Sobel)フィルタを採用したが、プレヴィット(Prewitt)フィルタなど、他のエッジ検出処理を採用してもよい。

上記実施形態で開示した発明を下記のようなブロックノイズ判定装置として把握することもできる。

複数の画素で構成された画像を構成する画素のうち、ブロックノイズである画素を判断するブロックノイズ画素判断装置であって、
判定対象の注目画素および周辺画素の画素値を抽出する手段、
前記抽出した画素値の差分を求める手段、
前記周辺画素との差分の傾向が、一方方向増加傾向または一方方向減少傾向であると判断した場合には、前記注目画素は、ブロックノイズである画素だと判断する判断手段、
を備えたブロックノイズ画素判断装置。

さらに、前記判断手段がブロックノイズであると判断した画素は、前記総計対象画素から排除する手段を備えるようにしてもよい。

また、前記判断手段は、注目画素について、注目画素を挟んで左右方向の所定数の画素について、および注目画素を挟んで上下方向の所定数の画素について、注目画素の画素値との差分を求める差分値演算手段と、前記求めた差分値の傾向が、前記左右方向および前記上下方向とも、一方方向増加傾向または一方方向減少傾向である場合には、当該注目画素はブロックノイズがあると判断するブロックノイズ画素判断手段を有するように構成してもよい。

上記実施形態で開示した発明を下記エッジ抽出閾値算出装置として把握することもできる。

与えられた画像について、推定した拡大率が与えられると、エッジ抽出閾値を変動させるエッジ抽出閾値算出装置であって、
前記推定した拡大率が大きい場合には、エッジ抽出閾値が大きく、前記推定した拡大率が小さい場合には、エッジ抽出閾値が小さくなるように変動させるエッジ抽出閾値変動手段、を備えたこと、
を特徴とするエッジ抽出閾値算出装置。

上記実施形態で開示した発明を下記エッジ算出間引き率装置として把握することもできる。

拡大率推定手段が推定した拡大率に応じて、エッジ量を検出する対象画像の画素を間引く間引き率を変動させるエッジ算出間引き率装置であって、
前記推定した拡大率が大きい場合には、前記間引き率が大きく、前記推定した拡大率が小さい場合には、前記間引き率が小さくなるように変動させる画素間引き手段を備えたこと、を特徴とするエッジ算出間引き率装置。

上記実施形態で開示した発明を下記エッジ抽出装置として把握することもできる。

前記拡大率推定手段が推定した拡大率に応じて、入力画像を縮小処理させる縮小手段、
前記縮小された画像からエッジを抽出するエッジ抽出手段、
前記エッジ抽出された画面を、前記拡大率に応じて、拡大処理する拡大手段、
を備えたこと、
を特徴とするエッジ抽出装置。

このように、推定した拡大率に応じて、エッジ抽出処理をする際に、エッジ抽出する閾値を変動、間引き処理、上記縮小拡大処理など、正確なエッジ抽出ができるような各種の画像処理を行うことができる。

本実施形態においては、ローパスフィルタを通した画像について各画素について、ローパスフィルタを通していない画像の対応する画素ごとに差分を演算してから、これらを総計するようにしたが、総計してから差分を演算するようにしてもよい。

また、ローパスフィルタを通した画像と通していない画像との差分を演算するのではなく、ハイパスフィルタを通した画像について、通していない画像の割合で、拡大率を演算するようにしてもよい。

２３ ＣＰＵ
２５ ＲＡＭ
２６ フラッシュメモリ

Claims (8)

1. 入力画像の拡大率を推定する拡大率推定装置であって、
   前記入力画像の所定の高周波成分を第１空間周波数成分特性値として演算する第１演算手段、
   前記入力画像の空間周波数成分を第２空間周波数成分特性値として演算する第２演算手段、
   前記第２周波数成分特性値に対する前記第１周波数成分特性値の割合が小さいほど、前記入力画像の拡大率は高いと推定する拡大率推定手段、
   を備え、
   前記第１および第２空間周波成分特性値は、所定周辺画素との画素値の差分の絶対値の総計を画素毎差分値として、各画素について演算するとともに、前記画素毎差分値を総計することにより、求められること、
   を特徴とする拡大率推定装置。
2. 請求項１の拡大率推定装置において、
   前記入力画像の空間周波数成分のうち、所定高周波成分を取り除いた高周波除去画像データを生成する生成手段を備え、
   前記第１演算手段は、前記高周波除去画像について、各画素における空間周波数成分を画素別高周波除去画像周波数成分特性値として演算するとともに、前記画素別の第２空間周波数成分特性値と、画素別高周波除去画像周波数成分特性値との差分を画素別第１空間高周波成分特性値として演算すること、
   を特徴とする拡大率推定装置。
3. 請求項２の拡大率推定装置において、
   前記生成手段は、前記入力画像の所定高周波成分として、注目画素との関係において、入力画像の空間周波数成分のうち、矩形画素領域における水平方向、垂直方向、および斜め方向に位置する画素の高周波成分を取り除いた高周波除去画像を生成すること、
   を特徴とする拡大率推定装置。
4. 請求項１〜請求項３のいずれかの拡大率推定装置において、さらに、
   前記各画素について、ブロックノイズであるか否かを判断する判断手段を備え、
   前記拡大率推定手段は、前記判断手段がブロックノイズであると判断した画素は、前記総計対象画素から排除すること、
   を特徴とする拡大率推定装置。
5. 請求項４の拡大率推定装置において、
   前記判断手段は、
   注目画素について、注目画素を挟んで左右方向の所定数の画素について、および注目画素を挟んで上下方向の所定数の画素について、注目画素の画素値との差分を求める差分値演算手段、
   前記求めた差分値の傾向が、前記左右方向および前記上下方向とも、一方方向増加傾向または一方方向減少傾向である場合には、当該注目画素はブロックノイズがあると判断するブロックノイズ画素判断手段、
   を備えていること、
   を特徴とする拡大率推定装置。
6. 請求項１〜５のいずれかの拡大率推定装置を備えたエッジ抽出閾値算出装置であって、
   前記拡大率推定手段が推定した拡大率に応じて、エッジ抽出閾値を変動させる手段であって、前記推定した拡大率が大きい場合には、エッジ抽出閾値が大きく、前記推定した拡大率が小さい場合には、エッジ抽出閾値が小さくなるように変動させるエッジ抽出閾値変動手段、
   を備えたこと、
   を特徴とするエッジ抽出閾値算出装置。
7. 請求項１〜５のいずれかの拡大率推定装置を備えたエッジ算出間引き率装置であって、
   前記拡大率推定手段が推定した拡大率に応じて、エッジ量を検出する対象画像の画素を間引く間引き率を変動させる手段であって、前記推定した拡大率が大きい場合には、前記間引き率が大きく、前記推定した拡大率が小さい場合には、前記間引き率が小さくなるように変動させる画素間引き手段、
   を備えたこと、
   を特徴とするエッジ算出間引き率装置。
8. 請求項１〜５のいずれかの拡大率推定装置を備えたエッジ抽出装置であって、
   前記拡大率推定手段が推定した拡大率に応じて、前記入力画像を縮小処理させる縮小手段、
   前記縮小された画像からエッジを抽出するエッジ抽出手段、
   前記エッジ抽出された画面を、前記拡大率に応じて、拡大処理する拡大手段、
   を備えたこと、
   を特徴とするエッジ抽出装置。

Images