JP3944738B2

JP3944738B2 - 画像処理装置および方法、記録媒体、並びにプログラム

Info

Publication number: JP3944738B2
Application number: JP2003073073A
Authority: JP
Inventors: 泉浦野; 夏雄香田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-03-18
Filing date: 2003-03-18
Publication date: 2007-07-18
Anticipated expiration: 2023-03-18
Also published as: JP2004280633A; US20040223662A1; US7362900B2

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、入力画像を人間の目で認識できるように、入力画像を低解像度化するようにした画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
画像を低解像度化する画像変換処理の技術が知られている。低解像度化の１つの手法として、入力画像のモザイク化する技術がある。モザイク化とは、入力画像を複数のブロックに分割し、さらに、各ブロック毎に、そのブロックに属する全ての画素を、そのブロックに属する画素に基づいた、代表画素値に置き換えることにより、画像を低解像度化する画像変換処理である。
【０００３】
図１は、従来の画像変換装置１の構成を示している。
【０００４】
画像入力部１１は、入力画像を取得し、その画像サイズ（水平方向および垂直方向の画素数）を検出し、分割数決定部１２に出力すると共に、入力画像をRGB（Red Green Blue）信号に分離して輝度値として、分割数決定部１２に出力する。また画像入力部１１は、入力画像を画像分割部１３に出力する。
【０００５】
分割数決定部１２は、入力画像の画像サイズの情報に基づいて、入力画像に対する水平方向、および、垂直方向のそれぞれの分割数を決定する。より詳細には、分割数決定部１２は、モザイクを構成する最小単位となるブロックのサイズ（水平方向、および、垂直方向の画素数）が予め設定されているので、その設定されたモザイクのサイズに基づいて、入力画像の水平方向、および、垂直方向に対するそれぞれの分割数を決定して画像分割部１３に出力する。
【０００６】
画像分割部１３は、分割数決定部１２より入力された分割数で、入力画像を水平方向、および、垂直方向に分割し、分割されたブロック状の画像を色付画像出力部１４に出力する。
【０００７】
色付画像出力部１４は、入力されたブロックに含まれる画素のうち、ブロックを構成する形状の重心位置に存在する画素の画素値（輝度値）を代表値として、そのブロックに属する全ての画素の画素値（輝度値）をその代表値に置き換えて出力する。
【０００８】
より詳細には、色付画像出力部１４は、各ブロック毎に、その重心位置の画素の画素値（輝度値）を全ての画素の画素値（輝度値）に置き換えることにより、ブロック毎に画素値が単一の画素値となるように変換して出力する。この結果、入力画像は、所定の複数のブロックに分割され、各ブロック毎に単一色のモザイク状となった画像に変換されることにより低解像度化されて出力される。
【０００９】
次に、図２のフローチャートを参照して、従来の画像変換装置１による画像変換処理について説明する。
【００１０】
ステップＳ１において、画像入力部１１は、入力画像を取得し、その画像サイズを検出し、分割数決定部１２に出力すると共に、入力画像をRGB（Red Green Blue）信号に分離して、各画素の輝度を求めて分割数決定部１２に出力する。さらに、画像入力部１１は、取得した入力画像をそのまま画像分割部１３に出力する。
【００１１】
ステップＳ２において、分割数決定部１２は、入力された画像サイズの情報に基づいて、入力された画像の分割数を、予め設定されたモザイクのサイズに基づいて決定し、決定した分割数の情報を画像分割部１３に出力する。
【００１２】
ステップＳ３において、画像分割部１３は、入力された画像分割数に基づいて、画像入力部１１より入力された入力画像を水平方向、および、垂直方向に分割して、複数のブロック状の画像を生成し、色付画像出力部１４に出力する。
【００１３】
ステップＳ４において、色付画像出力部１４は、画像分割部１３より入力されたブロック状の画像のうち、そのブロックの重心位置に存在する画素の画素値を代表画素値として、そのブロックに属する全ての画素の画素値をその代表値に設定し、この処理を全てのブロック対して施し、入力画像をモザイク状の画像に低解像度化して出力する。
【００１４】
ステップＳ５において、画像入力部１１は、次の入力画像が存在するか否かを判定し、次の入力画像が存在すると判定した場合、その処理は、ステップＳ１に戻る。すなわち、次の入力画像が存在しなくなるまで、ステップＳ１乃至Ｓ５の処理が繰り返される。
【００１５】
ステップＳ５において、入力画像が存在しないと判定された場合、その処理は、終了する。
【００１６】
すなわち、ステップＳ４の処理により、分割された各ブロック単位でモザイク画が構成されるので、入力画像は、より低解像度のモザイク画像に変換されることになる。
【００１７】
【発明が解決しようとする課題】
しかしながら、図１で示される従来の画像変換部１は、入力画像とは無関係に予め設定されたモザイクのサイズ（ブロックのサイズ）に基づいて、入力画像の水平方向、および、垂直方向の分割数を決定して、モザイク画像を生成しているため、モザイクのサイズによっては、モザイク画像を見ても、入力画像がどのような画像であるかを認識することができなかった。
【００１８】
さらに言えば、これまで多くの場合、入力画像をモザイク画像に変換する低解像度化処理は、入力画像を認識させないようにすることを目的とした画像処理であったため、入力画像を人の目で認識できるように低解像度化することは考えられていなかった。
【００１９】
本発明はこのような状況に鑑みてなされたものであり、変換された画像から入力画像を人の目で認識することができる状態で、入力画像を低解像度化できるようにするものである。
【００２０】
【課題を解決するための手段】
本発明の画像処理装置は、入力画像よりエッジを抽出するエッジ抽出手段と、
エッジ抽出手段により抽出されたエッジの周期を検出する周期検出手段と、周期検出手段により検出されたエッジの周期に基づいて、入力画像を複数のブロックに分割する分割手段と、分割手段により分割されたブロック毎に全ての画素の画素値を、所定の画素値に変換する画素値変換手段とを含むことを特徴とする。
【００２１】
前記エッジ抽出手段により抽出されたエッジに属する画素の頻度を水平方向毎、および、垂直方向毎に検出する頻度検出手段をさらに設けるようにさせることができ、周期検出手段には、エッジ抽出手段により抽出されたエッジに属する画素の頻度に基づいて、エッジの周期を水平方向毎、および、垂直方向毎に検出させるようにすることができる。
【００２２】
前記エッジに属する画素の、水平方向毎、および、垂直方向毎のそれぞれの頻度の情報を離散フーリエ変換して、パワースペクトルを求める離散フーリエ変換手段と、離散フーリエ変換手段により求められた、水平方向毎、および、垂直方向毎のパワースペクトルにおけるピークの空間周波数を検出するピーク検出手段とをさらに設けるようにさせることができ、周期検出手段には、離散フーリエ変換手段により求められたパワースペクトルにおけるピークの空間周波数に基づいて、エッジの周期を検出させるようにすることができる。
【００２３】
本発明の画像処理方法は、入力画像よりエッジを抽出するエッジ抽出ステップと、エッジ抽出ステップの処理で抽出されたエッジの周期を検出する周期検出ステップと、周期検出ステップの処理で検出されたエッジの周期に基づいて、入力画像を複数のブロックに分割する分割ステップと、分割ステップの処理で分割されたブロック毎に全ての画素の画素値を、所定の画素値に変換する画素値変換ステップとを含むことを特徴とする。
【００２４】
本発明の記録媒体のプログラムは、入力画像よりエッジを抽出するエッジ抽出ステップと、エッジ抽出ステップの処理で抽出されたエッジの周期を検出する周期検出ステップと、周期検出ステップの処理で検出されたエッジの周期に基づいて、入力画像を複数のブロックに分割する分割ステップと、分割ステップの処理で分割されたブロック毎に全ての画素の画素値を、所定の画素値に変換する画素値変換ステップとを含むことを特徴とする。
【００２５】
本発明のプログラムは、入力画像よりエッジを抽出するエッジ抽出ステップと、エッジ抽出ステップの処理で抽出されたエッジの周期を検出する周期検出ステップと、周期検出ステップの処理で検出されたエッジの周期に基づいて、入力画像を複数のブロックに分割する分割ステップと、分割ステップの処理で分割されたブロック毎に全ての画素の画素値を、所定の画素値に変換する画素値変換ステップとを含むことを特徴とする。
【００２６】
【発明の実施の形態】
図３は、本発明に係る画像変換部の一実施の形態の構成を示すブロック図である。
【００２７】
図３の画像変換部２１は、入力画像を人の目で認識できる低解像度化画像に変換して出力する。
【００２８】
画像入力部３１は、入力画像を取得し、その画像サイズ（水平方向および垂直方向の画素数）を検出し、分割数決定部３８に出力すると共に、入力画像をRGB（Red Green Blue）成分に分離して、輝度を求めてエッジ強調部３２に出力する。さらに、画像入力部１１は、取得した入力画像を画像分割部３９に出力する。
【００２９】
エッジ強調部３２は、入力画像にエッジ強調フィルタによる処理を施し、入力画像のエッジを強調し、エッジ抽出部３３に出力する。このエッジ強調フィルタは、例えば、ラプラシアンフィルタなどであるが、これに限るものではなく、エッジが強調できればラプラシアンフィルタ以外のフィルタでもよい。尚、エッジ強調フィルタについては後述する。
【００３０】
エッジ抽出部３３は、エッジ強調部３２より入力された、エッジが強調された、画像に、エッジ抽出フィルタ処理を施し、エッジが強調された画像からエッジのみを抽出した画像（例えば、エッジ部の画素の画素値を１、それ以外の画素を０とした２値画像）を生成し、エッジ判定部３４に出力する。エッジ抽出フィルタは、例えば、Robertsのエッジ検出フィルタ、Prewittのエッジ検出フィルタ、または、Sobelのエッジ検出フィルタなどであるが、エッジが抽出できるものであれば、それ以外のフィルタであってもよい。尚、エッジ抽出フィルタについては詳細を後述する。
【００３１】
エッジ判定部３４は、エッジ抽出部３３より入力された、エッジ抽出フィルタによりエッジが抽出されている画像の各画素についてエッジの可能性の高い画素（エッジが強調された後の入力画像の画素から抽出されたエッジを用いているので、エッジが強調される前の入力画像上におけるエッジの可能性が高い画素と言う意味で、ここでは、エッジの可能性の高い画素と称している）であるか否かを判定し、エッジの可能性が高い画素の情報をエッジカウント部３５に出力する。
より詳細には、エッジ部の画素の画素値を１、それ以外の画素を０とした２値画像とした場合、入力画像中においてエッジである可能性の高い画素の画素値は、エッジ強調部３２、および、エッジ抽出部３３の処理により画素値が１となっているはずなので、エッジ判定部３４は、各画素の画素値が、１であるとき、その画素はエッジ部の可能性の高い画素であるとみなし、その情報をエッジカウント部３５に出力する。
【００３２】
エッジカウント部３５は、エッジ部である可能性の高い画素からなる画像の水平方向、および、垂直方向の各座標位置について、それぞれのエッジ部である可能性の高い画素数をカウントし、水平方向、および、垂直方向のそれぞれについて各座標位置毎のエッジである可能性の高い画素数のカウント結果をDFT（Descreate Fourier Transform：離散フーリエ変換）部３６に出力する。
【００３３】
DFT部３６は、エッジカウント部３５より入力される水平方向、および、垂直方向のそれぞれについて各座標位置毎のエッジである可能性の高い画素のカウント結果を、水平方向、および、垂直方向のそれぞれについて、離散フーリエ変換処理を施して、水平方向、および、垂直方向のそれぞれについて、エッジの周期（エッジの発生する空間的な周期（間隔））に対応する空間周波数（（エッジの発生する空間的な周期（間隔）の逆数）の水平方向、および、垂直方向のそれぞれについてのパワースペクトル（フーリエ変換した際のフーリエ級数組（実部の係数と虚部の係数の組）のそれぞれの２乗の和）を生成し、ピーク抽出部３７に出力する。
【００３４】
ピーク抽出部３７は、DFT部３６より入力された、水平方向、および、垂直方向のそれぞれについて、パワースペクトルから、そのピーク位置となる空間周波数を検出し、水平方向、および、垂直方向についてそれぞれ検出し、検出したピークとなる空間周波数の情報を分割数決定部３８に出力する。
【００３５】
分割数決定部３８は、画像入力部３１より入力された画像サイズの情報と、ピークとなる空間周波数の情報から分割数を決定し、画像分割部３９に出力する。
すなわち、空間周波数は、エッジの発生する周期の逆数であるので、分割数決定部３８は、発生するエッジに対応したモザイクのブロックを発生するように画像の分割数を決定する。より具体的には、分割数決定部３８は、空間周波数の逆数を求めることにより周期（エッジの発生する間隔を示す画素数）を求め、画像サイズにおける水平方向と垂直方向の画素数を、その周期の画素数でそれぞれ割ることにより分割数を決定する。
【００３６】
画像分割部３９は、分割数決定部３８より入力された、水平方向、および、垂直方向の分割数で、入力画像を分割し、分割した画像を色付画像出力部４０に出力する。すなわち、画像分割部３９は、入力された水平方向、および、垂直方向の分割数で、入力画像をモザイク状のブロック単位の画像に分割する。
【００３７】
色付画像出力部４０は、画像分割部３９より入力された、モザイク状のブロックに分割されている各画像に含まれている全画素の画素値の、例えば、中央値、または、最頻値（最も頻度の高い画素値）を代表画素値として、そのブロックに含まれている全ての画素の画素値を代表画素値とし、これらの処理を、入力画像の全てのブロックについて実行することで、入力画像を低解像度化し、モザイク画像に変換して、出力する。
【００３８】
次に、図４のフローチャートを参照して、図３の画像変換部２１によるモザイク画像変換処理について説明する。
【００３９】
ステップＳ２１において、画像入力部３１は、入力画像を取得して、画像サイズを検出して、分割数決定部３８に出力すると共に、入力画像を画像分割部３９に出力する。
【００４０】
ステップＳ２２において、画像入力部３１は、入力画像を各画素の画素値をRGB成分に分離して、輝度を求めてエッジ強調部３２に出力する。
【００４１】
ステップＳ２３において、エッジ強調部３２は、輝度値からなる入力画像の情報にエッジ強調フィルタによるエッジ強調処理を施し、入力画像のエッジを強調してエッジ抽出部３３に出力する。
【００４２】
ここで、エッジ強調部３２の処理に用いられるエッジ強調フィルタについて説明する。
【００４３】
エッジ強調フィルタは、例えば、上述のようにラプラシアンフィルタである。
ラプラシアンフィルタの動作原理は、以下のようなものである。すなわち、例えば、図５Ａで示されるように、入力画像の輝度値f(x)が空間方向xに対してエッジ部分を構成している場合（図５Ａで示されるように段差が生じている場合）、このf(x)が１次微分されることにより、図５Ｂで示されるように１次微分値f(x)'は、上に凸の曲線が得られる。さらに、２次微分値f(x)''は、図５Ｃで示されるように、sin波形のような曲線となる。この２次微分値f(x)''を、元の輝度値f(x)から減算することにより、図５Ｄで示されるような波形が得られる。この結果、原画像のエッジ部分には存在しなかった、輝度値の変化が開始される部分に凹部と、変化が終了する部分に凸部がそれぞれ生じることとなる。この結果、エッジ部分の濃度変化が強調される。
【００４４】
さらに、ラプラシアンフィルタによるエッジ強調の処理の画素値の計算方法について説明する。
【００４５】
画像のディジタル処理においては、１次微分値は、画素間の輝度値の差分により求められる。すなわち、水平方向に図６Ａで示されるように画素f(i,j),f(i＋1,j)が配置され、垂直方向に図６Ｂで示されるように画素f(i,j),f(i,j＋1)が配置されていた場合、水平方向の画素間の１次微分値をf_x(i,j)とし、垂直方向の画素間の１次微分値をf_y(i,j)とするとき、以下の式（１），式（２）のような関係から、１次微分値は演算される。
【００４６】
f_x(i,j)＝f(i＋1,j)−f(i,j)・・・（１）
f_y(i,j)＝f(i,j＋1)−f(i,j)・・・（２）
【００４７】
さらに、２次微分値は、この際、１次微分値の差分が用いられる。すなわち、水平方向に図６Ｃで示されるように画素f(i−1,j),f(i,j),f(i＋1,j)が配置され、垂直方向に図６Ｄで示されるように画素f(i,j−1),f(i,j),f(i,j＋1)が配置されていた場合、水平方向の画素間の２次微分値をf_xxとし、垂直方向の画素間の２次微分値をf_yyとするとき、以下の式（３），式（４）のような関係から、２次微分値は演算される。
【００４８】

【００４９】
ラプラシアン▽²f(i,j)は、以上の関係から以下の式（５）で示されるように定義される。
【００５０】

【００５１】
従って、原画像f(i,j)からラプラシアン▽²f(i,j)を差し引くことで、以下の式（６）よりエッジ強調された画像の画素値g(i,j)が導出されることになる。
【００５２】

【００５３】
上述の式（６）は、図７Ａで示されるように、注目画素（図中中央の画素）について、上下左右に存在する合計４画素（注目画素を含めて５画素）についての２次微分値を用いたフィルタによる具体的な演算である。ここで、図７Ａにおいては、上段から下段に向って、かつ、左から右に向って０，−１，０，−１，５，−１，０，−１，０の３画素×３画素のフィルタ（ラプラシアンフィルタ）であるが、斜め方向は、全て０が配置されているため、実質的に注目画素と上下左右の５画素についてのフィルタとなっている。
【００５４】
そこで、斜め方向も考慮するような場合、図７Ｂで示されるように、上段から下段に向って、かつ、左から右に向って−１，−１，−１，−１，５，−１，−１，−１，−１の３画素×３画素の実質的に注目画素を含む９画素のフィルタとしてもよい。
【００５５】
尚、エッジ強調部３２によるエッジ強調の処理は、以上のようにラプラシアンフィルタを用いた処理に限るものではなく、入力画像のエッジ部を強調する処理が実現できればよく、例えば、入力画像をFFT（Fast Fourier Transform）により変換し、空間周波数領域で高周波成分により強調した後、逆FFTにより空間領域に戻すことによりエッジを強調するようにしてもよい。
【００５６】
ここで、図４のフローチャートの説明に戻る。
【００５７】
ステップＳ２４において、エッジ抽出部３３は、エッジ強調部３２より入力されたエッジが強調されている入力画像からエッジ抽出フィルタを用いて、エッジを抽出した画像（エッジ部のみから構成される画像）を生成し、エッジ判定部３４に出力する。より詳細には、例えば、エッジ抽出部３３は、エッジ部の画素を１として、それ以外の部分の画素を０としたエッジ部分のみを認識することができる２値画像を生成する。
【００５８】
ここで、エッジ抽出フィルタについて説明する。
【００５９】
エッジ部は、上述のように隣接する画素間の画素値（今の処理では、輝度値）が急激に変化している部分である。そこで、エッジ抽出部３３は、隣接する画素間で求められる画素値の差分、すなわち微分値から以下の式（７）で定義される値を閾値と比較し、閾値以上であればエッジ部であると判定する。
【００６０】
|▽f(i,j)|＝√（f_x ²(i,j)＋f_y ²(i,j)）・・・（７）
【００６１】
ここで、式（７）において、f_x(i,j)およびf_y(i,j)は、上述の式（１），（２）と同様である。すなわち、水平方向の１次微分値f_x(i,j)は、図８Ａで示されるような隣接する画素の画素値（輝度値）に図中の値（各マス目は、画素を示し、左のマス目から−１，１）を乗じて加算したものであり、同様にして、垂直方向の１次微分値f_y(i,j)は、図８Ｂで示されるような隣接する画素の画素値（輝度値）に図中の値（各マス目は、画素を示し、上のマス目から−１，１）を乗じて加算したものである。尚、注目画素は、図８Ａ中の左右どちらでもよく、また、図８Ｂ中の上下のいずれであってもよい。
【００６２】
尚、式（７）で示した演算処理は、全画素について演算するには、処理時間がかなり必要となるため、処理の高速化を図るため、以下の式（８）、または、式（９）を近似式として代用するようにしてもよい。
【００６３】
|▽f(i,j)|≒|f_x(i,j)|＋|f_y(i,j)|・・・（８）
|▽f(i,j)|≒Max（|f_x(i,j)|,|f_y(i,j)|）・・・（９）
【００６４】
ここで、Max（A,B）は、Ａ，Ｂのうち、いずれか大きい方の値を示す。
【００６５】
以上においては、隣接画素として注目画素の左右のいずれか、および、上下のいずれかの画素を選択した場合のエッジ抽出方法であるが、例えば、図９で示すように、注目画素に対して斜め方向に隣接する画素との画素値の差分からエッジを抽出するようにしてもよい。図９Ａにおいて、注目画素は、左下の画素、または、右上の画素のいずれかであり、図９Ｂにおいては、左上の画素、または、右下の画素である。また、各画素の画素値に対して乗じる係数は、図９Ａの場合、上から下に、かつ、左から右に、０，１，０，−１であり、また、図９Ｂの場合、上から下に、かつ、左から右に、１，０，−１，０である。
【００６６】
この斜め方向に隣接する画素間の画素値の差分からエッジを抽出するフィルタをRobertsのエッジ検出フィルタ（以下、ロベルツフィルタとも称する）という。
【００６７】
このロベルツフィルタを用いた場合、上述の式（７）に対応する式は、以下の式（１０）となる。
【００６８】
|▽f(i,j)|＝√((f(i,j)−f(i+1,j+1))²+(f(i+1,j)−f(i,j+1))²)・・・（１０）
【００６９】
従って、ロベルツフィルタを使用する場合、上述の式（１０）の関係を用いてエッジが検出されることになる。さらに、同様にして、上述の式（１０）の演算をより高速化させるため、以下の式（１１），式（１２）で示されるような簡易式を用いるようにしてもよい。
【００７０】
|▽f(i,j)|≒|(f(i,j)−f(i+1,j+1)|＋|f(i+1,j)−f(i,j+1)|・・・（１１）
|▽f(i,j)|≒Max（|(f(i,j)−f(i+1,j+1)|,|f(i+1,j)−f(i,j+1)|）・・・（１２）
【００７１】
さらに、以上の方法で、エッジを求めるようにしてもよいが、例えば、以上の式（１）におけるf_x(i,j)は、厳密な意味において、(i,j)の座標上に存在する注目画素の１次微分値を求めているのではなく、f_x(i+05,j)の１次微分値を求めていることに他ならない。そこで、図１０Ａで示されるように、注目画素（図１０Ａ中の中央の画素）に対して水平方向に隣接する左右の画素間、および、図１０Ｂで示されるように、注目画素（図１０Ｂ中の中央の画素）に対して垂直方向に隣接する上下の画素間の差分からそれぞれ注目画素位置の水平方向、および、垂直方向の１次微分値を求めるようにしてもよい。すなわち、図１０Ａにおいては、３画素×３画素の合計９画素に対してかけられるフィルタであるが、実質的には、注目画素の左右に隣接する画素間の差分が注目画素の水平方向の１次微分値として得られることになる。また、同様に、図１０Ｂにおいても、３画素×３画素の合計９画素に対してかけられるフィルタであるが、実質的には、注目画素の上下に隣接する画素間の差分が注目画素の垂直方向の１次微分値として得られることになる。このフィルタによる処理により、差分を求める画素間の距離が大きくなる分、ノイズによる影響を小さくすることができる。
【００７２】
さらに、図１１Ａで示されるように、注目画素について、左上、左側、および左下に隣接する画素の画素値の和と、右上、右側、および右下に隣接する画素の画素値の和との差分を求めてもよく、この場合、平滑化された水平方向の１次微分値を求める事が可能となる。図１１Ａにおいては、各画素の画素値に係数として上から下に向って、かつ、左から右に向って、−１，０，１，−１，０，１，−１，０，１の係数を乗じて和を取る処理がなされる。
【００７３】
同様に、図１１Ｂで示されるように、注目画素について、左上、上側、および右上に隣接する画素の画素値の和と、右下、下側、および左下に隣接する画素の画素値の和との差分を求めるようにしてもよく、この場合、平滑化された垂直方向の１次微分値を求めることが可能となる。図１１Ｂにおいては、各画素の画素値に係数として上から下に向って、かつ、左から右に向って、−１，−１，−１，０，０，０，１，１，１の係数を乗じて和を取る処理がなされる。尚、図１１Ａ，Ｂで示されるようなフィルタは、一般に、Prewittのエッジ検出フィルタ（以下、プレウィットフィルタとも称する）と呼ばれる。
【００７４】
また、図１２Ａで示されるように、注目画素の水平方向に隣接する画素の画素値に対してのみ重みをつけて、係数を設定するようにしてもよい。すなわち、図１２Ａにおいては、各画素の画素値に係数として上から下に向って、かつ、左から右に向って、−１，０，１，−２，０，２，−１，０，１の係数を乗じて和を取る処理がなされる。
【００７５】
同様にして、図１２Ｂで示されるように、注目画素の垂直方向に隣接する画素の画素値に対してのみ重みをつけて、係数を設定するようにしてもよい。すなわち、図１２Ｂにおいては、各画素の画素値に係数として上から下に向って、かつ、左から右に向って、−１，−２，−１，０，０，０，１，２，１の係数を乗じて和を取る処理がなされる。
【００７６】
図１２Ａ，Ｂで示されるようなフィルタの処理により、最も近い位置に隣接する画素の画素値に対して大きな重み付けを施す処理が可能となり、より正確なエッジ検出が可能となる。尚、図１２Ａ，Ｂで示されるようなフィルタは、一般に、Sobelのエッジ検出フィルタ（以下、ソーベルフィルタとも称する）と呼ばれる。
【００７７】
以上のようなエッジ検出フィルタを用いた処理により、例えば、図１３で示されるような建築物の画像が入力画像である場合、図１４の右部で示されるようにエッジ部（画素値が変化する部分）のみが、図中「白色」で表示され、それ以外の部分が「黒色」で表示された画像が生成され、これにより、エッジ部のみが抽出された画像が生成される。
【００７８】
ここで、図４のフローチャートの説明に戻る。
【００７９】
ステップＳ２５において、エッジ判定部３４は、入力されたエッジ抽出フィルタにより処理された画像の各画素について、入力画像のエッジ上に存在する可能性の高い画素であるか否かを判定して、各画素毎の判定結果をエッジカウント部３５に出力する。より具体的には、エッジ抽出された画像が、上述の２値画像である場合、エッジ部の画素値が１で、それ以外の部分の画素値が０であるとき、エッジ判定部３４は、入力画像の各画素について、画素値が１であるか否かを判定し、判定結果をエッジカウント部３５に出力する。
【００８０】
ステップＳ２６において、エッジカウント部３５は、エッジ判定部３４より入力されたエッジの判定結果に基づいて、画像の水平方向、および、垂直方向のそれぞれの位置毎にエッジの可能性の高い画素の数をカウントし、カウント結果をDFT部３６に出力する。すなわち、例えば、図１４の右部に示されるエッジ抽出された画像の場合、図中、水平方向の右方向をｘ方向とし、また、垂直方向の下方向をｙ方向としたとき、図中右下部で示されるように、ｘ方向の各座標位置と、その座標位置毎にエッジである可能性の高い画素（図中の白色の画素（画素値が１の画素））の数（図中の頻度）がカウントされ、そのカウント結果がDFT部３６に出力される。
【００８１】
図１４中の右下部で示されるように、エッジが存在するｘ方向の各座標位置（図中では、建物の窓枠のエッジ部が存在するｘ方向の座標位置）上でエッジの可能性の高い画素の頻度が高くなり、エッジである可能性の高い画素が少ない窓枠以外の部分が多く存在するｘ座標の位置では頻度が低くなる。また、同様にして、図１４中の左部で示されるように、エッジが存在するｙ方向の各座標位置（図中では、建物の窓枠のエッジ部が存在するｙ方向の座標位置）上の頻度が高くなり、エッジである可能性の高い画素が少ない窓枠以外の部分が多く存在するｙ座標の位置では頻度が低くなる。
【００８２】
結果として、水平方向と垂直方向のそれぞれの位置とエッジの発生頻度の関係が示されることになる。
【００８３】
ステップＳ２７において、DFT部３６は、エッジカウント部３５より入力された水平方向と垂直方向のそれぞれの位置とエッジの可能性の高い画素の発生頻度の関係にDFT（離散フーリエ変換）処理を施して、その変換結果をピーク抽出部３７に出力する。
【００８４】
例えば、図１４の右下部に示されている水平方向のエッジの発生頻度の関係は、DFT処理が施されることにより、図１５で示されるようなｘ方向の空間周波数とフーリエ係数との関係に変換される。すなわち、図１５において、横軸Fxは、ｘ方向の空間周波数である。また、縦軸Pは、フーリエ変換された際の各空間周波数に対応するフーリエ級数組（実部と虚部の係数の組）のそれぞれの２乗の和である。一般に、図１５で示されるような関係はパワースペクトルと呼ばれており、DFT部３６は、図１４の右下部に示されている水平（x）方向のエッジの可能性の高い画素の発生頻度の関係を、x方向についてのパワースペクトルに変換する。
【００８５】
また、同様にして、例えば、図１４の左部に示されている垂直方向のエッジの可能性の高い画素の発生頻度の関係は、DFT処理が施されることにより、図１６で示されるようなｙ方向の空間周波数とフーリエ係数との関係に変換される。すなわち、図１６において、横軸は、ｙ方向の空間周波数である。また、縦軸は、フーリエ変換された際の各空間周波数に対応するフーリエ級数組（実部と虚部の係数の組）のそれぞれの２乗の和である。すなわち、DFT部３６は、図１４の左部に示されている垂直（y）方向のエッジの可能性の高い画素の発生頻度の関係を、y方向についてのパワースペクトルに変換する。
【００８６】
ステップＳ２８において、ピーク抽出部３７は、DFT部３６より入力されたｘ方向およびｙ方向についてのそれぞれのパワースペクトルのそれぞれのピーク位置となるｘ方向、および、ｙ方向の空間周波数を抽出し、抽出したピーク位置となるｘ方向、および、ｙ方向の空間周波数の値を分割数決定部３８に出力する。
【００８７】
すなわち、図１５，図１６で示されるようなｘ方向、および、ｙ方向のパワースペクトルが検出された場合、ピーク抽出部３７は、図１５のｘ方向のパワースペクトルにおけるピーク値をとるｘ方向の空間周波数Fx-max、および、図１６のy方向のパワースペクトルにおけるピーク値をとるy方向の空間周波数Fy-maxをそれぞれ抽出し、抽出した空間周波数Fx-max，Fy-maxを分割数決定部３８に出力する。
【００８８】
ステップＳ２９において、分割数決定部３８は、ピーク抽出部３７より入力されたｘ方向と、ｙ方向のそれぞれのパワースペクトルのピーク値をとる空間周波数Fx-max，Fy-maxに基づいて、ｘ方向とｙ方向のそれぞれについての画像上に発生するエッジの周期を求める。空間周波数が、ｘ方向、または、ｙ方向の単位長さ当たりのエッジの発生頻度であるから、エッジの発生する周期は、その逆数であり、エッジの発生するｘ方向、または、ｙ方向の距離の間隔（距離の単位は画素数）である。そこで、分割数決定部３８は、ｘ方向と、ｙ方向のそれぞれのパワースペクトルのピーク値をとる空間周波数Fx-max，Fy-maxのそれぞれの逆数を取って、ｘ方向のエッジの発生する周期（１／Fx-max）（エッジの発生するｘ方向の間隔を示す画素数）、および、ｙ方向のエッジの発生する周期（１／Fy-max）（エッジの発生するｙ方向の間隔を示す画素数）を求める。
【００８９】
ステップＳ３０において、分割数決定部３８は、エッジの発生周期に基づいて、入力画像のｘ方向とｙ方向の（水平方向、および、垂直方向の）それぞれの分割数を決定し、決定したｘ方向の分割数Dx、および、ｙ方向の分割数Dyの情報を画像分割部３９に出力する。すなわち、分割数決定部３８は、画像入力部３１より入力される画像サイズの情報である入力画像のｘ方向の画素数と、ｙ方向の画素数を、それぞれｘ方向のエッジの発生周期（１／Fx-max）、および、ｙ方向のエッジの発生周期（１／Fy-max）で割ることにより、ｘ方向、および、ｙ方向の入力画像の分割数Dx，Dyを決定する。
【００９０】
ステップＳ３１において、画像分割部３９は、分割数決定部３８より入力された分割数Dx，Dyの情報に基づいて、画像入力部３１より入力される入力画像を分割し、分割した複数の画像を色付画像出力部４０に出力する。すなわち、画像分割部３９は、図１３で示されるような画像が入力画像である場合、図１７で示されるように、ｘ方向については、（１／Fx-max）の間隔（図中のｘ軸の真上に示されている実線の矢印の間隔）で、ｙ方向については、（１／Fy-max）の間隔（図中のｙ軸の左横に示されている破線の矢印の間隔）で、画像をブロック状に分割して、分割したブロック状の画像を色付画像出力部４０に出力する。従って、画像分割部３９は、入力画像を、ｘ方向に（１／Fx-max）×ｙ方向に（１／Fy-max）のサイズからなる、総数（Dx×Dy）個のブロックに分割して出力する。
【００９１】
ステップＳ３２において、色付画像出力部４０は、画像分割部３９より入力された、分割されているブロック状の画像毎に、そのブロック状の画像に含まれた全画素の画素値（輝度値）の平均画素値を代表画素値として求め、各ブロック状の画像毎に、そのブロック状の画像に属する全ての画素を、その代表画素値に設定して順次出力する。その結果、色付画像出力部４０は、図１３で示されるような入力画像が入力された場合、入力画像を図１８で示されるようなモザイク状の画像に変換して出力する。すなわち、図１３で示されたような入力画像は、総数（Dx×Dy）個のブロックからなるモザイク状の低解像度化された画像に変換される。
【００９２】
ステップＳ３３において、画像入力部３１は、次の画像が入力されたか否かを判定し、次の入力画像が入力されたと判定された場合、その処理は、ステップＳ２１に戻り、それ以降の処理が繰り返される。すなわち、入力画像が順次入力されている限り、ステップＳ２１乃至Ｓ３３の処理が繰り返される。
【００９３】
ステップＳ３３において、次の画像が入力されてきていないと判定された場合、その処理は、終了する。
【００９４】
すなわち、図３の画像変換装置１は、入力画像上のエッジの周期に基づいて、水平方向と垂直方向の分割数を決定することができるので、画像を認識するために必要な情報を残せるようにモザイク状のブロックの大きさを設定し、そのブロックの大きさで、入力画像を低解像度化するように変換させることができる。その結果、変換された画像は、人の目で認識することができる状態で、低解像度化されることになる。
【００９５】
従って、高解像度画像として処理する必要のない画像（例えば、高解像度の画像として表示したり、保存したりする必要のない画像）については、上述の手法により、人の目で認識することができる状態で、低解像度化させることができるので、各種の処理（例えば、転送、表示、または、記録など）にかかる負荷を低減させることができ、さらに、低解像度化された状態で表示しても、人の目で何が表示されているかを認識することが可能となる。
【００９６】
尚、以上においては、ステップＳ３２の処理において、色付画像出力部４０が、各ブロックの平均画素値を代表画素値として設定する例について説明してきたが、その他の方法で代表画素値を設定するようにしてもよく、例えば、各ブロックの最頻値、各ブロックの中央値、各ブロックの最大値と最小値の平均値、または、各ブロックの重心位置に存在する画素の画素値などを代表値として設定するようにしてもよい。
【００９７】
以上によれば、エッジ強調部３２が、入力画像よりエッジを強調し（ステップＳ２３の処理）、エッジ抽出部３３が、入力画像のエッジを抽出し（ステップＳ２４の処理）、エッジ判定部３４によりエッジと判定された画素がエッジカウント部３５により水平方向、および、垂直方向の位置毎にカウントされ（ステップＳ２６の処理）、DFT部３６が、カウントされた水平方向、および、垂直方向の位置毎の画素数の結果を離散フーリエ変換してパワースペクトルを生成し（ステップＳ２７の処理）、ピーク抽出部３７が、パワースペクトルのピークの空間周波数を抽出し（ステップＳ２８の処理）、分割数決定部３８が、ピーク抽出された空間周波数に基づいて、入力画像のエッジの周期を検出し（ステップＳ２９）、さらに検出されたエッジの周期に基づいて、入力画像の分割数を決定し（ステップＳ３０）、画像分割部３９が、入力画像を決定された分割数で複数のブロックに分割し（ステップＳ３１）、色付画像出力部４０が、分割されたブロック（状の画像）毎に全ての画素の画素値を、所定の画素値（ブロックの全画素の平均画素値）に変換して出力するようにしたので、入力画像を人の目で認識することができる状態で、低解像度化させることが可能となる。
【００９８】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【００９９】
図１９は、図３の画像変換部２１をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU１０１は、パーソナルコンピュータの全体の動作を制御する。また、CPU１０１は、バス１０４および入出力インタフェース１０５を介してユーザからキーボードやマウスなどからなる入力部１０６から指令が入力されると、それに対応してROM(Read Only Memory)１０２に格納されているプログラムを実行する。あるいはまた、CPU１０１は、ドライブ１１０に接続された磁気ディスク１２１、光ディスク１２２、光磁気ディスク１２３、または半導体メモリ１２４から読み出され、記憶部１０８にインストールされたプログラムを、RAM(Random Access Memory)１０３にロードして実行する。これにより、上述した画像変換部２１の機能が、ソフトウェアにより実現されている。さらに、CPU１０１は、通信部１０９を制御して、外部と通信し、データの授受を実行する。
【０１００】
プログラムが記録されている記録媒体は、図１９に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１２１（フレキシブルディスクを含む）、光ディスク１２２（CD-ROM(Compact Disc-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク１２３（MD（Mini-Disc）を含む）、もしくは半導体メモリ１２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【０１０１】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０１０２】
【発明の効果】
本発明によれば、入力画像を人の目で認識することができる状態で、低解像度化させることが可能となる。
【図面の簡単な説明】
【図１】従来の画像変換部の構成を示すブロック図である。
【図２】図１の画像変換部による画像変換処理を説明するフローチャートである。
【図３】本発明を適用した画像変換部の一実施の形態の構成を示すブロック図である。
【図４】図３の画像変換部による画像変換処理を説明するフローチャートである。
【図５】ラプラシアンフィルタを説明する図である。
【図６】１次微分値、および、２次微分値の求め方を説明する図である。
【図７】ラプラシアンフィルタを説明する図である。
【図８】エッジ検出フィルタを説明する図である。
【図９】エッジ検出フィルタを説明する図である。
【図１０】エッジ検出フィルタを説明する図である。
【図１１】エッジ検出フィルタを説明する図である。
【図１２】エッジ検出フィルタを説明する図である。
【図１３】入力画像の例を示す図である。
【図１４】図１３の入力画像のエッジ抽出フィルタによる処理例を示す図である。
【図１５】水平方向のパワースペクトルを示す図である。
【図１６】垂直方向のパワースペクトルを示す図である。
【図１７】図１３の入力画像を分割した例を示す図である。
【図１８】図１３の入力画像を低解像度化して変換した例を示す図である。
【図１９】記録媒体を説明する図である。
【符号の説明】
２１画像変換部，３１画像入力部，３２エッジ強調部，３３エッジ抽出部，３４エッジ判定部，３５エッジカウント部，３６ DFT，３７ピーク抽出部，３８分割数決定部，３９画像分割部，４０色付画像出力部

Claims

入力画像よりエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段により抽出されたエッジの周期を検出する周期検出手段と、
前記周期検出手段により検出されたエッジの周期に基づいて、前記入力画像を複数のブロックに分割する分割手段と、
前記分割手段により分割されたブロック毎に全ての画素の画素値を、所定の画素値に変換する画素値変換手段と
を含むことを特徴とする画像処理装置。
前記エッジ抽出手段により抽出されたエッジに属する画素の頻度を水平方向毎、および、垂直方向毎に検出する頻度検出手段をさらに備え、
前記周期検出手段は、前記エッジ抽出手段により抽出されたエッジに属する画素の頻度に基づいて、前記エッジの周期を水平方向毎、および、垂直方向毎に検出する
ことを特徴とする請求項１に記載の画像処理装置。
前記エッジに属する画素の、水平方向毎、および、垂直方向毎のそれぞれの頻度の情報を離散フーリエ変換して、パワースペクトルを求める離散フーリエ変換手段と、
前記離散フーリエ変換手段により求められた、水平方向毎、および、垂直方向毎の前記パワースペクトルにおけるピークの空間周波数を検出するピーク検出手段とをさらに備え、
前記周期検出手段は、前記離散フーリエ変換手段により求められた前記パワースペクトルにおける前記ピークの空間周波数に基づいて、前記エッジの周期を検出する
ことを特徴とする請求項１に記載の画像処理装置。
入力画像よりエッジを抽出するエッジ抽出ステップと、
前記エッジ抽出ステップの処理で抽出されたエッジの周期を検出する周期検出ステップと、
前記周期検出ステップの処理で検出されたエッジの周期に基づいて、前記入力画像を複数のブロックに分割する分割ステップと、
前記分割ステップの処理で分割されたブロック毎に全ての画素の画素値を、所定の画素値に変換する画素値変換ステップと
を含むことを特徴とする画像処理方法。
入力画像よりエッジを抽出するエッジ抽出ステップと、
前記エッジ抽出ステップの処理で抽出されたエッジの周期を検出する周期検出ステップと、
前記周期検出ステップの処理で検出されたエッジの周期に基づいて、前記入力画像を複数のブロックに分割する分割ステップと、
前記分割ステップの処理で分割されたブロック毎に全ての画素の画素値を、所定の画素値に変換する画素値変換ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
入力画像よりエッジを抽出するエッジ抽出ステップと、
前記エッジ抽出ステップの処理で抽出されたエッジの周期を検出する周期検出ステップと、
前記周期検出ステップの処理で検出されたエッジの周期に基づいて、前記入力画像を複数のブロックに分割する分割ステップと、
前記分割ステップの処理で分割されたブロック毎に全ての画素の画素値を、所定の画素値に変換する画素値変換ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラム。