JPWO2007099755A1 - 画像処理装置、表示装置、画像処理方法及びプログラム - Google Patents

Abstract

入力された画像信号の画素列を順次走査することにより、画像信号の列毎に、階調変化を滑らかにすべき領域である線形補間適用領域を検出し、検出された線形補間適用領域に対して階調拡張処理を行う。さらに、階調拡張処理が施された領域に対して、線形補間適用領域の検出処理を行った方向と異なる第２の方向との階調変化を所定値内に抑制する処理を実行する。

Description

本発明は、画像の階調拡張処理を行う画像処理装置、表示装置、画像処理方法及びプログラムに関する。

近年、より高画質で臨場感のある映像をユーザに提供できるように、薄型ディスプレイを代表とする表示装置の高解像度化及び多階調化がすすんでいる。また、表示装置に供給される画像信号はディジタル化され、一般にＲ（赤）、Ｇ（緑）、Ｂ（青）の色成分ごとに１画素あたり６ビットから８ビットのデータが割当てられている。

表示装置で表示可能なビット数と画像信号のビット数が同じ場合、表示装置では基本的に入力信号をそのまま使用して表示する。しかしながら、表示装置で表示可能なビット数と入力される画像信号のビット数とが異なる場合も多い。表示装置は、画像信号のビット数が表示装置で表示可能なビット数よりも多い場合、画像信号の下位ビットを切り捨てる方法、ディザ（dither）法、ＦＲＣ（フレームレートコントロール）法等を用いて画像信号のビット数を削減する。

一方、画像信号のビット数が表示装置で表示可能なビット数よりも少ない場合は、下位ビットを付加することで画像信号のビット数を増大する（階調拡張処理）。この階調拡張処理は、表示装置の特性に応じて画像信号のデータ処理を表示装置内で実行する際にも用いられる。また、階調拡張処理は、表示装置で表示可能なビット数と画像信号のビット数が同じであっても演算精度を高めるために実行される。その場合、画像信号は、階調拡張処理が実行された後、上記ディザ法やＦＲＣ等を用いて表示装置で表示可能なビット数へ変換される。

さらに、階調拡張処理は、上記ディジタル信号のビット数の変換や演算精度を高める以外にも用いられる。例えば、ディジタル信号のビット数が少ないと、グラデーションのように階調が滑らかに変化する領域では、等高線状に生じる偽輪郭（本来、面内で階調が滑らかに変化しているはずが、その階調変化部分が滑らかに変化していると感じられず、輪郭線が有ると認識されてしまう）が顕在化する。これを防止するための技術としても階調拡張処理は用いられる。

一般に、階調拡張処理は、（１）全ての画像信号に同じ処理を施す方法と、（２）特定画像の画像信号を抽出し、必要な画素にだけ処理を施す方法の２種類にわけられる。

（１）全ての画像信号に同じ処理を施す方法として、第１に、ディザノイズやランダムノイズを付加する方法が考えられる。この方法では、偽輪郭を多少抑制できるが、付加されたノイズ成分が目立つという問題がある。

また、第２に、上位ビットの値を下位ビットとして付加する方法がある。例えば６ビットの入力信号「１０１１０１」を８ビットにするために、入力信号の上位２ビットの値を下位２ビットに付加して「１０１１０１１０」に変換する。

また、第３に、単純に０か１を下位ビットに付加する方法がある。

これら第２、第３の方法は簡便であるが、階調変化部位にて階調差が小さくなるわけではないので偽輪郭を抑制することはできない。

それに対して、（２）特定画像の画像信号を抽出し、必要な画素にだけ処理を施す方法として、第１に、特開昭６３−１５５７６号公報（以下、特許文献１と称す）に記載された、偽輪郭領域に低域通過フィルタ（ＬＰＦ）処理を施す方法がある。この従来技術では、ディジタル画像信号にガンマ補正（画像処理）を施すことで発生する偽輪郭を抑制するために、偽輪郭が発生している領域を適応的に判断し、その領域において近傍の画素の画像信号の積分値（ＬＰＦ処理と同義）を出力している。このＬＰＦ処理によって偽輪郭が発生している領域の階調差を小さくしている。しかしながら、この方法では、偽輪郭の発生間隔（すなわち等高線の間隔）がフィルタサイズ（近傍の画素の積分範囲）よりも大きい場合に、グラデーション領域内でフィルタ処理を行った箇所とそうでない箇所の区別がつきやすく、偽輪郭を抑制してもそれほど画質の改善につながらない。

そこで、第２の方法として、特開平４−１６５８７４号公報（以下、特許文献２と称す）に記載された、ガンマ補正（画像処理）を施すことで発生する偽輪郭を抑制するために、階調の変化がなだらかな領域（グラデーション領域）を判別したとき、その領域内の偽輪郭の等高線間の画素の階調値を、等高線上の画素の階調値を線形補間することで求める方法がある。この方法によれば、グラデーション領域内で均一な階調変化を実現できるので、第１の方法のような問題が発生しない。

以上のことから、階調拡張処理の方法としては、画素の特定の情報を検出し、検出結果に応じて線形補間を行う方法が、偽輪郭の抑制という観点から、より望ましいと考えられる。この線形補間を用いる方法は、例えば特開２００３−３０４４００号公報（以下、特許文献３と称す）、特開２００３−３３３３４８号公報（以下、特許文献４と称す）、並びに特開２００４−５４２１０号公報（以下、特許文献５と称す）にも記載されている。

特許文献３〜５では、特許文献１及び特許文献２と異なり、ディジタル画像信号のビット深度が浅いために、偽輪郭が発生する問題を解決する、あるいは表示装置の階調性能を最大限に引き出すために階調拡張処理を行っているが、線形補間の方法は特許文献１及び特許文献２と同じである。

特許文献３に記載の画像処理装置は、偽輪郭検出器と画素値変換器とを有する構成である。

この偽輪郭検出器では、２画素以上同じ輝度レベルが水平方向に続いた後、輝度レベルが１上がった場合（条件１）と、輝度レベルが１下がった後、２画素以上同じ輝度レベルが水平方向に続いた場合（条件２）とを偽輪郭の検出条件としている。そして、検出された偽輪郭に対して画素値変換器にて線形補間を行っている。

特許文献４に記載の色信号拡張装置は、データ分布検出部とデータ深さ拡張部とを有する構成である。データ分布検出部は、階調データの分布状態から、色がなだらかに変化している領域を抽出（検出）する。具体的には、同じ階調が続く画素集団Ｋにおいて、画素の数が下限閾値Ｐ以上、上限閾値Ｑ以下であり、かつ隣接する画素集団の画素との階調差が判定閾値Ｓ以下である領域を検出する。そして、データ分布検出部は、なだらかに変化している領域に対して線形補間を行い、該領域に付加する階調値を決定する。データ深さ拡張部は、当該階調値を拡張部分に付加しつつ、当該色信号のデータ深さを拡張した拡張画像データを生成する。

特許文献５に記載の画像処理装置は、検出手段と信号拡張手段を有する構成である。検出手段は、同じ画素データが連続する最初の位置と、次の画素データが連続する最初の位置との差が、同じ画素データが連続する幅と等しいか否かを判定し、さらに同じ画素データが連続する領域の階調値が、次の画素データが連続する領域の階調値よりも１大きいかまたは１小さいかを判定することで擬似（偽）輪郭の有無を判定する。そして、擬似輪郭が発生している領域で滑らかに連続する画像が得られるように、信号拡張手段にて画像データを滑らかに、かつ線形に（線形補間を実施して）階調拡張する。

しかしながら、上記特許文献３〜５で開示された発明では、偽輪郭の検出処理を画像平面上のある方向（例えば横方向）についてのみ行っているが、階調拡張処理による十分な効果を得るためには、２方向について偽輪郭を検出する必要がある。そのため、１画面分の画素データを保持するためのフレームメモリが必要となり、コストが高くなる問題がある。なお、フレームメモリよりもコストがかからないラインメモリを用いる方法も考えられるが、ラインメモリを用いる場合は、上記特許文献３〜５で開示された発明と同様に、１方向（例えば横方向）についてのみ偽輪郭を検出することになる。すなわち、画像の１ライン毎に階調拡張処理を行うことになる。

上述したように、従来の画像処理装置では、偽輪郭の検出処理を２方向についてそれぞれ実施すると、フレームメモリが必要になるためにコストが上昇する問題があった。一方、コストの上昇を抑制するためにラインメモリを用いると、画像の１ライン毎に偽輪郭の検出処理及び階調拡張処理を行うことになるため、画像の各ライン間の相関について考慮されない。そのため、画像に線状のノイズが見られることがあり、望ましい階調拡張処理を実行できない問題を有していた。

そこで、本発明は、コストを低減しつつ、より適切に階調拡張処理を行うことが可能な画像処理装置、表示装置、画像処理方法及びそのプログラムを提供することを目的とする。

上記目的を達成するため本発明では、入力された画像信号の画素列を順次走査することにより、画像信号の列毎に、階調変化を滑らかにすべき領域である線形補間適用領域を検出し、検出された線形補間適用領域に対して階調拡張処理を行う。さらに、階調拡張処理が施された領域に対して、線形補間適用領域の検出処理を行った方向と異なる第２の方向との階調変化を所定値内に抑制する処理を実行する。

このように線形補間適用領域について第２の方向との階調変化を所定値内に抑制することで、一方向にのみ階調拡張処理を行うことによる偽輪郭の発生を抑制できる。そのため、ラインメモリを用いても適切な階調拡張を行うことができる。

したがって、低コストで、偽輪郭の発生を抑制することが可能であり、良好な画質で画像を再現できる。

図１は階調拡張処理における検出処理及び線形補間処理の一例を示す模式図である。 図２は階調拡張処理における検出処理と線形補間処理の他の例を示す模式図である。 図３は２次元の画像に対して実行する階調拡張処理における検出処理及び線形補間処理の一例を示す模式図である。 図４は図３に示した画像に本発明の階調変化抑制処理を施した例を示す模式図である。 図５は階調拡張処理における線形補間処理の他の例を示す模式図である。 図６は本発明の第１の実施の形態である画像処理装置の構成を示すブロック図である。 図７は図６に示した画像処理装置が備える検出部の一構成例を示すブロック図である。 図８は図６に示した画像処理装置が備える検出部の処理を示す模式図である。 図９は図６に示した画像処理装置が備える拡張補正部の一構成例を示すブロック図である。 図１０は図６に示した画像処理装置が備える拡張補正部の処理を示す模式図である。 図１１は図６に示した画像処理装置が備える階調変化抑制部の一構成例を示すブロック図である。 図１２は図６に示した画像処理装置が備える階調変化抑制部の処理を示す模式図である。 図１３は本発明の第２の実施の形態である画像処理装置の構成を示すブロック図である。 図１４は図１３に示した画像処理装置が備える検出部の一構成例を示すブロック図である。 図１５は図１３に示した画像処理装置が備える拡張補正部の一構成例を示すブロック図である。 図１６は本発明の第３の実施の形態である表示装置の構成を示すブロック図である。 図１７は本発明の第４の実施の形態である情報処理装置の構成を示すブロック図である。 図１８は本発明の画像処理方法の手順を示すフローチャートである。 図１９は本発明の画像処理方法の手順を示すフローチャートである。 図２０は本発明の画像処理方法の手順を示すフローチャートである。 図２１は本発明の画像処理方法の手順を示すフローチャートである。

先ず本発明について説明する前に本発明の原理について説明する。

（発明の原理）
従来の階調拡張処理では、偽輪郭が発生している領域、あるいは線形補間により階調拡張処理を行って階調変化を滑らかにすべき領域（以下、線形補間適用領域と称す）を検出する方法として、同じ階調値の画素で連続する領域が、隣接し、かつその領域どうしの階調値の差が一定範囲以内であるという検出条件を使用している。

この方法は、ある１方向、例えば画像の横方向の階調値のみを用いて線形補間適用領域の検出（以下、１方向の検出処理と称す）を行うので、画像平面における垂直方向、例えば縦方向に隣接する画素の階調値との相関については一切考慮していない。そのため、より適切な階調拡張処理を行うためには、２方向の階調値を用いて線形補間適用領域を検出（以下、２方向の検出処理と称す）する必要がある。そのためにフレームメモリが必要となり、低コストが望まれる機器への適用が困難になる。

一方、１方向の階調値のみを用いて線形補間適用領域を検出する場合は、フレームメモリを必要としない。しかしながら、画像によっては、望ましくない階調拡張処理結果を招くことがある。このような従来技術の問題点を、図１から図３に示す具体例を用いて説明する。図１及び図２は、１方向の検出処理及び階調拡張補正処理について２つの異なる方法の手順を示している。また、図３は、図１及び図２で示した処理を複数のラインに対して実行した場合の処理結果を示している。

図１（ａ）は処理対象となる６ビットの画像信号の一例を示し、図１（ｂ）は従来の階調拡張処理による線形補間適用領域の検出結果を示し、図１（ｃ）は８ビットに階調拡張処理（すなわち付加する２ビットを生成）された結果を示している。なお、図１（ａ）〜（ｃ）の横軸は画素の位置ｘを示し、図１の縦軸は階調値ｆ（ｘ）を示し、各画素の階調値を長方形で示している。

図１（ａ）において、処理対象となる６ビットの画像信号は、ｆ（０）からｆ（７）が（００１１００）bin（（ＸＸＸＸＸＸ）binは２進数をあらわす）であり、ｆ（８）からｆ（１５）が（００１１０１）binであり、ｆ（１６）からｆ（２３）が（００１１１０）binであり、ｆ（２４）とｆ（２５）が（００１１１１）binである。

このように画素の位置ｘが変化するにしたがって階調値ｆ（ｘ）が滑らかに変化していることから、この画素列はグラデーションを表現していると考えられる。このようなグラデーション画像では、階調がより滑らかに変化することが望ましい。

図１（ａ）に示した６ビットの画像信号を８ビットの画像信号に変換する場合、最初に輪郭及び線形補間適用領域をそれぞれ検出する。

輪郭検出処理及び線形補間適用領域の検出処理では、まず、ｘ＝０を始点Ｘｓの値として保持し、始点の階調値ｆ（０）＝（００１１００）binを始点階調値Ｔｓとして保持する。次に、Ｘｓよりも大きく、ｆ（ｘ）≠Ｔｓとなる最小の位置ｘを検出する。この例では、ｆ（８）＝（００１１０１）bin≠Ｔｓであり、かつＸｓ＜８であるので、ｘ＝８を検出点とする。また、ｆ（８）とｆ（０）の階調差は１（最小階調差）であり、線形補間適用領域と考えられる。以下、検出点を始点とし、検出点の階調値を始点階調値として、上記と同様の処理を順次実行する。その結果は、図１（ｂ）で示され、この例ではｘ＝０を含めて、ｘ＝８，１６，２４が検出点として得られている。この場合、全ての検出点における階調差は１であり、かつ検出点と検出点の間は同じ階調値が連続していることから、少なくともｘ＝０から２４までの画素列は線形補間適用領域と考えられる。

次に、上記の検出結果をもとに、画像信号に対して２ビットの階調拡張処理を行う。

階調拡張処理では、図１（ｂ）に示した線形補間領域とみなされた領域（ｘ＝０から２４までの画素列）に対して補間処理を行う。

補間処理では、まず各検出点間の階調値を直線で結ぶ（図１（ｃ）の斜めの点線）。続いて、この直線に最も近い値となる、階調値に付加する２ビットの値を決定する。例えば、ｘ＝０から８までの領域では、直線の始点を始点位置Ｘｓとし、直線の終点を終点位置Ｘｅとすると、付加する２ビットの値は、（付加値）＝（ｘ−Ｘｓ）／（Ｘｅ−Ｘｓ）＊４＝（ｘ−０）／（８−０）＊４の式で求めることができる（小数点以下は切捨てとする）。なお、上記式中の“＊”は、乗算を示す“×”を意味している。

ここで、“４”は２の（付加するビット数）乗で求められる。上記式により、付加される値はｘ＝０、１では（００）bin、ｘ＝２，３では（０１）bin、ｘ＝４、５では（１０）bin、ｘ＝６，７では（１１）binとなる。この値を６ビットの画素データ（階調値）に下位ビットとして付加することで８ビットの拡張補正データを得ることができる。なお、線形補間適用領域に含まれないｘ＝２５の画素データには（００）binを付加する。

図１（ｃ）の処理結果を見ると、画素データを８ビットに拡張することで、検出点と検出点間の階調差が４段階に変化し、階調が滑らかに変化していることがわかる。

一方、同じ処理を異なる階調値をもつ画像に対して行った結果を図２に示す。

図２（ａ）は、処理対象となる画像信号のうち、ｘ＝０からｘ＝１３までの階調値が全て（００００００）binとなっている点で図１（ａ）で示した画像信号と異なっている。

図２（ｂ）は輪郭の検出結果及び線形補間適用領域の検出結果を示している。図１（ｂ）と同様に、始点位置Ｘｓ及び始点階調値Ｔｓをそれぞれ保持する。最初にｆ（ｘ）≠Ｔｓとなる検出点はｘ＝１４であり、以下、順次同様の検出処理を行っている。ここでは、ｘ＝１６、２４で階調変化が検出されている（検出点となる）。

次に、この検出結果をもとに線形補間適用領域を決定する。ここでは、線形補間適用領域の条件として、（１）始点位置と同じ階調値が複数画素連続し、かつ終点位置と同じ階調値が複数画素連続すること、（２）始点位置の階調変化が減少であり、かつ滑らかにすべき階調変化、あるいは終点位置の階調変化が増加であり、かつ滑らかにすべき階調変化であること、具体的には、始点位置の階調値と終点位置の階調値の差が最小階調差（例えば、階調差が１）であること、（３）始点位置がｘ＝０以外のとき、始点位置における階調変化と終点位置における階調変化が共に増加、あるいは共に減少であること、の３点を用いた場合を例に説明する。なお、検出条件についてはいくつかのバリエーションが考えられるが、階調を滑らかに変化させるために線形補間を行う領域を決定するという目的はどれも同じである。

上記（１）は、１画素毎に階調が変化している領域は階調変化を滑らかにする必要がないという条件、上記（２）は、通常の輪郭か、階調変化を滑らかにすべき偽輪郭かを判定するための条件、上記（３）は、領域内で階調を単純に増加または減少させるための補間処理を実行する領域を決定するための条件である。なお、図１に示した階調データは、画素位置ｘ＝０から２４まで上記（１）から（３）の条件を満たしている。

以上の条件により、図２（ｂ）に示すように、各画素データについてｘ＝０から順に判定していく。

Ｘｓ＝０、Ｘｅ＝１４とすると、これらの位置では条件（２）を満たさない（始点位置及び終点位置が共に滑らかにすべき階調変化ではない）ので、線形補間適用領域とは判定されない。

次に、Ｘｓ＝１４，Ｘｅ＝１６とすると、これらの位置では全ての条件を満たすので線形補間領域となる。Ｘｓ＝１６、Ｘｅ＝２４としたときも線形補間適用領域となることがわかる。

図２（ｃ）に画素位置ｘ＝１４から１６及びｘ＝１６から２４に対して線形補間処理を実施した結果を示す。処理方法は上記図１を用いて説明した方法と同様である。

図２（ｃ）に示すように、画素位置ｘ＝１６から２４までの領域では線形補間処理結果が図１（ｃ）と同様となっている。また、画素位置ｘ＝１４から１６までの領域では、図１（ｃ）と異なり、傾きが急峻な補間処理結果が得られている。

次に、図１及び図２で示した処理結果を基に、図３（ａ）に示す２次元の画像を入力したときの処理手順を示す。図３（ａ）は横２６画素×縦６画素の画像である。また、横方向をｘ、縦方向をｙとし、線形補間適用領域の検出処理及び補間処理の方向をｘとする。

処理対象となる２次元の画像は、ｙ＝０，１，４，５の行は、図１に示した画像データと同じであり、ｙ＝２，３の行は図２の入力画像データと同じである。なお、処理対象が２次元の画像であるので、図１及び図２では各画素の階調値を縦軸で示していたが、図３（ａ）では６ビットの階調値を１０進数に変換した数字で示している。階調値はｆ（ｘ，ｙ）で示される。

図３（ｂ）に線形補間適用領域の検出結果を示す。図３（ｂ）は、図１（ｂ）及び図２（ｂ）で示した検出処理結果を各行（ライン）毎に適用し、得られた検出点を黒色で示している。

図３（ｃ）に階調拡張処理の結果を示す。処理後の階調値は８ビットとなるので、図３（ｃ）では８ビットの階調値を１０進数に変換した値を数字で示している。

ここで、１方向の検出処理では、その検出方向に線状のノイズが発生して、望ましくない階調拡張処理結果となることを、ｘ＝１４の列を例にして説明する。

図３（ａ）に示したように、階調拡張処理前のｘ＝１４の値は全て“１３”であり、滑らかな階調変化となっていることがわかる。一方、図３（ｃ）に示すように、階調拡張処理後のｘ＝１４の値は５５，５５，５２，５２，５５，５５となる。このように、元々滑らかな階調変化であったｘ＝１４の列の値が、ｘ方向の階調拡張処理を行うことで、ｙ＝１と２、ｙ＝３と４で３階調の階調変化を生じてしまう。このような階調変化は、ライン間の検出点の間隔の差に応じて現れ、図３（ａ）〜（ｃ）に示した例では、８画素間隔（ｙ＝０，１，４，５）と２画素間隔（ｙ＝２，３）間で、１画素の階調変化（ｘ＝１４）が生じているが、例えば６４画素間隔と１６画素間隔間では８画素の階調変化が生じてしまう。このように、横方向に長く階調が変化する領域が続くと、その部位は輪郭として認識され、横方向に線状のノイズとして知覚される。

この知覚される線状のノイズは、階調拡張処理を１方向にのみ行っているために発生する。よって、このような線状のノイズを抑制するためには、上記検出処理を行った方向と異なる第２の方向との階調変化を所定値内に抑制する処理を行うことが望ましい。

具体的には、階調拡張処理の後に、隣接するｙ方向の画素の階調値を基に補正する。すなわち、階調拡張処理前及び階調拡張処理後の各画素の階調値を比較し、階調拡張処理前のｙ方向の階調変化が一定範囲内（すなわち滑らかな変化をしている）であり、かつ階調拡張処理前の第２の方向の階調変化よりも、階調拡張処理後の第２の方向の階調変化が大きい場合に（すなわち階調拡張処理によってｙ方向の階調変化が滑らかでなくなっている）、その階調変化を所定値内に抑制する処理を行う。

図４は、階調変化を所定値内に抑制したときの処理結果を示している。図４（ａ）は図３（ａ）と同じ画像であり、その入力画像に対して１方向にのみ階調拡張処理を行った結果が図４（ｂ）（図３（ｃ）と同じ画像）である。

図４（ｂ）では黒で示したｘ＝１４の領域のｙ方向の階調変化が、上記２つの条件（もともと滑らかな階調変化であったのが階調拡張処理によって滑らかでなくなっている）を満たしている。なお、ｘ＝１５の領域では階調変化が１であるため、まだ滑らかであると判断している。

図４（ｃ）は、階調変化を所定値内に抑制するための処理として、１×３の空間平均化フィルタを使用した結果を示している。１×３の空間平均化フィルタは、注目画素（処理対象となる画素）の階調値と隣接する第２の方向の画素（ここでは注目画素の上下の画素）の階調値の平均値を注目画素の出力階調値とする処理である。例えば、注目画素をｆ（１４、２）とすると、ｆ（１４、１）の階調値は５５、ｆ（１４、２）の階調値は５２、ｆ（１４、３）の階調値は５２であるため、階調変化の抑制処理後の値はｆ（１４、２）＝（５５＋５２＋５２）／３＝５３となる。

図４（ｃ）に示すように、階調変化の抑制処理によって通常の輪郭部（階調拡張処理前において階調変化が２以上の輪郭）以外の階調変化は、１以下となっており、線状のノイズが知覚されることはない。

上記説明では、階調変化を所定値内に抑制するための処理として、空間平滑化フィルタを用いたが、別の方法で実現できるのであれば、これに限るものではない。例えば、輪郭部以外のｙ方向の階調差が所定値内（例えば１以内）となるように、階調値をクリッピングすることでも同様の効果が期待できる。

また、線状のノイズを抑制するための他の方法として、階調拡張処理の後段にて、検出処理を行った方向と異なる第２の方向について、階調拡張処理後の画像信号の階調値をそれぞれ比較し、その階調変化が、階調拡張処理前の最小階調差を階調拡張処理後の値に換算した階調差よりも小さい場合に、その階調変化を所定値内に抑制するための処理を行ってもよい。

その場合、階調拡張処理後の画像信号のみを用いて処理できるので、ラインメモリをさらに減らすことができる。

なお、上記説明では、第２の方向として、階調拡張処理を行うｘ方向と垂直なｙ方向を想定しているが、第２の方向は、階調拡張処理を行う方向と異なっていればよく、階調拡張処理を行う方向と垂直な方向だけでなく、階調拡張処理を行う方向に対して斜めの方向であってもよい。その場合は、階調変化を抑制する処理は、階調拡張処理を行う方向に対して、隣接する斜め方向の画素との階調変化を所定値内に抑制するための処理を行う。

以上のことから、本発明は、ディジタル画像信号の階調拡張を行う手段として、
（１）線形補間適用領域を検出するための検出部と、その検出結果に基づき階調拡張を行う拡張補正部とを有し、
（２）階調拡張処理に起因して発生する偽輪郭を抑制するために、検出処理を行った方向と異なる第２の方向の画素との階調変化を所定値内に抑制するための処理を行う階調変化抑制部を設けることで、ラインメモリを使用しつつ適切な階調拡張処理を実現する。

本発明によれば、以下に示す装置や方法、プログラムに適用することで、低コストで、かつ偽輪郭の発生を抑制できる階調拡張処理を実行できる。

例えば、画像処理装置にて、画像データの線形補間適用領域を上記検出手法で検出し、その検出結果に基づいて階調拡張処理を実行し、さらに階調変化抑制処理を実行することにより、低コストで、偽輪郭の発生を抑制することが可能であり、良好な画質で画像を再現できる。

上記検出処理、階調拡張処理及び階調変化抑制処理を実行する装置は、論理回路から成るＬＳＩ等によって構成されていてもよく、プログラムにしたがって処理を実行するコンピュータ等の情報処理装置でも実現できる。その場合、検出処理を画像検出装置で行い、階調拡張処理及び階調変化抑制処理を階調拡張プログラム及び階調変化抑制プログラムにしたがって実行する構成であってもよく、検出処理及び階調拡張処理を検出プログラム及び階調拡張プログラムにしたがって実行し、階調変化抑制処理を階調変化抑制装置で行う構成であってもよい。

また、本発明の画像処理装置の派生形態として、画像処理方法、画像処理プログラム、検出処理のみを実行する画像検出装置、画像検出方法、画像検出プログラムがあげられる。また、表示装置にて、画像データに対して上記処理を実施することでも高画質な画像を表示できる。

なお、階調拡張処理は、図１から図４に示した方法だけではなく、その他の処理を用いてもよい。例えば、図５（ａ）〜（ｃ）に示すように、検出点における階調値の差が１／２となる点どうしを結び（図５（ｃ）中の斜めの点線）、この直線に最も近い値となるように付加するビットを決める方法も可能である。図５（ａ）に示す処理対象となる６ビットの画像データを示す図１（ａ）と同様であり、図５（ｂ）に示す線形補間適用領域の検出結果は図１（ｂ）と同様である。

また、いわゆる線形補間処理ではなく、その他の任意の補間関数を用いることも可能である。本発明では、階調変化抑制処理を実行することで、補間処理の種類に関係なく、低コストで、偽輪郭の発生を抑制できる階調拡張処理を行うことができる。

以下、上記で説明した原理に基づく本発明の実施の形態について説明する。

（第１の実施の形態）
図６は、本発明の第１の実施の形態を示す、画像処理装置の構成を示すブロック図である。図６に示す画像処理装置は、上述した本発明の処理を実行する具体的な装置である。

第１の実施の形態の画像処理装置は、図６に示すように、検出部１１、ラインバッファ１３、拡張補正部１２及び階調変化抑制部１４を有する構成である。第１の実施の形態の画像処理装置は、６ビットの画像データが順次入力され、この６ビットの画像データを８ビットの画像データに変換して表示装置等に出力する。

検出部１１は、入力された６ビットの画像データを列毎に順次走査し、列毎に線形補間による階調拡張処理を行い、階調を滑らかに変化させる線形補間適用領域を検出する。

なお、検出部１１は、入力された画像データを列毎に順次走査する際、ある一定範囲内（例えば、最小階調差）の階調変化を検出した場合は、その階調変化を検出した位置の次の位置の階調値が、その前の位置の階調値と同じ場合は、その階調変化がノイズ等であると判定し、階調変化が検出された画素の階調値を当該画素の前後の位置の画素の階調値とみなす処理を実行してもよい。この処理は本発明の必須要件ではないが、このような処理を実施することで、ノイズや誤差成分を偽輪郭として検出することが防止され、ノイズ・誤差に強い検出処理が実行できる。

ラインバッファ１３は、検出部１１にて検出処理が実行されている間、入力された６ビットの画像データを蓄積する。

拡張補正部１２は、ラインバッファ１３から出力された画像データに対して、検出部１１で得られた検出点の位置データＸと検出点の階調変化量ＦＣとを用いて階調拡張処理を行う。本実施形態の画像処理装置では、ラインバッファ１３を設けることで検出結果に基づく拡張補正が画像の適切な位置に行われる。

階調変化抑制部１４は、列毎に隣接する複数の画像データを比較し、隣接する画素との階調変化を所定値内に抑制するための処理を行う。

なお、図６では、ＲＧＢの各色成分のうちの１色に対応する構成を示しているが、本実施形態の画像処理装置は、他の２色に対しても同様の構成を並列に有する。これは、他の実施形態についても同様である。

次に、本実施形態の画像処理装置について、検出部１１及び拡張補正部１２と、階調変化抑制部１４とに分けて説明する。

まず、検出部１１の具体的な構成および動作について図７及び図８を用いて説明する。

図７は図６に示した検出部の一構成例を示すブロック図であり、図８は図７に示した検出部に任意の画素列が入力されたときの処理の様子を示すグラフである。

図７に示すように、検出部１１は、判定出力部２１、始点パラメータ保持部２２及びカウンタ２３を有する構成である。カウンタ２３は順次入力される画像データが何番目の位置にあるかを相対的に把握するために使用される。入力された画像データの位置がわかるのであればカウンタ２３を備える必要はない。始点パラメータ保持部２２は、判定出力部２１の判定処理で必要なパラメータである、始点位置Ｘｓ、始点階調Ｔｓおよび始点階調変化量ＦＣｓを保持する。判定出力部２１にて新たな検出点が得られたとき、上記パラメータが変更される。

階調変化量ＦＣとは、検出された階調変化が増加方向の階調変化であるか減少方向の階調変化であるかを示すと共に、その階調変化が線形補間処理を施すべき階調変化であるか線形補間処理を施すべきでない輪郭部位であるかを示す情報である。

具体的には、階調変化量ＦＣは以下のような値となる。

ＦＣ＝００・・・線形補間処理を施すべき階調変化であり、階調変化が増加方向
ＦＣ＝０１・・・線形補間処理を施すべき階調変化であり、階調変化が減少方向
ＦＣ＝１０・・・線形補間処理を施すべきでない輪郭部位
判定出力部２１は、入力された画像データＴ（ｘ）（ここで、ｘは順次入力された画像の位置をあらわし、Ｔ（ｘ）は位置ｘの階調値をあらわす）と、始点パラメータ保持部２２で保持しているパラメータ及び予め設定されたしきい値ＴＨを基に以下の判定を行う。

（１）Ｔ（ｘ）＝Ｔｓ（始点階調と入力画像の階調が同じ場合） ｏｒ （Ｔｓ−ＴＨ＜Ｔ（ｘ）＜Ｔｓ＋ＴＨ ａｎｄ Ｔ（ｘ＋１）＝Ｔｓ）（入力画像の階調変化が始点階調±しきい値の範囲内であり、かつ位置ｘ＋１にある階調と始点階調が同じ場合：これが上記付加処理であるノイズ・誤差成分の除去にあたる）のとき、検出された階調変化を検出点としない（何も処理を行わない。出力も変更なしである）。

（２）（１）の条件を満たさず、Ｔｓ−ＴＨ＜Ｔ（ｘ）＜Ｔｓ＋ＴＨ ａｎｄ Ｔ（ｘ＋１）＝Ｔ（ｘ）（入力画像の階調変化が始点階調±しきい値の範囲内であり、かつ位置ｘ＋１と位置ｘにある階調が同じ値の場合）のとき、この階調変化を、線形補間処理を施す線形補間適用領域とする。このとき、出力位置Ｘ＝ｘ、出力階調変化量ＦＣは、Ｔｓ＜Ｔ（ｘ）の場合ＦＣ＝００、Ｔｓ＞Ｔ（ｘ）の場合ＦＣ＝０１とする。また始点パラメータ保持部２２で保持しているパラメータを、Ｘｓをｘに、ＴｓをＴ（ｘ）に、ＦＣｓをＦＣにそれぞれ変更し、次回以降の処理で使用する。

（３）（２）の条件を満たさない場合、この階調変化を輪郭領域とする。このとき、出力位置Ｘ＝ｘ、出力階調変化量ＦＣ＝１０とする。また（２）と同様に、始点パラメータ保持部２２で保持しているパラメータを、Ｘｓをｘに、ＴｓをＴ（ｘ）に、ＦＣｓをＦＣにそれぞれ変更し、次回以降の処理で使用する。

なお、（１）はノイズ・誤差成分を輪郭として検出することを防止する処理を加えない場合は、Ｔ（ｘ）＝Ｔｓ（始点階調と入力画像の階調が同じ場合）のときのみ、検出点として判定しなくてもよい。このような構成でも、本発明の効果が変わることはない。

このように検出部１１では、画像信号の画素列を順次走査していき、線形補間処理の対象となる検出点と、それ以外の検出点とを分けて検出する。

なお、しきい値ＴＨは、検出点における階調変化を補正で滑らかにするのか、そのまま保持するかを決めるための基準値である。しきい値ＴＨは、処理の内容や入力画像の特性等から適切な値を設定すればよい。最も簡単な値としては、最小階調差のみ階調変化を滑らかにするＴＨ＝２となる。また、入力画像（例えば１画面分）の最小階調差が２であれば、その最小階調差をもつ領域を、階調変化を滑らかにしたい領域と判断し、ＴＨ＝３とすることも可能である。

以上の処理を、図８（ａ）に示すような画素列が入力された場合を例にして確認する（判定（１）は付加処理を加えたものを使用する）。ここで、しきい値ＴＨ＝２とし、画像信号はｘ＝０から順次入力されるものとする。

まず、始点パラメータ保持部２２に、パラメータを何も保持していないことを示す初期条件を設定する。例えば、ｘ＝０における階調値Ｔ（０）＝（００１１００）binが入力された場合は、Ｘｓ＝０、Ｔｓ＝Ｔ（０）、ＦＣｓ＝１０を保持する。ここで、ＦＣｓ＝１０とするのは、ｘ＝０では階調変化の有無を判定できないため（ｘ＝−１というデータがないため）である。

始点パラメータが設定されると、ｘ＝１から判定出力部２１にて検出点の検出処理を実行していく。ここでは、Ｔ（１）＝Ｔｓであるため、検出処理を実行せずに次の画素値Ｔ（２）に対する処理へ移行する。

そして、ｘ＝４になると、Ｔ（４）≠Ｔｓとなり、Ｔｓ−ＴＨ＜Ｔ（４）＜Ｔｓ＋ＴＨを満たし、かつＴ（５）＝Ｔｓとなる。したがって、条件（１）を満たすため、検出を行わない。

さらに、ｘ＝８になると、はじめてＴｓ−ＴＨ＜Ｔ（８）＜Ｔｓ＋ＴＨ、かつＴ（９）＝Ｔ（８）となり、条件（２）を満たす。したがって、Ｘ＝８、ＦＣ＝００を出力し、始点パラメータをＸｓ＝８、Ｔｓ＝（００１１０１）bin、ＦＣｓ＝００に更新する。そして、ｘ＝９からはこの更新されたパラメータを用いて検出処理を行う。

以上のような処理を繰り返し実行し（図８（ｂ））、最後まで検出処理を行った結果が図８（ｃ）である。図８（ｃ）では、検出点に矢印を付しており、黒塗りの矢印が線形補間処理を施す検出点、白抜きの矢印がそれ以外の検出点である。拡張補正部１２は、階調変化量ＦＣが００か０１の場合に、その検出点が線形補間処理を施すべき検出点であると判定し、階調変化量ＦＣが１０の場合は、その検出点が線形補間処理を施すべきでない検出点であると判定する。図８（ｃ）に示す例では、ｘ＝０から１５までの領域が、線形補間処理の対象となっていることがわかる。この領域は、従来技術では１画素１階調のノイズ・誤差成分のために、線形補間処理を行わない領域と判定されていたものである。

次に、拡張補正部１２の構成および動作について図９及び図１０を用いて説明する。

図９は図６に示した拡張補正部の一構成例を示すブロック図であり、図１０は拡張補正部に任意の画素列が入力されたときの階調拡張処理の結果を示すグラフである。

図９に示すように、拡張補正部１２は、補正処理部２４、平均化補正部２５、パラメータ抽出部２６及びパラメータバッファ２７を有する構成である。なお、平均化補正部２５は、検出部１１にて、ノイズや誤差成分を偽輪郭として検出することを防止するための処理を実行する場合に使用するものであり、このような処理を実行しない場合は不要である。平均化補正部２５がない構成でも本発明の効果が変わることはない。

図９に示すように、パラメータバッファ２７は、画像の１列（ライン）毎に検出部１１にて得られた検出位置Ｘ及び階調変化量ＦＣを蓄積する。パラメータ抽出部２６は、補正処理部２４に入力された画像の画素位置ｘに応じて、Ｘｓ＜ｘ＜ＸｅとなるＸｓ、Ｘｅとその変化量ＦＣｓ、及びＦＣｅをパラメータバッファ２７から取得する。

補正処理部２４は、ラインバッファ１３によってパイプライン遅延された画像信号Ｔ（ｘ）が入力され、この入力値とパラメータ抽出部２６から取得したＸｓ、Ｘｅ、ＦＣｓ、ＦＣｅを基に、階調拡張処理を行い、その処理結果Ｔｏｕｔ’（ｘ）と入力信号Ｔ（ｘ）を出力する。階調拡張処理では、ＦＣｓ、ＦＣｅの値に応じて、以下に示す５通りの処理のうちのいずれか１つを選択・実行する。

（１）ＦＣｓ＝００かつＦＣｅ＝０１のとき
Ｔｏｕｔ’（ｘ）＝４＊［Ｔ（Ｘｓ）−（Ｔ（Ｘｅ）−Ｔ（Ｘｓ））／２＊｛１−ａｂｓ（ｘ＊２−Ｘｓ−Ｘｅ）／（Ｘｅ−Ｘｓ）｝］
（２）（１）の条件を満たさず、ＦＣｓ＝０１かつＦＣｅ＝００のとき
Ｔｏｕｔ’（ｘ）＝４＊［Ｔ（Ｘｅ）−（Ｔ（Ｘｅ）−Ｔ（Ｘｓ））／２＊｛１−ａｂｓ（ｘ＊２−Ｘｓ−Ｘｅ）／（Ｘｅ−Ｘｓ）｝］
（３）（２）の条件を満たさず、ＦＣｓ≠０１かつＦＣｅ＝００のとき
Ｔｏｕｔ’（ｘ）＝４＊［Ｔ（Ｘｓ）＋（Ｔ（Ｘｅ）−Ｔ（Ｘｓ））＊（ｘ−Ｘｓ）／（Ｘｅ−Ｘｓ）］
（４）（３）の条件を満たさず、 ＦＣｓ＝０１かつＦＣｅ≠００のとき
Ｔｏｕｔ’（ｘ）＝４＊［Ｔ（Ｘｓ−１）＋（Ｔ（Ｘｓ）−Ｔ（Ｘｓ−１））＊（ｘ−Ｘｓ）／（Ｘｅ−Ｘｓ）］
（５）上記（１）から（４）の条件を満たさないとき
Ｔｏｕｔ’（ｘ）＝４＊Ｔ（ｘ）
とする。

なお、小数点以下は切り捨てる。上記（１）から（４）が線形補間処理であり、（１）（２）は凸部及び凹部の線形補間処理、（３）（４）は従来例と同様の線形補間処理である。また、（５）は固定の階調値を付加する処理であり、線形補間処理を施さない検出点に対して使用する。

第１の実施の形態では、上記補正処理を使用したが、これに限るものではなく、例えば（３）（４）のみを使用してもよく、その他の計算式を使用しても本発明の効果を得ることができる。

補正処理部２４で得られたＴｏｕｔ’（ｘ）は８ビットであり、そのデータとＴ（ｘ）、Ｔ（Ｘｓ）が平均化補正部２５に送られる。平均化補正部２５、はＴ（ｘ）≠Ｔ（Ｘｓ）のとき（図８（ｂ）におけるｘ＝４，６，１１がこの式を満たす。すなわち、ノイズ・誤差成分とした画素部である）、線形補間の結果と入力階調値との平均値を出力し（Ｔｏｕｔ（ｘ）＝（４＊Ｔ（ｘ）＋Ｔｏｕｔ’（ｘ））／２）、それ以外の場合は、Ｔｏｕｔ（ｘ）＝Ｔｏｕｔ’（ｘ）を出力する。

平均化補正部２５は、ディジタル画像信号Ｔ（ｘ）と、補正処理部２４から出力された画像信号Ｔｏｕｔ’（ｘ）とを入力とし、補正処理部２４から出力された、補正処理が施された画像信号Ｔｏｕｔ’（ｘ）とディジタル画像信号Ｔ（ｘ）との平均値を算出し、入力されたディジタル画像信号の階調値Ｔ（ｘ）が線形補間適用領域の始点階調Ｔ（Ｘｓ）と同じでない場合には平均値を出力し、それ以外の場合には補正処理部２４からの出力画像信号Ｔｏｕｔ’（ｘ）をそのまま出力する。

以上の処理を図８（ｃ）に示すような検出結果が得られた画素列について確認していく。図１０（ａ）は、図８（ｃ）を再掲したものであり、そのときの検出位置に矢印を付与し、矢印の上に階調変化量ＦＣの値を記載している。

補正処理についても検出処理と同様に、ｘ＝０から入力された画像データに対して順次処理を行っていく。

ｘ＝０からｘ＝７の領域には、Ｘｓ＝０、ＦＣｓ＝１０、Ｘｅ＝８、ＦＣｅ＝００である（Ｘｓ＜ｘ＜Ｘｅ）ため、（３）の補正処理（線形補間処理）が適用される。同様に、ｘ＝８から１４の領域には（３）の補正処理が適用され、ｘ＝２１から２３の領域には（４）の補正処理を適用される（図１０（ｂ））。図１０（ｂ）の点線で示している領域は線形補間処理領域である。

補正処理部２４にて階調拡張を行った後、平均化補正部２５の処理を行った結果を図１０（ｃ）に示す。図１０（ｃ）に示すように、最小階調差が多くみられるｘ＝０から１５の領域で、１画素１階調の変化に影響を受けずに、階調差が滑らかになっていることがわかる。

次に、図６に示した階調変化抑制部１４の構成および動作について、図１１及び図１２を用いて説明する。

図１１は図６に示した階調変化抑制部１４の処理内容を示す模式図であり、図１２は階調変化抑制部１４に図８（ａ）を含む、ある２次元の画素列が入力され、図１０における補正結果を得たときの階調拡張補正処理の詳細を説明するための図である。

図１１に示すように、階調変化抑制処理は、検出処理がｘ方向に行われたとき、ｙ方向の階調拡張処理後の画像信号の階調値を比較し、その階調変化が、階調拡張処理前の最小階調差を階調拡張処理後に換算した階調差よりも小さい場合、その階調変化を所定値内に抑制するために１×３の空間平均化処理を行うものである。

具体的には、
（１）Tout(x,y)-TH2 < Tout(x,y-1) < Tout(x,y)+TH2、かつTout(x,y)-TH2 < Tout(x,y+1) < Tout(x,y)+TH2のとき、
Tout2(x,y)={Tout(x,y-1)+Tout(x,y)+Tout(x,y+1)}/3
（２）それ以外は、
Tout2(x,y)= Tout(x,y)
とする。ここで、階調を２ビット拡張する場合、６ビットデータの階調差１は、８ビットデータでは２＾２＝４に相当するため、ＴＨ２＝４となる。

上記処理を画像データに施した場合の結果を具体的に説明する。

図１２（ａ）に示す画像が入力され、検出・補正処理を行った結果が図１２（ｂ）である。図１２（ｂ）では、ｘ＝１３，１４の領域の黒で示した部位が上記（１）の条件を満たすので、平均化処理を施すこととなる。図１２（ｂ）に示す画像に階調変化抑制処理を行った結果が図１２（ｃ）である。ｘ＝１３の階調変化は、平均化処理によって１以内に抑制されているのがわかる。

このように、本実施形態の画像処理装置は、線形補間適用領域を検出するための検出部１１と、その検出結果に基づき階調拡張を行う拡張補正部１２と、検出部１１が検出処理を行った方向と異なる第２の方向の階調変化を所定値内に抑制する階調変化抑制部１４とを有すことで、低コストで適切な階調拡張処理を実現している。

なお、本実施形態は、検出部１１で検出位置データと検出位置の階調変化量ＦＣを決定し、そのデータを基に拡張補正部１２で補正処理を行ったが、検出部１１及び拡張補正部１２で実行する処理はどのように振り分けてもよい。例えば、検出部１１にて補正ビット（本実施形態において補正処理部１２で行う処理結果から入力画像階調を減算した値）の生成処理まで実行し、階調付加処理のみ拡張補正部１２にて実行してもよい。同様に、補正処理部１２及び階調変化抑制部１４の処理についても、これらに対してどのように振り分けて実行してもよい。

以上説明したように、本実施形態の画像処理装置によれば、コストの制約等からフレームバッファを採用できないような場合でも、比較的低コストなラインバッファを用いて、より適切な階調拡張処理を実現できる。

（第２の実施の形態）
次に、本発明の第２の実施の形態の画像処理装置について説明する。

図１３は本発明の画像処理装置の第２の実施の形態の構成を示すブロック図である。

第２の実施の形態の画像処理装置は、検出部及び補正処理部の処理が図６に示した第１の実施の形態の画像処理装置と異なっている。

図１３に示すように、第２の実施の形態の画像処理装置が有する検出部１１Ｂ、補正処理部１２Ｂは、第１の実施形態で説明した、ノイズ・誤差成分を偽輪郭として検出することを防止するための処理を加えない場合に、平均化補正部２５がない構成である。

図１４は第２の実施の形態の画像処理装置が備える検出部の一構成例を示すブロック図であり、図１５は第２の実施の形態の画像処理装置が備える補正処理部の一構成例を示すブロック図である。

図１４に示す検出部１１Ｂは、判定出力部２１Ｂの処理が図７に示した第１の実施の形態の検出部が有する判定出力部２１と異なっている。

判定出力部２１Ｂは、（１）Ｔ（ｘ）＝Ｔｓ（始点階調と入力画像の階調が同じ場合）のときのみ、検出された階調変化を検出点としない。

図１５に示す補正処理部１２Ｂは、平均化補正部２５がない点で図９に示した第１の実施の形態の補正処理部１２と異なっている。

本実施形態の画像処理装置では、検出部及び補正処理部を変更しても、階調変化抑制部１４の処理に変更がないため、階調変化抑制処理の効果を得ることができる。よって、低コストで、より適切な階調拡張処理が実現される。

（第３の実施の形態）
次に本発明の第３の実施形態について説明する。

第１および第２の実施の形態では、本発明の画像処理方法を画像処理装置に適用した例を示したが、第３の実施の形態は第１および第２の実施の形態で示した画像処理を表示装置に適用した例である。

図１６は本発明の表示装置の一構成例を示すブロック図である。

第３の実施の形態の表示装置は、コンピュータ等の情報処理装置から送出された８ビットの画像データから成るラスタ画像に対して検出処理を行う検出部１１Ｂと、１ライン分の画像データを蓄積するラインバッファ１３と、検出部１１Ｂから送出された検出位置データＸ及び階調変化データＦＣを基に、ラインバッファ１３から出力された画像データを１０ビットへ階調拡張する拡張補正部１２Ｂと、拡張補正部１２Ｂから出力された画像データに対して階調変化抑制処理を施す階調変化抑制部１４と、１０ビット表示可能な画像表示部１５とを有する構成である。

第３の実施の形態の表示装置は、画像表示部１５が付加されたこと以外は、図１３に示した第２の実施の形態の画像処理装置の構成と同じである。なお、第３の実施の形態の表示装置では、検出部１１Ｂ、拡張補正部１２Ｂ、ラインバッファ１３及び階調変化抑制部１４によって画像処理部が構成される。

なお、本実施形態では、８ビットの画像データを１０ビットに階調拡張する場合を例にして説明するが、６ビットの画像データを８ビットに階調拡張する場合と処理方法が異なるものではない。

また、表示装置は、主走査方向の１ライン毎に画像データを順次処理するため、ラインバッファは画像表示部のＸ方向の１ライン分の画像データが格納可能なバッファサイズであることが好ましい。画像表示部１５は、ＬＣＤ、ＰＤＰ、ＥＬ、ＣＲＴなど、画像データが表示できればどのようなものでもよい。

これにより、入力された画像データのビット数が画像表示部１５で表示可能なビット数よりも少なくても、適切な階調拡張処理を行うことができ、偽輪郭の発生を抑制でき、より高画質な表示が得られる。

（第４の実施形態）
次に本発明の第４の実施の形態について図面を用いて説明する。

第４の実施の形態は情報処理装置を用いて本発明の画像処理方法を実現する例である。すなわち、図１７に示すように、第１の実施の形態で示した、検出部１１、拡張補正部１２及び階調変化抑制部１４の処理をコンピュータ（ＣＰＵ３１）にて実行する。

図１８、図１９、図２０及び図２１は、本発明の画像処理方法の処理手順を示すフローチャートである。図１８〜図２１は、第１の実施の形態の画像処理装置の処理をＣＰＵ３１にて実行する例である。

本発明の画像処理方法は、入力された６ビットのラスタ画像に対して検出処理を行い、その検出結果を基に８ビットに拡張処理を行う。図１８に示すステップＳ２からステップＳ１２の処理は第１の実施の形態で示した検出部１１の処理（第１の画像処理）に相当し、図１９及び図２０に示すステップＳ１３からステップＳ２９の処理は第１の実施の形態で示した拡張補正部１２の処理（第２の画像処理）に相当する。また、図２１に示すステップＳ３０からステップＳ３３の処理は第１の実施の形態で示した階調変化抑制部１４の処理（第３の画像処理）に相当する。

これらの処理をコンピュータが備える不図示のＲＯＭや記録媒体に格納されたプログラムにしたがってＣＰＵ３１が実行することで、上述した、検出部１１、拡張補正部１２及び階調変化抑制部１４の機能を実現する。

まず、第１の画像処理について図１８を用いて説明する。

図１８に示すように、コンピュータにラスタ画像１の画像データＩｎ（６ビット）が入力されると、ＣＰＵ３１は入力された画像信号がどの画素の画像信号であるかを示す情報（すなわち画素のｙ値）を抽出する（ステップＳ１）。ここで、Ｉｎ（ ）は、階調値を示している。

ＣＰＵ３１は、画素のＹ座標に基づいてそのラインの画像データに検出・補正処理を行うため、入力信号位置ｘ０＝０に初期化し、予め定められたＸ方向のデータ長Ｘｍａｘを取得する（ステップＳ２）。

また、ＣＰＵ３１は検出処理開始にあたって、始点位置Ｘｓ＝０、始点前位置Ｘｓ０＝０、始点階調Ｔｓ＝Ｉｎ（０，ｙ）、始点変化ＦＣｓ＝１０及びしきい値ＴＨ＝２を設定する（ステップＳ３）。

初期条件を設定すると、検出処理は以下のような手順となる。

まず、ＣＰＵ３１は、入力信号位置ｘ０を１インクリメントする（ステップＳ４）。

続いて、ｘ０の値がＸｍａｘと等しいなら、階調変化検出処理を終了し、ステップＳ７の処理へ移行する。それ以外なら階調変化検出処理へ進む（ステップＳ５）。

（階調変化検出処理）
次に、ＣＰＵ３１は、位置ｘ０の階調データＩｎ（ｘ０，ｙ）が始点階調Ｔｓと等しい（同じ階調が連続している）、あるいはＴｓ−ＴＨ＜Ｉｎ（ｘ０，ｙ）＜Ｔｓ＋ＴＨでかつＩｎ（ｘ０＋１，ｙ）＝Ｔｓである（１画素１階調の変化である）ときは、ステップＳ４の処理に戻って階調変化の検出を続ける。それ以外のときは階調変化点とみなし、ステップＳ７の処理に移行する（ステップＳ６）。

続いて、ＣＰＵ３１は、終点位置Ｘｅ＝ｘ０と終点階調Ｔｅ＝Ｉｎ（ｘ０，ｙ）の値を保持する（ステップＳ７）。

（検出点変化量設定処理）
次に、ＣＰＵ３１は、Ｔｓ−ＴＨ＜Ｉｎ（ｘ０，ｙ）＜Ｔｓ＋ＴＨであり、かつＩｎ（ｘ０＋１，ｙ）＝Ｉｎ（ｘ０，ｙ）であるときは（線形補間適用領域であるかの判断）ステップＳ９の処理に移行し、そうでない場合はステップＳ１０の処理に進む（ステップＳ８）。

ステップＳ９では、Ｉｎ（ｘ０，ｙ）とＴｓとを比較し、線形補間適用領域における階調変化の増加または減少を判定する。階調変化が増加する場合はステップＳ１１に移行し、階調変化が減少する場合はステップＳ１２の処理へ進む。

ステップＳ１０では、終点変化Ｔｅを１０（線形補間適用領域ではない）に設定する。

ステップＳ１１では、終点変化Ｔｅを００（線形補間適用領域でその階調変化は増加）に設定する。

ステップＳ１２では、終点変化Ｔｅを０１（線形補間適用領域でその階調変化は減少）に設定する。

その後、ＣＰＵ３１は、第２の画像処理である階調拡張処理に移行する。

次に第２の画像処理について図１９及び図２０を用いて説明する。

図１９に示すように、ＣＰＵ３１は、まず拡張補正用信号位置ｘをＸｓに設定する（ステップＳ１３）。

（階調拡張内容決定処理）
次に、ＣＰＵ３１は、始点階調変化ＦＣｓ及び終点階調変化ＦＣｅの値を基に、適用する階調拡張処理を決定する（ステップＳ１４からステップＳ１７）。階調拡張処理内容の決定手順は以下の（１）〜（５）のとおりである。

（１）ＦＣｓ＝００であり、かつＦＣｅ＝０１ならば、ステップＳ１８の処理を実行する（ステップＳ１４）。

（２）上記（１）の条件を満たさず、ＦＣｓ＝０１であり、かつＦＣｅ＝００ならば、ステップＳ１９の処理を実行する（ステップＳ１５）。

（３）上記（２）の条件を満たさず、ＦＣｅ＝００ならば、ステップＳ２０の処理を実行する（ステップＳ１６）。

（４）上記（３）の条件を満たさず、ＦＣｓ＝０１ならば、ステップＳ２１の処理を実行する（ステップＳ１７）。

（５）上記（４）の条件を満たさない場合、ステップＳ２２の処理を実行する（ステップＳ１７）。

（階調拡張処理）
ＣＰＵ３１は、始点位置Ｘｓ、始点階調Ｔｓ、終点位置Ｘｅ、終点階調Ｔｅ及び拡張補正信号位置ｘと、入力された画像信号とを用いて、以下に示す（１）から（５）の処理うち、いずれか１つの階調拡張処理を、ステップＳ１４からステップＳ１７の選択結果にしたがって実行する。

（１）ステップＳ１８：
Ｏｕｔ’（ｘ）＝４＊［Ｉｎ（Ｘｓ）−（Ｉｎ（Ｘｅ）−Ｉｎ（Ｘｓ））／２＊｛１−ａｂｓ（ｘ＊２−Ｘｓ−Ｘｅ）／（Ｘｅ−Ｘｓ）｝］
（２）ステップＳ１９：
Ｏｕｔ’（ｘ）＝４＊［Ｉｎ（Ｘｅ）−（Ｉｎ（Ｘｅ）−Ｉｎ（Ｘｓ））／２＊｛１−ａｂｓ（ｘ＊２−Ｘｓ−Ｘｅ）／（Ｘｅ−Ｘｓ）｝］
（３）ステップＳ２０：
Ｏｕｔ’（ｘ）＝４＊［Ｉｎ（Ｘｓ）＋（Ｉｎ（Ｘｅ）−Ｉｎ（Ｘｓ））＊（ｘ−Ｘｓ）／（Ｘｅ−Ｘｓ）］
（４）ステップＳ２１：
Ｏｕｔ’（ｘ）＝４＊［Ｉｎ（Ｘｓ０）＋（Ｉｎ（Ｘｓ）−Ｉｎ（Ｘｓ０））＊（ｘ−Ｘｓ）／（Ｘｅ−Ｘｓ）］
（５）ステップＳ２２（線形補間処理を行わない）：
Ｏｕｔ’（ｘ）＝４＊Ｉｎ（ｘ）
（平均化補正処理）
次に、ＣＰＵ３１は、Ｉｎ（ｘ，ｙ）とＴｓとを比較して、以下に示すどちらかの処理を実行する（ステップＳ２３）。

・Ｉｎ（ｘ）≠Ｔｓのとき：Ｏｕｔ（ｘ）＝（Ｉｎ（ｘ）＋Ｏｕｔ’（ｘ））／２
・その他： Ｏｕｔ（ｘ）＝Ｏｕｔ’（ｘ）
続いて、ＣＰＵ３１は、ｘの値を１インクリメントする（ステップＳ２４）。

そして、ｘ＜Ｘｅの場合は同じパラメータＸｓ．Ｔｓ．Ｘｅ．Ｔｅを用いて階調拡張処理を繰り返すために、ステップＳ１４の処理へ戻る。ｘ≧Ｘｅなら階調拡張処理を終了する（ステップＳ２５）。

次に、ＣＰＵ３１は、ｘ０とＸｍａｘの値を比較し（ステップＳ２６）、ｘ０＝Ｘｍａｘの場合は、ｘ＝０からＸｍａｘまでの１ライン分全ての入力信号Ｉｎ（ｘ，ｙ）に対して階調拡張処理を行っているため、ステップＳ２９の処理へ移行する。それ以外なら、残りの入力信号に対して処理を続けるためにステップＳ２７の処理へ進む。

ステップＳ２７では、ＣＰＵ３１は、始点前位置Ｘｓ０にＸｓを代入する。

続いて、始点位置ＸｓにＸｅを代入し、始点階調ＴｓにＴｅを代入し、始点変化ＦＣｓにＦＣｅを代入し（ステップＳ２８）、ステップＳ４の処理に戻って検出処理を再び開始する。

ステップＳ２９では、出力画像データＯｕｔ（ｘ、ｙ）（８ビット）を第３の画像処理に送る。

次に、第３の画像処理について図２１を用いて説明する。

図２１に示すように、ＣＰＵ３１は、まず条件Ｏｕｔ（ｘ，ｙ）−ＴＨ２＜Ｏｕｔ（ｘ，ｙ−１）＜Ｏｕｔ（ｘ，ｙ）＋ＴＨ２であり、かつＯｕｔ（ｘ，ｙ）−ＴＨ２＜Ｏｕｔ（ｘ，ｙ＋１）＜Ｏｕｔ（ｘ，ｙ）＋ＴＨ２が成立するか（階調変化がＴＨ２より小さい場合）否かを判定する（ステップＳ３０）。そして、階調変化がＴＨ２より小さい場合はステップＳ３１の処理を実行し、そうでない場合はステップＳ３２の処理を実行する。

ＣＰＵ３１は、ステップＳ３０の処理結果にしたがって以下のいずれか一方の処理を実行する。

（１）ステップＳ３１：
Ｏｕｔ２（ｘ，ｙ）＝｛Ｏｕｔ（ｘ，ｙ−１）＋Ｏｕｔ（ｘ，ｙ）＋Ｏｕｔ（ｘ，ｙ＋１）｝／３
（２）ステップＳ３２：
Ｏｕｔ２（ｘ，ｙ）＝Ｏｕｔ（ｘ，ｙ）
最後に、ＣＰＵ３１は、以上の処理で求めた画像データＯｕｔ２（ｘ、ｙ）（８ビット）を出力する（ステップＳ３３）。

以上説明したように、第１の実施の形態で示した検出部１１、拡張補正部１２及び階調変化抑制部１４の処理をコンピュータにより実行することで、特別なハードウェアを用いなくとも第１の実施の形態の画像処理装置と同様の画像処理を実行できる。

なお、図１８から図２１に示したフローチャートは、第１の実施の形態の画像処理装置の処理を示しているが、第２の実施の形態の画像処理装置の処理についても上記と同様にコンピュータを用いて実行することが可能である。

また、第４の実施の形態では、コンピュータを用いて第１の実施の形態の画像処理装置の機能を実現する例を示したが、上述した画像検出装置、階調拡張装置及び階調変化抑制装置の処理についてもコンピュータで実現できることは言うまでもない。

上述した第１の実施の形態〜第４の実施の形態では、階調拡張により増える画像データのビット数を一定として説明した場合もあるが、階調拡張後に増えるビット数は任意の数にも適用可能である。

また、上記第１の実施の形態〜第４の実施の形態は本発明の好適な一例を示すものであり、本発明は第１の実施の形態〜第４の実施の形態で示した構成に限定されるものではない。例えば、階調拡張処理による色毎の画像データのビット増加量は同じである必要はない。すなわち、画像データがＲＧＢの３系統で構成され、Ｒデータが５ビット、Ｇデータが６ビット、Ｂデータが５ビットである場合、ＲデータとＢデータとを３ビット拡張し、Ｇデータを２ビット拡張することで、ＲＧＢの各画像データをそれぞれ８ビットとすることも可能である。

また、ＲＧＢの画像データのうち、一部の色のビット数のみを増加させる構成であってもよい。また、ラスタ画像は、必ずしも複数色の画像データからなるカラー画像である必要はなく、モノクローム画像であってもよい。このように、本発明は様々な変形が可能である。

Claims (9)

1. 入力された画像信号の画素列を順次走査することにより、前記画像信号の列毎に、階調変化を滑らかにすべき領域である線形補間適用領域を検出する検出部と、
   前記検出部にて検出された前記線形補間適用領域に対して階調拡張処理を行う拡張補正部と、
   前記階調拡張処理が施された領域に対して、前記検出部で検出処理を行った方向と異なる第２の方向との階調変化を所定値内に抑制する階調変化抑制部と、
   を有する画像処理装置。
2. 入力された画像信号の画素列を順次走査することにより、前記画像信号の列毎に、階調変化を滑らかにすべき領域である線形補間適用領域を検出する検出部と、
   前記検出部にて検出された前記線形補間適用領域に対して階調拡張処理を行う拡張補正部と、
   前記階調拡張処理前及び前記階調拡張処理後の画像信号の階調値を比較し、前記階調拡張処理前の、前記検出部で検出処理を行った方向と異なる第２の方向の階調変化が一定範囲内であり、かつ前記階調拡張処理前の前記第２の方向の階調変化よりも、前記階調拡張処理後の前記第２の方向との階調変化が大きい場合に、その階調変化を所定値内に抑制する階調変化抑制部と、
   を有する画像処理装置。
3. 入力された画像信号の画素列を順次走査することにより、前記画像信号の列毎に、階調変化を滑らかにすべき領域である線形補間適用領域を検出する検出部と、
   前記検出部にて検出された前記線形補間適用領域に対して階調拡張処理を行う拡張補正部と、
   前記検出部が検出処理を行った方向と異なる第２の方向について、前記階調拡張処理後の画像信号の階調値をそれぞれ比較し、前記線形補間適用領域との階調変化が前記階調拡張処理前の最小階調差を前記階調拡張処理後の値に換算した階調差より小さい場合に、その階調変化を所定値内に抑制する階調変化抑制部と、
   を有する画像処理装置。
4. 前記階調変化抑制部は、
   前記階調変化を所定値内に抑制する処理として、前記第２の方向の画素との階調差が前記所定値内になるように階調値をクリッピングする請求項１から３のいずれか１項記載の画像処理装置。
5. 前記階調変化抑制部は、
   前記階調変化を所定値内に抑制する処理として、処理対象となる画素の階調値と前記第２の方向に隣接する画素の階調値の平均値を注目画素の階調値とする空間平均化処理を行う請求項１から３のいずれか１項記載の画像処理装置。
6. 前記一定範囲内とは、
   前記階調拡張処理後の最小階調差の範囲内である請求項１から５のいずれか１項記載の画像処理装置。
7. 入力された画像信号の画素列を順次走査することにより、前記画像信号の列毎に、階調変化を滑らかにすべき領域である線形補間適用領域を検出すると共に、ある一定範囲内の階調変化を検出した場合、該階調変化を検出した位置の次の位置の階調値が、前記階調変化を検出した位置の前の位置の階調値と同じ場合は、前記階調変化が検出された画素の階調値を当該画素の前後の位置の画素の階調値とみなす検出部、前記検出部にて検出された線形補間適用領域に対して階調拡張処理を行う拡張補正部、及び前記階調拡張処理が施された領域に対して、前記検出部で検出処理を行った方向と異なる第２の方向との階調変化を所定値内に抑制する階調変化抑制部を備えた画像処理部と、
   前記画像処理部の出力信号をもとに画像を表示する表示部と、
   を有する表示装置。
8. 入力された画像信号の画素列を順次走査することにより、前記画像信号の列毎に、階調変化を滑らかにすべき領域である線形補間適用領域を検出するステップと、
   検出された前記線形補間適用領域に対して階調拡張処理を行うステップと、
   前記階調拡張処理が施された領域に対して、前記線形補間適用領域の検出処理を行った方向と異なる第２の方向との階調変化を所定値内に抑制するステップと、
   を有する画像処理方法。
9. 入力された画像信号の画素列を順次走査することにより、前記画像信号の列毎に、階調変化を滑らかにすべき領域である線形補間適用領域を検出するステップと、
   検出された前記線形補間適用領域に対して階調拡張処理を行うステップと、
   前記階調拡張処理が施された領域に対して、前記線形補間適用領域の検出処理を行った方向と異なる第２の方向との階調変化を所定値内に抑制するステップと、
   をコンピュータに実行させるためのプログラム。

Images