JP5177142B2 - 画像処理装置、表示装置及び画像処理方法並びにそのプログラム - Google Patents

Description

本発明は、画像処理装置、方法及びそのプログラム並びに表示装置に関し、特に、画像の階調拡張処理を行う画像処理装置、方法及びそのプログラム並びに表示装置に関する。

近年、薄型ディスプレイに代表される表示装置が発達しており、より高画質で臨場感のある映像を表示できるように高解像度化、多階調化が進んでいる。また、表示装置に送られる映像信号のディジタル化も進んでおり、一般にＲ（赤）、Ｇ（緑）、Ｂ（青）の色成分ごとに１画素あたり６ビットから８ビットのデータビットが割り当てられている。

表示装置の表現可能なビット数と映像信号のビット数とが同じである場合、表示装置では、基本的には入力信号をそのまま使用して表示を行うこととなる。しかし、表示装置の表現可能なビット数と、入力される映像信号のビット数とが同じではない場合も多い。

映像信号のビット数の方が表示装置の表現可能なビット数よりも多い場合は、映像信号の下位ビットを切り捨てる方法やディザ（dither）法、ＦＲＣ（フレームレートコントロール）法を用いて対応する。一方、映像信号のビット数の方が表示装置の表現可能なビット数よりも少ない場合は、下位ビットの付加（階調拡張）を行うために前者とは異なる方法を用いて対応する。

この階調拡張は、表示装置の特性に応じたディジタル画像処理を表示装置内で行う際にも使用される。これは、表示装置の表現可能なビット数と映像信号のビット数とが同じであっても、演算精度を高めるために階調拡張され、その後上記ディザ法やＦＲＣを用いて表示装置の表現可能なビット数に変換される。

このような階調拡張は、単にディジタル信号のビット数の変換や、演算精度を高めるための方法としてのみ用いられる訳ではない。ディジタル信号のビット数が少ないと、グラデーションのように階調が滑らかに変化する領域では、等高線状に生じる偽輪郭（本来、空間的な階調変化において滑らかに変化しているはずの部分が滑らかに変化していると感じられず、輪郭線として認識されてしまう現象）が問題となるため、これを防止する技術としても階調拡張は用いられている。

階調拡張を行う方法は、
（１）全ての映像信号に同じ処理を施す方法
（２）画像の特定の情報を検出して、検出結果に応じて必要な画素にだけ処理を施す方法
の２種類に分けられる。

上記（１）の“全ての映像信号に同じ処理を施す方法”として、第１に、ディザノイズやランダムノイズを付加する方法が考えられる。この方法は、偽輪郭を多少抑制できるものの、付加されたノイズ成分が目立つという問題点がある。
第２に、付加する下位ビットとして上位ビットを用いる方法がある。例えば、６ビットの入力信号「１０１１０１」を８ビットにするために、入力信号の上位２ビットを下位２ビットとして付加し「１０１１０１１０」を得るものである。
第３に、単純に「０」か「１」かのいずれかを下位ビットに付加する方法もある。
これら第２、第３の方法は簡便であるが、階調変化部分での階調差が改善されるわけではないため、偽輪郭を抑制はできない。

これに対し、上記（２）の、“画像の特定の情報を検出して、検出結果に応じて必要な画素にだけ処理を施す方法”として、特許文献１に開示される「偽輪郭抑制回路」には、偽輪郭領域に低域通過フィルタ（ＬＰＦ）処理を施す方法（第１の方法）が示されている。特許文献１に開示される発明は、ディジタル映像信号にガンマ補正（画像処理）を施すことによって発生する偽輪郭を抑制するために、偽輪郭が発生している領域を適応的に判断して、その領域では空間的に近傍の画素の映像信号の積分値（ＬＰＦ処理と同義）を出力している。このＬＰＦ処理によって、偽輪郭が発生している領域の階調差を小さくしている。

しかしながら、この方法では偽輪郭の発生間隔（換言すると、等高線の間隔）がフィルタサイズ（近傍の画素の積分範囲）よりも大きい場合、グラデーション領域では、フィルタ処理を行った領域とそうでない領域との区別がつきやすく、偽輪郭を抑制してもそれほど画質の改善につながらないという問題がある。かといって、フィルタサイズを大きくすると、１画面分の画像を保持するためのフレームメモリが必要となり、結果的に処理に必要なハードウェアのコストが高くなってしまう。

第２の方法として、特許文献２に開示される「ディジタル信号処理装置」には、ガンマ補正（画像処理）を施すことで発生する偽輪郭抑制のため、変化がなだらかな領域（グラデーション領域）を判別したとき、その領域内の偽輪郭の等高線の間の画素の階調値を、等高線上の画素の階調値を線形補間することによって求める方法が開示されている。この方法によれば、グラデーション領域内では均一の空間的な階調変化を実現できるため、第１の方法のような問題は発生しない。

以上のことから、階調拡張を行う方法としては、画素の特定の情報を検出して、検出結果に応じて線形補間を行う方法が偽輪郭の抑制という点からもより望ましいと考えられる。線形補間を用いる方法は、特許文献３の「画像処理装置、画像処理方法、プログラムおよび記録媒体」や、特許文献４の「色信号拡張装置および色信号拡張方法」、及び、特許文献５の「画像処理装置および画像処理方法、並びに画像表示装置、携帯電子機器」にも開示されている。

特許文献３〜５に開示される技術は、特許文献１や特許文献２に開示される技術とは線形補間を行う目的がそもそも異なっている。すなわち、画像処理時に発生する偽輪郭ではなく、ディジタル映像信号のビット深度が小さいため偽輪郭が発生する問題を解決するためや、表示装置の階調性能を出し切るために階調拡張を行っている。しかし、線形補間の方法自体は同じである。

特許文献３に開示される画像処理装置は、偽輪郭検出器と画素値変換器とを有している。偽輪郭検出器はその検出条件として、２画素以上同じ輝度レベルが水平方向に続いた後輝度レベルが１上がった場合（条件１）と、輝度レベルが１下がった後２画素以上同じ輝度レベルが水平方向に続いた場合（条件２）をあげている。そして検出された偽輪郭に対しては画素値変換器で線形補間を行う。

特許文献４に開示される色信号拡張装置は、データ分布検出部とデータ深さ拡張部とを有している。データ分布検出部は、データ値の分布状態から、色がなだらかに変化している分布状態となっている画素を抽出（検出）する。具体的には、同じ階調が続く画素集団Ｋにおいて画素の数が下限閾値Ｐ以上、かつ上限閾値Ｑ以下で、なおかつ隣接画像集団の画素との階調差が判定閾値Ｓ以下である領域を検出する。そして、データ分布検出部はなだらかに変化している領域には線形補間を行い、付加する階調値を決定する。データ深さ拡張部は当該付加値に応じた値を拡張部分に対応しつつ当該色信号のデータ深さを拡張した拡張データを生成する。

特許文献５に開示される画像処理装置は、検出手段と信号拡張手段とを有している。検出手段は、同じ画像データが連続する最初の位置と、次の画像データが連続する最初の位置との差が、同じ画像データが連続する幅と等しいか否かを判定する。さらに、同じ画像データが連続する画素の画像データ値が、次の画像データが連続する画素の画像データ値よりも１大きい又は１小さいかを判定する。その判定結果、疑似輪郭が発生している領域を、滑らかに連続する画像が形成されるように信号拡張手段で画像データを滑らかに線形的に（線形補間として）階調拡張する。

しかしながら、特許文献３〜５に開示される発明においては、検出処理が画像平面の特定の方向（例えば横方向）のみに対して行われる。よって、階調拡張処理で十分な効果を得るためには、２方向について検出処理を行う必要があった。しかし、２方向について検出処理を行うには、１画面分の画像を保持するフレームメモリが必要となるため（ラスタ方向と垂直な方向について検出処理を行うためには画像信号を一旦フレームメモリに保持する必要がある）、結果的に処理装置のコストが高くなってしまう。
フレームメモリよりも低コストのラインメモリを用いた場合には、１方向（例えば横方向）のみの階調拡張処理が画像の１ラインごとに行われる。
特開昭６３−１５５７６号公報 特開平４−１６５８７４号公報 特開２００３−３０４４００号公報 特開２００３−３３３３４８号公報 特開２００４−５４２１０号公報

上記各特許文献（以下、関連技術）による階調拡張処理では、２方向の検出を行うためにフレームメモリを使用すると処理装置の製造コストが高くなってしまう。また、コスト低減のためにラインメモリを用いて１方向のみの検出・補正処理を行うと、画像ライン間の相関については一切考慮されないため、線状のノイズが見られることがあり、望ましい階調拡張処理が行えないと言う問題がある。

本発明はかかる問題に鑑みてなされたものであり、低コストで適切に階調拡張処理を行える画像処理装置、方法及びそのプログラム並びに表示装置を提供することを目的とする。

上記目的を達成するため、本発明は、第１の態様として、入力されたディジタル画像信号の画素列を順次走査することにより、ディジタル画像信号の画素列において階調変化を滑らかにすべき領域である階調補正適用領域を検出するための検出部と、検出部により検出された階調補正適用領域に対して階調補正処理を行う拡張補正部とを有する画像処理装置であって、検出部では階調補正処理後の出力画素列をフィードバックして検出部の入力信号として用い、入力画像信号の隣接階調差とフィードバックされた出力画素列の隣接階調差とを比較して階調補正適用領域を検出することを特徴とする画像処理装置を提供するものである。

本発明の第１の態様においては、入力画像信号を保持する第１のラインバッファと、出力画素列を保持する第２のラインバッファとを有することが好ましい。これに加えて、入力画像信号の値と第１のラインバッファに保持されている直前の入力画像信号の値とを基に入力画像信号の隣接階調差を算出することがより好ましい。

本発明の第１の態様において、入力画像信号を保持する第１のラインバッファと、出力画素列を保持する第２のラインバッファとを有する場合には、出力画素列の値と第２のラインバッファに保持されている直前の出力画素列の値とを基に出力画像信号の隣接階調差を算出することが好ましい。

また、上記目的を達成するため、本発明は、第２の態様として、入力されたディジタル画像信号の画素列を順次走査することにより、ディジタル画像信号の画素列において階調変化を滑らかにすべき領域である階調補正適用領域を検出するための検出部と、検出部により検出された階調補正適用領域に対して階調補正処理を行う拡張補正部と、入力画像に対して階調変化を伴う処理を施すディジタル画像処理部とを有する画像処理装置であって、検出部では階調補正処理後の出力画素列をフィードバックして検出部の入力信号として用い、画像処理前の信号の隣接階調差と、画像処理後の信号とフィードバックされた出力画素列との隣接階調差とを比較して階調補正適用領域を検出することを特徴とする画像処理装置を提供するものである。

本発明の第２の態様においては、画像処理前の信号を保持する第３のラインバッファと、画像処理後の信号を保持する第４のラインバッファとを有することが好ましい。これに加えて、画像処理前の信号の値と第３のラインバッファに保持されている直前の画像処理前の信号の値とを基に画像処理前の信号の隣接階調差を算出することがより好ましい。

本発明の第２の態様において画像処理前の信号を保持する第３のラインバッファと、画像処理後の信号を保持する第４のラインバッファとを有する場合には、画像処理後の信号の値と第４のラインバッファに保持されている直前の画像処理後の信号の値とを基に画像処理後の信号の隣接階調差を算出することが好ましい。

本発明の第１又は第２の態様のいずれの構成においても、拡張補正部では、階調補正処理後の出力画素列の隣接階調差の許容される最大値を設定して、それを超えた場合には、階調補正処理を行わないようにすることが好ましい。また、拡張補正部では、階調補正処理の有無が切り替わる境界領域では、階調補正処理による階調変化量は、境界以外の領域よりも小さくすることが好ましい。

また、上記目的を達成するため、本発明は、第３の態様として、入力されたディジタル画像信号の画素列を順次走査し、階調補正処理後の出力画素列をフィードバックして入力信号として用い、入力画像信号の隣接階調差とフィードバックされた出力画素列の隣接階調差とを比較することによりディジタル画像信号の画素列において階調変化を滑らかにすべき領域である階調補正適用領域を検出する検出部と、検出部により検出された階調補正適用領域に対して階調補正処理を行う拡張補正部とを有する画像処理手段と、画像処理手段の出力信号に応じて画像表示を行う表示手段とを備えた表示装置を提供するものである。

また、上記目的を達成するため、本発明は、第４の態様として、入力されたディジタル画像信号の画素列を順次走査し、階調補正処理後の出力画素列をフィードバックして入力信号として用い、画像処理前の信号の隣接階調差と、画像処理後の信号とフィードバックされた出力画素列との隣接階調差とを比較することによりディジタル画像信号の画素列において階調変化を滑らかにすべき領域である階調補正適用領域を検出する検出部と、検出部により検出された階調補正適用領域に対して階調補正処理を行う拡張補正部と、入力画像に対して階調変化を伴う処理を施すディジタル画像処理部とを有する画像処理手段と、画像処理手段の出力信号に応じて画像表示を行う表示手段とを備えた表示装置を提供するものである。

また、上記目的を達成するため、本発明は、第５の態様として、入力されたディジタル画像信号の画素列を順次走査することにより、ディジタル画像信号の画素列において階調変化を滑らかにすべき領域である階調補正適用領域を検出する検出ステップと、検出ステップにおいて検出された階調補正適用領域に対して階調補正処理を行う拡張補正ステップとを有する画像処理方法であって、検出ステップにおいては、階調補正処理後の出力画素列をフィードバックして入力信号として用い、入力画像信号の隣接階調差とフィードバックされた出力画素列の隣接階調差とを比較して階調補正適用領域を検出することを特徴とする画像処理方法を提供するものである。

また、上記目的を達成するため、本発明は、第６の態様として、入力されたディジタル画像信号の画素列を順次走査することにより、ディジタル画像信号の画素列において階調変化を滑らかにすべき領域である階調補正適用領域を検出する検出ステップと、検出ステップにおいて検出された階調補正適用領域に対して階調補正処理を行う拡張補正ステップと、入力画像に対して階調変化を伴う処理を施すディジタル画像処理ステップとを有する画像処理方法であって、検出ステップにおいては、階調補正処理後の出力画素列をフィードバックして入力信号として用い、画像処理前の信号の隣接階調差と、画像処理後の信号とフィードバックされた出力画素列との隣接階調差とを比較して階調補正適用領域を検出することを特徴とする画像処理方法を提供するものである。

また、上記目的を達成するため、本発明は、第７の態様として、上記第５又は第６の態様の画像処理方法を画像処理方法をコンピュータに実行させるためのプログラムを提供するものである。

本発明によれば、低コストで適切に階調拡張処理を行える画像処理装置、方法及びそのプログラム並びに表示装置を提供できる。

〔発明の原理〕
関連技術による階調拡張処理では、偽輪郭が発生している領域、又は線形補間による階調拡張処理を行って階調変化を滑らかにすべき領域（以下、線形補間適用領域という）を検出する条件として、同じ階調が連続した領域が隣接しており、かつ、それらの領域の階調差が一定値以内であるという検出条件を使用している。この方法は、ある１方向（例えば横方向）の階調データのみを基準として検出を行うので、画像平面における基準と垂直な方向（例えば縦方向）の階調データ間の相関については一切考慮しない。このため、上記関連技術による階調拡張処理をより適切に行うためには、２方向への検出処理が必要となる。その結果、フレームメモリが必要となるため、階調変化を滑らかにすべき領域を２方向で検出して階調拡張処理を行う装置を低コストが望まれる機器へ搭載することは困難である。

一方、１方向のみの検出処理を行う階調拡張処理の場合には、フレームメモリは必要とならない。しかしながら、画像によっては以下に示すような、望ましくない階調拡張処理結果が得られることがある。

上記関連技術の問題点を図１〜図３を用いて具体的に説明する。図１、図２は１方向の検出処理及び階調拡張補正処理の流れを２種類示し、図３は、その処理を複数ラインで行った結果を示す。

図１（ａ）に、６ビットの画像が入力された場合、図１（ｂ）に関連技術による階調拡張処理における検出処理結果、図１（ｃ）に、８ビットに拡張補正（すなわち付加する２ビットを生成）した処理結果を示す。なお、図１の横軸が画素の位置ｘ、縦軸が階調値ｆ（ｘ）を表し、ディジタル映像信号１画素を長方形で示している。

図１（ａ）において、入力グラデーション画像はｆ（０）からｆ（７）までは（００１１００）ｂｉｎ（ここで（ＸＸＸＸＸＸ）ｂｉｎは２進数を表す）、ｆ（８）からｆ（１５）までは（００１１０１）ｂｉｎ、ｆ（１６）からｆ（２３）までは（００１１１０）ｂｉｎ、ｆ（２４）及びｆ（２５）は（００１１１１）ｂｉｎである、このように画素の位置ｘが変化するにしたがってｆ（ｘ）も滑らかに変化していることから、この画素列はグラデーションを表現していると考えられる。グラデーション画像は階調変化が滑らかであれば滑らかであるほど好ましい画像である。

この６ビット画像を８ビットに拡張補正する場合、まず輪郭検出及び線形補間適用領域の検出が行われる。ｘ＝０を始点位置Ｘｓ、始点の階調値ｆ（０）＝（００１１００）ｂｉｎを始点階調Ｔｓとして保持する。次に、Ｘｓよりも大きく、ｆ（ｘ）≠Ｔｓとなる最小の位置ｘを検出する。この例ではｆ（８）＝（００１１０１）ｂｉｎ≠Ｔｓで、かつＸｓ＜８であるので、ｘ＝８を検出点とする。また、ｆ（８）とｆ（０）との階調差は１（最小階調差分）となっており、線形補間適用領域と考えられる。以下、検出点を始点、検出階調を始点階調として上記同様の検出を順次行っていく。その結果を図１（ｂ）に示す。ｘ＝０を含めてｘ＝８、１６、２４の四つが検出点として検出される。全ての検出点の階調差は１であり、かつ検出点の間は同じ階調値が連続していることから、この画素列は少なくともｘ＝０から２４までは線形補間適用領域と考えられる。

次に、上記の検出結果を基に２ビット分の階調拡張を行う。検出処理で線形補間領域とみなした領域で補間処理を行う。まず、各検出点間の階調値を直線で結ぶ（図１（ｃ）の斜めの点線）。そして、この直線に最も近い値となる付加２ビットを選択する。例えば、ｘ＝０から８までの領域では付加２ビットの値は、直線の始点と終点とをそれぞれ始点位置Ｘｓ、終点位置Ｘｅとすると、
（付加値）＝（（ｘ−Ｘｓ）／（Ｘｅ−Ｘｓ））×４＝（（ｘ−０）／（８−０））×４
という式で求めることができる（小数点以下は切り捨てとする）。ここで“４”は２の（付加ビット）乗という式から求められる。上記式により、付加されるビットはｘ＝０、１では（００）ｂｉｎ、ｘ＝２、３では（０１）ｂｉｎ、ｘ＝４、５では（１０）ｂｉｎ、ｘ＝６、７では（１１）ｂｉｎとなる。このようにして得た２ビットの値をＬＳＢとして上位６ビットに対して付加することによって、８ビットの拡張補正データが得られる。なお、線形補間適用領域に含まれない階調値（例えば、ｘ＝２５の階調値）にはＬＳＢとして（００）ｂｉｎを付加する。

図１（ｃ）の処理結果を見ると、単に“００”を付加する場合には８ビット化で４階調となってしまう検出点での階調差が１階調の差となり、滑らかな階調変化を実現できている。

一方、同じ処理を異なる階調値を持つ画像に対して行った結果を図２に示す。図２（ａ）が図１（ａ）と異なるのは、ｘ＝０からｘ＝１３までの値が全て（００００００）ｂｉｎとなっている点である。

図２（ｂ）に輪郭検出及び線形補間適用領域の検出結果を示す。先の例と同様に、ｘ＝０を始点位置Ｘｓとして、始点階調Ｔｓを保持する。最初にｆ（ｘ）≠Ｔｓとなるのはｘ＝１４であり、以下、順次検出処理が行われ、ｘ＝１６、２４で階調変化が検出される。

この検出結果を基に線形補間適用領域が決定される。ここでは、線形補間適用領域を検出する条件として、
（１）始点位置と同じ階調が複数画素連なり、かつ終点位置と同じ画素が複数画素連なること。
（２）始点位置の階調変化が減少で滑らかにすべき階調変化、又は終点位置の階調変化が増加で滑らかにすべき階調変化であること（具体的には、始点位置の階調と終点位置の階調との差が最小階調差（例えば、１階調差）であること。
（３）始点位置がｘ＝０以外の時、始点位置での階調変化と終点位置での階調変化が共に増加、又は共に減少であること。
の三つの条件を用いた場合について説明する。

なお、線形補間適用領域の検出条件についてはいくつかのバリエーションが存在するが、階調を滑らかにするための線形補間を施す領域を決定するという目的はどれも同じである。
上記の（１）は、１画素ごとに階調変化がある領域はそもそも階調変化を滑らかにする必要は無いという条件、（２）は、通常の輪郭であるか階調変化を滑らかにする輪郭であるかを判定する条件、（３）は、領域内で単純増加か単純減少となる補間をする領域を決定するための条件である。なお、図１の階調データの場合、ｘ＝０から２４までは（１）〜（３）の条件を満たしている。

図２（ｂ）に示す検出データをｘ＝０から順に判定していく。Ｘｓ＝０、Ｘｅ＝１４とすると、この領域は条件（２）を満たさない（始点位置、終点位置の階調変化とも滑らかにすべき階調変化ではない）ので、この領域は線形補間適用領域とは判定されない。次は、Ｘｓ＝１４、Ｘｅ＝１６であるが、この領域は全ての条件を満たすため線形補間適用領域となる。同様に、Ｘｓ＝１６、Ｘｅ＝２４のときも線形補間適用領域となる。

図２（ｃ）にｘ＝１４から１６の領域、及び１６から２４の領域に線形補間処理を施した結果を示す。処理の方法は図１を用いて説明した先の例と同様である。ｘ＝１６から２４までの領域の線形補間処理は図１（ｃ）と同じ結果となっている。ｘ＝１４から１６までの領域に関しては先の例とは異なり、傾きが急峻な補間処理結果が得られている。

次に、図１、図２の結果を基に、図３（ａ）に示すような２次元画像が入力された時の処理の流れを示す。図３（ａ）は、横２６画素×縦６画素の画像である。また、横方向をｘ方向、縦方向をｙ方向とし、検出・補正処理の方向はｘ方向とする。ｙ＝０、１、４、５の行は図１の入力画像データと同じであり、ｙ＝２、３の行は図２の入力データと同じである。
図１、２では階調値を縦軸に取っていたが、２次元画像であるので、図３（ａ）では階調値は６ビット値を１０進数に変換した数字で示している。なお、座標（ｘ、ｙ）の画素の階調値はｆ（ｘ，ｙ）で示される。

図３（ｂ）に偽輪郭検出及び線形補間適用領域の検出結果を示す。図１（ｂ）、図２（ｂ）に示した先の２例での検出処理結果を各行ごとに当てはめている。得られた検出点は黒地白ヌキ文字で示している。

図３（ｃ）に、階調拡張処理を施した結果を示す。処理結果は８ビットとなるため、８ビット値を１０進数に示した値を数字で示している。

ここで、１方向のみの検出処理ではその方向の線状ノイズが発生し、望ましくない階調拡張処理結果が得られることを、ｘ＝１４の列の値を例に用いて説明する。図３（ａ）ではｘ＝１４の値は全て“１３”であり、ｙ方向に関して滑らかな階調変化となっている。一方、図３（ｃ）ではｘ＝１４の値は５５、５５、５２、５２、５５、５５となっている。このように、ｘ方向の階調拡張処理を行った結果、元々滑らかな階調変化であったｘ＝１４の列の値は、ｙ＝１と２の部分には３階調分の階調変化が生じ、同様にｙ＝３と４の部分にも３階調分の階調変化が生じてしまうこととなる。このような階調変化は、ライン間の検出点の間隔の差によって現れており、図３では８画素間隔（ｙ＝０、１、４、５）と２画素間隔（ｙ＝２、３）との間で階調変化が１画素（ｘ＝１４）生じていたが、６４画素間隔と１６画素間隔とでは階調変化が８画素連続して生じてしまう。このように横方向に長く階調変化の領域が続くと、その部分が輪郭として認識されてしまい、結果として横方向線状のノイズとして知覚される。

このように知覚される線状のノイズは、検出・補正処理を１方向に対してのみ行っていることが原因で発生する。このような線状のノイズを抑制するためには、上記検出部が検出処理を行った方向と異なる方向にも、フレームバッファを加えることなく同様の処理を適用できることが望ましい。

具体的には、線形補間や多項式関数のＬＰＦを用いるのではなく、階調拡張処理後の出力階調値をフィードバックして演算の入力信号として用いる方式を適用する。例えば、階調拡張処理前の画像信号の隣接階調差及び階調拡張処理後の画像信号の隣接階調差を比較して、階調拡張処理前の隣接階調差よりも、階調拡張処理後の隣接階調差が大きい場合（すなわち階調拡張処理によって、階調変化が滑らかで無くなっている場合）、その階調変化を一定範囲内に抑えるための処理を行うことが好ましい。

図３に示すような画像が入力されたときに、ｙ方向の階調変化を一定範囲内に抑制する処理を行った結果を図４に示す。図４（ａ）は、図３（ａ）と同じ入力画像であり、その入力画像に検出・補正処理を行った結果が図４（ｂ）（図３（ｃ）と同じ結果画像）である。図４（ｂ）では黒地白ヌキ文字で示したｘ＝１４の領域のｙ方向の階調変化が、上記二つの条件（元々滑らかな階調変化であったのが、階調拡張処理によって滑らかでなくなっている）を満たしている。ｘ＝１５の領域は１階調の階調変化なので、まだ滑らかであると判断している。

図４（ｃ）は、階調変化を一定範囲内に抑えるための処理として、フィードバック演算した結果を示す。例えば、階調拡張処理後の階調値をＦ（ｘ，ｙ）と表すこととし、注目画素を（１４，２）とすると、注目画素及び隣接画素の処理前、処理後階調値は、それぞれｆ（１４，１）＝１３、ｆ（１４，２）＝１３、Ｆ（１４，１）＝５５、Ｆ（１４，２）＝５２である。そして、階調拡張処理前の隣接階調差の絶対値は｜ｆ（１４，２）−ｆ（１４，１）｜＝０と滑らかな変化である。一方、階調拡張処理後の隣接階調差の絶対値は｜Ｆ（１４，２）−Ｆ（１４，１）｜＝３である。よって、階調拡張処理後の隣接階調変化は、階調拡張処理前の階調変化よりも大きいため、この階調変化を一定範囲内に抑えるように、例えばＦ（１４，２）の値をＦ（１４，１）−１＝５４とする。以下、得られた新しいＦの値を用いて（フィードバックして）、注目画素の位置をｙ方向に順次ずらしていき、上記処理を行っていく。

このようにして得られた図４（ｃ）は、通常の輪郭部（階調拡張処理前において階調変化が２以上の輪郭）以外の階調変化が１以下となっており、線状のノイズが知覚されることは無くなる。

上記例は、ｘ方向は従来の線形補間による階調拡張処理を適用し、ｙ方向はフィードバック処理に基づく階調拡張処理を適用するというように別々の処理を適用したが、ｘ方向にもフィードバック処理に基づく階調拡張処理を適用することはもちろん可能である。

以上のことから、本発明では、ディジタル映像信号に階調拡張処理を行う手段として、
（１）階調拡張処理を行って階調変化を滑らかにすべき領域の適用領域を検出するための検出部と、検出された階調拡張処理適用領域に対し階調拡張処理を行う拡張補正部とを有する。
（２）検出部には、階調拡張処理後の出力画素列をフィードバックして検出部の入力信号として用いる。
ことによって、ラインメモリを使用しながらも適切な階調拡張処理を実現している。

上記方法によれば、以下に示す装置や方法、プログラムに適用することによって、低コストで、適切に偽輪郭を防止できる階調拡張処理を行える。

まず、画像処理装置として、画像データの階調拡張処理適用領域を上記検出手法で検出し、その検出結果に基づいて階調拡張を行うことで、低コストで、適切に偽輪郭を防止できる階調拡張処理を行うことができ、高画質で画像を再現できる。
このとき、検出処理、階調拡張処理それぞれに対して処理を実行する装置、プログラムやその他方法を選択できる。例えば、検出処理は画像検出装置で行い、階調拡張処理は階調拡張処理プログラムで行っても良い。このように、画像処理装置の派生形態として画像処理方法、画像処理プログラム、検出処理のみを抽出した画像検出装置、画像検出方法、画像検出プログラムがあげられる。
また、表示装置として、画像データを上記手法で処理を施した画像を表示することによって、高画質な画像を表示できる。

以下、上記原理に基づく本発明の好適な実施の形態について説明する。

〔第１の実施形態〕
図５に、本発明を好適に実施した第１の実施形態にかかる画像処理装置の構成を示す。この画像処理装置は、上記本発明の原理に基づく処理を行う具体的な装置である。

本実施形態にかかる画像処理装置は、検出部１１、拡張補正部１２及びラインバッファ１３ａ、１３ｂを有する。画像処理装置には６ビットの画像データが順次入力される。画像処理装置は、この６ビットの画像データを８ビットの画像データに変換して表示装置などへ出力する。

検出部１１は、入力された６ビットの画像データ及び出力される８ビットの画像データの画素列を順次走査することにより、階調変化を滑らかにすべき領域の適用領域を検出する。

そして検出部１１は、入力された画像データの画素列の階調値を順次走査する際、ある一定範囲内（例えば、最小階調差）のｙ方向の階調変化を検出した場合、同位置の出力画像データの階調値の階調変化が一定範囲内となるように、補正量を決定する。ｘ方向の補正量は、線形補間に基づく階調変化を滑らかにすべき領域の適用領域を検出する。

なお、本実施形態では、ｘ方向の補正は線形補間に基づくものとしたが、ｙ方向の補正と同様の方法としてももちろん良い。

ラインバッファ１３としては、検出部１１において検出処理が行われている間、入力された６ビットの画像データを１ライン分蓄積するラインバッファ１３ａと、その入力画像データに対応する出力画像データである８ビットの画像データを１ライン分蓄積するラインバッファ１３ｂとを備える。

拡張補正部１２は、検出部１１で得られた補正量を用いて階調拡張処理を行う。

本実施形態にかかる画像処理装置は、ラインバッファ１３を設けたことにより、ラスタスキャンされる画像のスキャン方向（ｘ方向）に垂直な方向（ｙ方向）の拡張補正が適切な位置の画像に行われる。

なお、ここでは１色に対する処理を行うためのブロック構成を示しているが、ＲＧＢのカラー画像を処理する場合には、各色成分に関して同様の構成を並列で設ける。これは他の実施形態に関しても同様である。

検出部１１の具体的な構成及び動作について説明する。
図６に示すように、検出部１１は、判定出力部２１、始点パラメータ保持部２２、及びカウンタ２３を有する。カウンタ２３は順次入力される画像データが何番目の位置にあるかを相対的に把握するために用いられる。よって、入力される画像データの位置がわかるのであれば、必ずしもカウンタ２３を用いる必要はない。始点パラメータ保持部２２は、判定出力部２１における判定処理で必要なパラメータである始点位置Ｘｓ、始点階調Ｔｓ及び始点階調変化量ＦＣｓを保持している。これらのパラメータは、判定出力部２１で検出点が検出されたときに変更される。

ここで、階調変化量ＦＣとは、検出された階調変化が増加方向の階調変化なのか減少方向の階調変化なのかを示すとともに、その階調変化が線形補間処理を施すべき階調変化なのか線形補間処理を施すべきでない輪郭部分の階調変化なのかを示す情報である。

階調変化量ＦＣは、具体的には以下のような値をとる。
ＦＣ＝００・・・線形補間処理を施すべき階調変化であって、増加方向の階調変化
ＦＣ＝０１・・・線形補間処理を施すべき階調変化であって、減少方向の階調変化
ＦＣ＝１０・・・線形補間処理を施すべきではない輪郭部分の階調変化
判定出力部２１は、入力された画像Ｉｎ（ｘ，ｙ）（ここで、（ｘ，ｙ）は順次入力された画像の位置を表し、Ｉｎ（ｘ，ｙ）は位置（ｘ，ｙ）の階調を表す）と、始点パラメータ保持部２２で保持しているパラメータ及び閾値ＴＨとをもとに以下の判定を行う。

ｘ方向の検出では、最初に下記（１−１）の条件を満たすか否かを判断し、満たす場合はその処理を行う。（１−１）の条件を満たさない場合には下記（１−２）の条件を満たすか否かを判断し、満たす場合にはその処理を行う。（１−１）及び（１−２）のどちらの条件も満たさない場合には下記（１−３）の処理を行う。
（１−１）： Ｉｎ（ｘ，ｙ）＝Ｔｓ（始点階調と入力画像の階調とが同じ）の場合は、この位置を検出点とは見なさない。（何の処理も行わない。出力も変更無し。）
（１−２）： （１−１）の条件を満たさず、Ｔｓ−ＴＨ＜Ｉｎ（ｘ，ｙ）＜Ｔｓ＋ＴＨ and Ｉｎ（ｘ＋１，ｙ）＝Ｉｎ（ｘ，ｙ）（入力画像の階調変化が始点階調±閾値の範囲内であり、かつ位置ｘ＋１と位置ｘとで階調が同じ値）の場合、この位置は線形補間処理を施す線形補間適用領域であると検出する。このとき、出力位置Ｘ＝ｘ、出力階調変化量ＦＣは、Ｔｓ＜Ｉｎ（ｘ，ｙ）の場合ＦＣ＝００、Ｔｓ＞Ｉｎ（ｘ，ｙ）の場合ＦＣ＝０１とする。また、始点パラメータ保持部２２で保持しているパラメータをＸｓをｘに、ＴｓをＩｎ（ｘ，ｙ）に、ＦＣｓをＦＣにそれぞれ変更し、次回以降の処理に使用する。
（１−３）： （１−２）の条件を満たさない場合、この位置を輪郭領域として検出する。出力位置Ｘ＝ｘ、出力階調変化量ＦＣ＝１０とする。また、（１−２）と同様に、始点パラメータ保持部２２で保持しているパラメータを、Ｘｓをｘに、ＴｓをＩｎ（ｘ，ｙ）に、ＦＣｓをＦＣにそれぞれ変更し、次回以降の処理に使用する。

ｘ方向の検出に続いてｙ方向の検出を行う。ｙ方向の検出では、最初に下記（２−１）の条件を満たすか否かを判断して満たす場合にはその処理を行い、（２−１）の条件を満たさない場合に下記（２−２）の処理を行う。
（２−１）： Ｉｎ（ｘ，ｙ）−Ｉｎ（ｘ，ｙ−１）の絶対値がＴＨ２よりも小さければ、この位置は滑らかに階調変化させる領域であり、フィードバック処理対象位置として検出する。拡張補正部１２へ送る補正量は、Ｉｎ（ｘ，ｙ）−Ｉｎ（ｘ，ｙ−１）とＯｕｔ２（ｘ，ｙ−１）である。
（２−２）： （２−１）の条件を満たさない場合、検出点とは見なさない（何の処理も行わない。出力変化も無し。）。

このように、検出部１１では、ｘ方向に対してはディジタル映像信号の画素列を順次走査していき、線形補間処理を施す検出点と、それ以外の検出点とを分けて検出し、ｙ方向に対してはフィードバック処理を施す検出点と、それ以外の領域とを分ける。

なお、閾値ＴＨ、ＴＨ２は、検出点における階調変化を補正で滑らかにするのか、そのまま保持するのかを決めるために用いる閾値である。その値は、処理の内容や入力画像の特性などに応じて適切な値を設定すればよい。最も簡単なのは、最小階調差のみを補正で滑らかにするようにＴＨ＝２、ＴＨ２＝２とするものである。また、入力画像（例えば１画面分）の最小階調差が２であれば、その最小階調差をもつ領域は階調変化を滑らかにしたい領域と判断してＴＨ＝３、ＴＨ２＝３とすることも可能である。

次に、拡張補正部１２の具体的な構成及び動作について説明する。
図７に、拡張補正部１２の構成を示す。拡張補正部１２は、補正処理部（ｘ方向）２４と、補正処理部（ｙ方向）２５と、パラメータ抽出部２６と、パラメータバッファ２７とを有する。
パラメータバッファ２７は、検出部１１で得られた１ライン分の検出位置Ｘと階調変化量ＦＣとを蓄積する。パラメータ抽出部２６は、補正処理部（ｘ方向）２４に入力された画像の画素位置ｘに応じて、Ｘｓ≦ｘ＜ＸｅとなるＸｓ，Ｘｅ及びその位置における階調変化量ＦＣｓ，ＦＣｅをパラメータバッファ２７から取得する。

図８に、ｘ方向の補正処理を行うための拡張補正部１２の内部構成を示す。補正処理部（ｘ方向）２４は、画像Ｉｎ（ｘ，ｙ）が入力され、この入力値とパラメータ抽出部２６から送られてきたＸｓ、Ｘｅ、ＦＣｓ、ＦＣｅとを基に、階調拡張補正処理を行い、その処理結果Ｏｕｔ（ｘ，ｙ）を出力する。階調拡張補正処理の内容はＦＣｓ、ＦＣｅの値に応じて、以下に示す５通りの処理のいずれかを選択する。
（１）：ＦＣｓ＝００、かつＦＣｅ＝０１のとき
Ｏｕｔ（ｘ，ｙ）＝４×［Ｉｎ（Ｘｓ，ｙ）−（Ｉｎ（Ｘｅ，ｙ）−Ｉｎ（Ｘｓ，ｙ））／２×｛１−ａｂｓ（ｘ×２−Ｘｓ−Ｘｅ）／（Ｘｅ−Ｘｓ）｝］
（２）：（１）の条件を満たさず、ＦＣｓ＝０１かつＦＣｅ＝００のとき
Ｏｕｔ（ｘ，ｙ）＝４×［Ｉｎ（Ｘｅ，ｙ）−（Ｉｎ（Ｘｅ，ｙ）−Ｉｎ（Ｘｓ，ｙ））／２×｛１−ａｂｓ（ｘ×２−Ｘｓ−Ｘｅ）／（Ｘｅ−Ｘｓ）｝］
（３）：（２）の条件を満たさず、ＦＣｓ≠０１かつＦＣｅ＝００のとき
Ｏｕｔ（ｘ，ｙ）＝４×［Ｉｎ（Ｘｓ，ｙ）＋（Ｉｎ（Ｘｅ，ｙ）−Ｉｎ（Ｘｓ，ｙ））×（ｘ−Ｘｓ）／（Ｘｅ−Ｘｓ）］
（４）：（３）の条件を満たさず、ＦＣｓ＝０１かつＦＣｅ≠００のとき
Ｏｕｔ（ｘ，ｙ）＝４×［Ｉｎ（Ｘｓ−１，ｙ）＋（Ｉｎ（Ｘｓ，ｙ）−Ｉｎ（Ｘｓ−１，ｙ））×（ｘ−Ｘｓ）／（Ｘｅ−Ｘｓ）］
（５）：（１）〜（４）のいずれの条件も満たさないとき
Ｏｕｔ（ｘ，ｙ）＝４×Ｉｎ（ｘ，ｙ）
なお、小数点以下は切り捨てるものとする。

（１）〜（４）が線形補間処理であり、（１）、（２）は階調変化が凸部、凹部における線形補間処理、（３）、（４）は、関連技術と同様の線形補間処理である。（５）は、固定の階調値を付加する処理であり、線形補間処理を施さない検出点に使用する。

本実施形態においては上記補正処理を使用したが、これに限るものではなく、例えば（３）、（４）のみ使用しても良いし、その他の計算式を使用しても良い。

図９に、ｙ方向の補正処理を行うための拡張補正部１２の内部構成を示す。
補正処理部（ｘ方向）２４で得られたＯｕｔ（ｘ，ｙ）は８ビット値であり、これが補正処理部（ｙ方向）２５に送られる。補正処理部（ｙ方向）２５は、ｙ方向の階調拡張処理後の画像信号の階調値を用いて、階調拡張処理前の画像信号の隣接階調差及び階調拡張処理後の画像信号の隣接階調差を比較して、階調拡張処理前の隣接階調差よりも、階調拡張処理後の隣接階調差が大きい場合、その階調変化を一定範囲内に抑えるための処理を行うものである。

具体的には、
（１）：Ｉｎ（ｘ，ｙ）−ＴＨ２＜Ｉｎ（ｘ，ｙ−１）＜Ｉｎ（ｘ，ｙ）＋ＴＨ２でかつ｜Ｉｎ（ｘ，ｙ）−Ｉｎ（ｘ，ｙ−１）｜＜｜Ｏｕｔ（ｘ，ｙ）−Ｏｕｔ２（ｘ，ｙ−１）｜である（入力画像データの階調変化がＴＨ２よりも小さく、同位置の出力画像データの階調値の階調変化の絶対値が入力画像データの階調値の階調変化の絶対値よりも大きい）なら、例えば、
Ｏｕｔ２（ｘ，ｙ）＝Ｏｕｔ２（ｘ，ｙ−１）＋Ｉｎ（ｘ，ｙ）−Ｉｎ（ｘ，ｙ−１）
とし、それ以外ならば、
Ｏｕｔ２（ｘ，ｙ）＝Ｏｕｔ（ｘ，ｙ）
とする。

このように、本実施形態にかかる画像処理装置は、階調変化を滑らかにする領域を検出するための検出部１１と、その検出結果に基づいて階調拡張を行う拡張補正部１２を有することによって、低コストで適切な階調拡張処理を実現している。

なお、補正処理は上記式に限らず、出力画像データの階調値の階調変化と入力画像データの階調値の階調変化の差に応じて、補正値を決定しても良い。さらに別の効果を得るために、以下のような機能・構成を付加しても良い。

（１）補正処理部（ｙ方向）２５の構成として、累積誤差の許容される最大値を設定して、それを超えた場合には補正処理を行わないようにする。具体的には、Ｏｕｔ（ｘ，ｙ）−Ｏｕｔ２（ｘ，ｙ）の値が一定値以上となった場合には、Ｉｎ（ｘ，ｙ）の値にかかわらずＯｕｔ２（ｘ，ｙ）＝Ｏｕｔ（ｘ，ｙ）とする。これは、フィードバック処理による誤差の累積を防止して、画質劣化を防止するために効果的である。

（２）補正処理部（ｙ方向）２５の構成として、補正処理の有無が切り替わる境界領域では補正処理による階調変化は境界以外の領域よりも小さくするようにする。具体的には、Ｏｕｔ２（ｘ，ｙ−１）＝Ｏｕｔ（ｘ，ｙ−１）かつＯｕｔ２（ｘ，ｙ）≠Ｏｕｔ（ｘ，ｙ）、又はＯｕｔ２（ｘ，ｙ−１）≠Ｏｕｔ（ｘ，ｙ−１）かつＯｕｔ２（ｘ，ｙ）＝Ｏｕｔ（ｘ，ｙ）のときには、補正処理の階調変化を所定の値よりも小さくする処理を加える。これは、補正処理の有無によって境界部でマッハバンドが生じやすくなることを防止するのに効果的である。

（３）画像処理装置の別の構成として、γ補正処理などの画像処理部がさらに設けられ、検出部の入力として、画像処理前の入力画素列と画像処理後の画素列と、階調拡張処理後の出力画素列とを用いるようにすることもできる。これは、ディジタル画像処理によって発生する量子化誤差の増大を抑制するのに効果的である。

本実施形態にかかる画像処理装置は、検出部１１で検出位置データと検出位置の補正量とを決定し、そのデータをもとに拡張補正部１２で補正処理を行ったが、この処理の分配・統合は適宜変更可能である。例えば、検出部１１で補正ビット（本実施形態において補正処理部（ｘ方向）２４と、補正処理部（ｙ方向）２５とで行う処理結果から入力画像階調を減算した値）の生成までを行い、階調付加処理のみを拡張補正部１２で行うように変形しても良い。

このように、本実施形態にかかる画像処理装置は、フレームバッファの規模が大きいため、コストの関係などから採用できないような場合においても、限られたラインバッファを用いてより適切な階調拡張処理を行える。

〔第２の実施形態〕
本発明を好適に実施した第２の実施形態について説明する。図１０に、本実施形態にかかる表示装置の構成を示す。この表示装置は、検出部４１、拡張補正部４２、ラインバッファ４３ａ、４３ｂ、及び画像表示部４５を有する。画像表示部４５をさらに有すること以外は第１の実施形態にかかる画像処理装置とほぼ同様の構成である。検出部４１は、コンピュータなどから送られてきた８ビットのラスタ画像及び拡張補正部４２の出力画像データを用いて検出処理を行う。ラインバッファ４３ａ、４３ｂは、拡張補正を施す前後の１ライン分の画像データを蓄積する。拡張補正部４２は、検出部４１から送られる補正量を基に、１０ビットへの階調拡張処理を施す。画像表示部４５は、１０ビットの画像を表示可能な表示デバイスである。
本実施形態において、検出部４１、拡張補正部４２及びラインバッファ４３ａ、４３ｂは、画像処理部を形成している。

表示装置主走査方向の１ライン分ごとに画像データを順次処理するため、ラインバッファ４３ａ、４３ｂは画像表示部４５のｘ方向の１ライン分のバッファサイズであることが好ましい。画像表示部４５としては、ＬＣＤやＰＤＰ、ＥＬ、ＣＲＴなどの公知の表示デバイスを適用可能である。

本実施形態にかかる表示装置は、入力画像のビット数が画像表示部４５で表示可能なビット数よりも小さくても、適切な階調拡張処理を行うことができ、偽輪郭の発生を抑制することができ、より高画質な表示が得られる。

なお、本実施形態においては８ビットの入力画像データを１０ビットに階調拡張する場合を例として説明したが、検出・階調拡張処理は、６ビットの入力画像データを８ビットに階調拡張する第１の実施形態にかかる画像処理装置と同様である。

〔第３の実施形態〕
本発明を好適に実施した第３の実施形態について説明する。図１１に示すように、実質的なコンピュータ（ＣＰＵ３１）によるソフトウェア処理で第１の実施形態にかかる画像処理装置と同様の検出部１１及び拡張補正部１２を構成している。

図１２〜図１５に本実施形態にかかる画像処理装置の画像処理の流れを示す。この動作は、第１の実施形態にかかる画像処理装置と同様の動作をＣＰＵ３１によるソフトウェア処理で実現したものであり、入力された６ビットのラスタ画像に対して検出処理を行い、その検出結果を基に８ビットの拡張処理を行うものである。ステップＳ２からＳ１２での処理が、第１の実施形態における検出部１１のｘ方向に関する処理である（以下、第１の画像処理という）。また、ステップＳ１３からＳ２８が第１の実施形態における拡張補正部１２のｘ方向に関する処理である（以下、第２の画像処理という）。さらに、ステップＳ２９からＳ３２が、第１の実施形態における拡張補正部１２のｙ方向に関する処理である（以下、第３の画像処理という）。

図１２に、第１の画像処理の流れを示す。また、図１３及び図１４に、第２の画像処理の流れを示す。さらに、図１５に、第３の画像処理の流れを示す。これらの処理は、コンピュータを制御する制御部（ＣＰＵ３１など）が不図示のＲＯＭや情報記録媒体に格納されているプログラムを不図示のＲＡＭ上に展開して実行することによって、ＣＰＵ３１が検出部１１及び拡張補正部１２として機能することによって実行される。

ステップＳ１：ラスタ画像の入力画像データＩｎ（６ビット）が入力されると、ＣＰＵ３１は入力された画像信号がどの画素の画像信号であるかを示す情報（すなわち画素のｙ値）を抽出する。ここで、Ｉｎ（ｘ，ｙ）は階調値を示している。

ステップＳ２：ＣＰＵ３１は、画素のＹ座標に基づいてそのラインの画像データに検出・補正処理を行うため、入力信号位置ｘ０＝０に初期化し、予め定められているｘ方向のデータ長Ｘｍａｘを取得する。

ステップＳ３：ＣＰＵ３１は、検出処理開始にあたって、始点位置Ｘｓ＝０、始点階調Ｔｓ＝Ｉｎ（０，ｙ）、始点前階調Ｔｓ０＝Ｉｎ（０，ｙ）、始点階調変化量ＦＣｓ＝１０、閾値ＴＨ＝２を設定する（ステップＳ３）。

初期条件を設定した後、ＣＰＵ３１は、以下の手順で実際の検出処理を実行する。
ステップＳ４：ＣＰＵ３１が入力信号位置ｘ０を１インクリメントする。
ステップＳ５：ＣＰＵ３１は、ｘ０とＸｍａｘとを比較する。ｘ０の値がＸｍａｘと等しいなら、階調変化検出処理を終了し、ステップＳ７へ進む（ステップＳ５／Ｙｅｓ）。それ以外なら（ｘ０の値がＸｍａｘと等しくないなら）階調変化検出処理へ進む（ステップＳ５／Ｎｏ）。

（階調変化検出処理）
ステップＳ６：ＣＰＵ３１は、位置ｘ０にある階調データＩｎ（ｘ０，ｙ）と始点階調Ｔｓとを比較する。Ｉｎ（ｘ０，ｙ）がＴｓと等しい（同じ階調が連続している）ときは、ステップＳ４に戻って階調変化の検出を続ける（ステップＳ６／Ｙｅｓ）。それ以外のときは（ステップＳ６／Ｎｏ）、階調変化点と見なしステップＳ７へ進む。

ステップＳ７：ＣＰＵ３１は、終点位置Ｘｅ＝ｘ０と終点階調Ｔｅ＝Ｉｎ（ｘ０，ｙ）とを保持する。

（検出点変化量設定処理）
ステップＳ８：ＣＰＵ３１は、現在の拡張補正信号位置が線形補間適用領域であるか否かを判断する。Ｔｓ−ＴＨ＜Ｉｎ（ｘ０，ｙ）＜Ｔｓ＋ＴＨかつ（ｘ０＋１，ｙ）＝Ｉｎ（ｘ０，ｙ）であるならステップＳ９に進む（ステップＳ８／Ｙｅｓ）。そうでないならステップＳ１０へ進む（ステップＳ８／Ｎｏ）。

ステップＳ９：ＣＰＵ３１は、線形補間適用領域である現在の拡張補正信号位置での階調変化が増加であるか減少であるかを判断する。Ｉｎ（ｘ０，ｙ）とＴｓとを比較し、Ｉｎ（ｘ０，ｙ）＞ＴｓであるならばステップＳ１１へ進む（ステップＳ９／Ｙｅｓ）。Ｉｎ（ｘ０，ｙ）≦ＴｓならステップＳ１２へ進む（ステップＳ９／Ｎｏ）。

ステップＳ１０：ＣＰＵ３１は、終点階調変化量ＦＣｅを１０（線形補間適用領域ではない）に設定し、第２の画像処理に進む。

ステップＳ１１：ＣＰＵ３１は、終点階調変化量ＦＣｅを００（線形補間適用領域でその階調変化は増加）に設定し、第２の画像処理へ進む。

ステップＳ１２：ＣＰＵ３１は、終点階調変化量ＦＣｅを０１（線形補間適用領域でその階調変化は減少）に設定し、第２の画像処理へ進む。

その後、ＣＰＵ３１はステップＳ１２までで求まった各パラメータを用いて、第２の画像処理（階調拡張処理）を以下の流れで行う。

ステップＳ１３：ＣＰＵ３１は、拡張補正用信号位置ｘをＸｓに設定する。

（階調拡張内容決定処理）
ステップＳ１４〜Ｓ１７：ＣＰＵ３１は、始点階調変化量ＦＣｓ、終点階調変化量ＦＣｅの値をもとに、適用する階調拡張処理を決定する。階調拡張処理の内容は以下の手順で決定する。

（１）：ＦＣｓ＝００でかつＦＣｅ＝０１ならば、ＣＰＵ３１はステップＳ１８の階調拡張処理を適用すると判断する（ステップＳ１４）。
（２）：（１）の条件を満たさず、ＦＣｓ＝０１でかつＦＣｅ＝００ならば、ＣＰＵ３１は、ステップＳ１９の階調拡張処理を適用すると判断する（ステップＳ１５）。
（３）：（２）の条件を満たさず、ＦＣｅ＝００ならば、ＣＰＵ３１は、ステップＳ２０の階調拡張処理を適用すると判断する（ステップＳ１６）。
（４）：（３）の条件を満たさず、ＦＣｓ＝０１ならば、ＣＰＵ３１は、ステップＳ２１の階調拡張処理を適用すると判断する（ステップＳ１７）。
（５）：（４）の条件を満たさない場合、ステップＳ２２の処理を行う（ステップＳ１７）。

（階調拡張処理）
ステップＳ１８〜Ｓ２２：ＣＰＵ３１は、始点位置Ｘｓ、始点階調Ｔｓ、始点前階調Ｔｓ０、終点位置Ｘｅ、終点階調Ｔｅ、及び拡張補正信号位置ｘと、入力映像信号とを用いて、以下に示す（１）〜（５）のうちのいずれかの階調拡張処理を、ステップＳ１４〜Ｓ１７で選択した結果に従って行う。
（１）：ステップＳ１８
Ｏｕｔ（ｘ，ｙ）＝４×［Ｔｓ−（Ｔｅ−Ｔｓ）／２×｛１−ａｂｓ（ｘ×２−Ｘｓ−Ｘｅ）／（Ｘｅ−Ｘｓ）｝］
（２）：ステップＳ１９
Ｏｕｔ（ｘ，ｙ）＝４×［Ｔｅ−（Ｔｅ−Ｔｓ）／２×｛１−ａｂｓ（ｘ×２−Ｘｓ−Ｘｅ）／（Ｘｅ−Ｘｓ）｝］
（３）：ステップＳ２０
Ｏｕｔ（ｘ，ｙ）＝４×［Ｔｓ＋（Ｔｅ−Ｔｓ）×（ｘ−Ｘｓ）／（Ｘｅ−Ｘｓ）］
（４）：ステップＳ２１
Ｏｕｔ（ｘ，ｙ）＝４×［Ｔｓ０＋（Ｔｓ−Ｔｓ０）×（ｘ−Ｘｓ）／（Ｘｅ−Ｘｓ）］
（５）：ステップＳ２２（線形補間処理を行わない）
Ｏｕｔ（ｘ，ｙ）＝４×Ｉｎ（ｘ，ｙ）

階調拡張処理が完了したら、ステップＳ２３へ進む。
ステップＳ２３：ＣＰＵ３１は、拡張補正信号位置ｘの値を１インクリメントする。

ステップＳ２４：ＣＰＵ３１は、ｘの値とＸｅとを比較する。ｘ＜ＸｅならばステップＳ１４へ戻り、同じパラメータＸｓ、Ｔｓ、Ｔｓ０、Ｘｅ、Ｔｅを用いて階調拡張処理を繰り返す（ステップＳ２４／Ｙｅｓ）。ｘ≧Ｘｅなら階調拡張処理を終了する（ステップＳ２４／Ｎｏ）。

ステップＳ２５：ＣＰＵ３１は、ｘ０とＸｍａｘとを比較する。ｘ０＝Ｘｍａｘなら、ｘ＝０からＸｍａｘまでの１ライン分の全ての入力信号Ｉｎ（ｘ，ｙ）に対して階調拡張処理を行ったので、ステップＳ２８へ進む（ステップＳ２５／Ｙｅｓ）。それ以外なら、残りの入力信号に対して処理を続けるため、ステップＳ２６へ進む（ステップＳ２５／Ｎｏ）。

ステップＳ２６：ＣＰＵ３１は、始点前階調Ｔｓ０にＴｓを代入する。

ステップＳ２７：ＣＰＵ３１は、始点位置ＸｓにＸｅを、始点階調ＴｓにＴｅを、始点階調変化量ＦＣｓにＦＣｅをそれぞれ代入し、検出処理を再び始めるためにステップＳ４へ進む。

ステップＳ２８：ＣＰＵ３１は、出力画像データＯｕｔ（ｘ，ｙ）（８ビット）を第３の画像処理へ送る。

ステップＳ２９：ＣＰＵ３１は、入力画像データの階調変化がＴＨ２よりも小さく、同位置の出力画像データの階調値の階調変化の値が入力画像データの階調値の階調変化よりも大きいか否かを判断する。Ｉｎ（ｘ，ｙ）−ＴＨ２＜Ｉｎ（ｘ，ｙ−１）＜Ｉｎ（ｘ，ｙ）＋ＴＨ２かつａｂｓ[Ｉｎ（ｘ，ｙ）−Ｉｎ（ｘ，ｙ−１）]＜ａｂｓ[Ｏｕｔ（ｘ，ｙ）−Ｏｕｔ２（ｘ，ｙ−１）]であるならばステップＳ３０へ進む（ステップＳ２９／Ｙｅｓ）。そうでないならばステップＳ３１へ進む（ステップＳ２９／Ｎｏ）。

ステップＳ２９の結果に従って、ＣＰＵ３１は以下のいずれかの処理を行う。
（１）：ステップＳ３０
Ｏｕｔ２（ｘ，ｙ）＝Ｏｕｔ２（ｘ，ｙ−１）＋Ｉｎ（ｘ，ｙ）−Ｉｎ（ｘ，ｙ−１）
（２）：ステップＳ３１
Ｏｕｔ２（ｘ，ｙ）＝Ｏｕｔ（ｘ，ｙ）

ステップＳ３２：ＣＰＵ３１は、以上のようにして求めた出力画像データＯｕｔ２（ｘ，ｙ）（８ビット）を出力する。

上記ステップＳ２からステップＳ１２が第１の実施形態での検出部１１におけるｘ方向に関する処理（第１の画像処理）、ステップＳ１３からステップＳ２８が第１の実施形態での拡張補正部１２におけるｘ方向に関する処理（第２の画像処理）、ステップＳ２９からステップＳ３２が第１の実施形態での検出部１１及び拡張補正部１２でのｙ方向に関する処理（第３の画像処理）をコンピュータによるソフトウェア処理とすることで、特別なハードウェアを用いなくても上記第１の実施形態にかかる画像処理装置と同様の画像処理方法を実行できる。

なお、図１２から図１５に示したフローチャートは、上記本発明の第１の実施形態にかかる画像処理装置と同様の画像処理を行うものであるが、上記第２の実施形態にかかる表示装置の画像処理部と同様の画像処理も、コンピュータを用いたソフトウェア処理で行うことが可能である。

また、第３の実施形態においては、画像処理装置におけるコンピュータを用いたソフトウェア処理について説明したが、画像検出装置や階調拡張装置に関しても同様に検出処理や階調拡張処理を、コンピュータを用いたソフトウェア処理によって実現できることは言うまでもない。

上記各実施形態の中では、階調拡張ビット数を定量として説明したものもあるが、今回説明した値のみ使用できるのではなく、任意の階調拡張ビット数に適用できる。

なお、上記各実施形態は本発明の好適な実施の一例であり、本発明はこれに限定されることはない。
例えば、上記各実施形態においては、階調拡張処理における各色のデータの増加量が同じである場合を例としたが、これらは同じ値である必要はない。例えば、Ｒが５ビット、Ｇが６ビット、Ｂが５ビットである場合、Ｒ及びＢを３ビット階調拡張し、Ｇを２ビット階調拡張することによって、ＲＧＢとも出力を８ビットにすることができる。

また、ＲＧＢの一部の色のみデータ量を増加させる構成であっても良い。また、ラスタ画像は必ずしも複数色の画像信号からなるカラー画像である必要はなく、単色画像であっても良い。
このように、本発明は様々な変形が可能である。

この出願は、２００７年７月４日に出願された日本出願特願２００７−１７６１６１を基礎とする優先権を主張し、その開示の全てをここに取り込む。

グラデーション画像に対して行う階調拡張処理における検出処理及び線形補間処理の一例を示す図である。 グラデーション画像に対して行う階調拡張処理における検出処理及び線形補間処理の別の一例を示す図である。 １次元グラデーション画像を基に形成された２次元画像に対して行った、ｘ方向の階調拡張処理における検出処理及び線形補間処理の一例を示す図である。 ２次元画像のｙ方向にフィードバック処理を施した本発明の階調拡張処理の一例を示す図である。 本発明を好適に実施した第１の実施形態にかかる画像処理装置の構成を示す図である。 第１の実施形態にかかる画像処理装置の検出部の構成を示す図である。 第１の実施形態にかかる画像処理装置の拡張補正部の構成を示す図である。 ｘ方向の階調拡張処理を行うための拡張補正部の構成を示す図である。 ｙ方向の階調拡張処理を行うための拡張補正部の構成を示す図である。 本発明を好適に実施した第２の実施形態にかかる表示装置の構成を示す図である。 本発明を好適に実施した第３の実施形態にかかる画像処理装置の構成を示す図である。 第３の実施形態にかかる画像処理装置における画像処理の流れを示すフローチャートである。 第３の実施形態にかかる画像処理装置における画像処理の流れを示すフローチャートである。 第３の実施形態にかかる画像処理装置における画像処理の流れを示すフローチャートである。 第３の実施形態にかかる画像処理装置における画像処理の流れを示すフローチャートである。

符号の説明

１１、４１ 検出部
１２、４２ 拡張補正部
１３ａ、１３ｂ、４３ａ、４３ｂ ラインバッファ
２１ 判定出力部
２２ 始点パラメータ保持部
２３ ｘ方向カウンタ
２４ 補正処理部（ｘ方向）
２５ 補正処理部（ｙ方向）
２６ パラメータ抽出部
２７ パラメータバッファ
３１ ＣＰＵ
４５ 画像表示部

Claims (15)

1. 入力されたディジタル画像信号の画素列を順次走査することにより、前記ディジタル画像信号の画素列において階調変化を滑らかにすべき領域である階調補正適用領域を検出するための検出部と、
   前記検出部により検出された階調補正適用領域に対して階調補正処理を行う拡張補正部とを有する画像処理装置であって、
   前記検出部では階調補正処理後の出力画素列をフィードバックして検出部の入力信号として用い、入力画像信号の隣接階調差と前記フィードバックされた出力画素列の隣接階調差とを比較して前記階調補正適用領域を検出することを特徴とする画像処理装置。
2. 前記入力画像信号を保持する第１のラインバッファと、前記出力画素列を保持する第２のラインバッファとを有することを特徴とする請求項１記載の画像処理装置。
3. 前記入力画像信号の値と前記第１のラインバッファに保持されている直前の入力画像信号の値とを基に入力画像信号の隣接階調差を算出することを特徴とする請求項２記載の画像処理装置。
4. 前記出力画素列の値と前記第２のラインバッファに保持されている直前の出力画素列の値とを基に出力画像信号の隣接階調差を算出することを特徴とする請求項２又は３記載の画像処理装置。
5. 入力されたディジタル画像信号の画素列を順次走査することにより、前記ディジタル画像信号の画素列において階調変化を滑らかにすべき領域である階調補正適用領域を検出するための検出部と、
   前記検出部により検出された階調補正適用領域に対して階調補正処理を行う拡張補正部と、
   入力画像に対して階調変化を伴う処理を施すディジタル画像処理部とを有する画像処理装置であって、
   前記検出部では階調補正処理後の出力画素列をフィードバックして検出部の入力信号として用い、画像処理前の信号の隣接階調差と、画像処理後の信号と前記フィードバックされた出力画素列との隣接階調差とを比較して前記階調補正適用領域を検出することを特徴とする画像処理装置。
6. 前記画像処理前の信号を保持する第３のラインバッファと、前記画像処理後の信号を保持する第４のラインバッファとを有することを特徴とする請求項５記載の画像処理装置。
7. 前記画像処理前の信号の値と前記第３のラインバッファに保持されている直前の画像処理前の信号の値とを基に画像処理前の信号の隣接階調差を算出することを特徴とする請求項６記載の画像処理装置。
8. 前記画像処理後の信号の値と前記第４のラインバッファに保持されている直前の画像処理後の信号の値とを基に画像処理後の信号の隣接階調差を算出することを特徴とする請求項６又は７記載の画像処理装置。
9. 前記拡張補正部では、階調補正処理後の出力画素列の隣接階調差の許容される最大値を設定して、それを超えた場合には、階調補正処理を行わないようにすることを特徴とする請求項１から８のいずれか１項記載の画像処理装置。
10. 前記拡張補正部では、階調補正処理の有無が切り替わる境界領域では、階調補正処理による階調変化量は、境界以外の領域よりも小さくすることを特徴とする請求項１から９のいずれか１項記載の画像処理装置。
11. 入力されたディジタル画像信号の画素列を順次走査し、階調補正処理後の出力画素列をフィードバックして入力信号として用い、入力画像信号の隣接階調差と前記フィードバックされた出力画素列の隣接階調差とを比較することにより前記ディジタル画像信号の画素列において階調変化を滑らかにすべき領域である階調補正適用領域を検出する検出部と、前記検出部により検出された階調補正適用領域に対して前記階調補正処理を行う拡張補正部とを有する画像処理手段と、
    前記画像処理手段の出力信号に応じて画像表示を行う表示手段とを備えた表示装置。
12. 入力されたディジタル画像信号の画素列を順次走査し、階調補正処理後の出力画素列をフィードバックして入力信号として用い、画像処理前の信号の隣接階調差と、画像処理後の信号と前記フィードバックされた出力画素列との隣接階調差とを比較することにより前記ディジタル画像信号の画素列において階調変化を滑らかにすべき領域である階調補正適用領域を検出する検出部と、前記検出部により検出された階調補正適用領域に対して前記階調補正処理を行う拡張補正部と、入力画像に対して階調変化を伴う処理を施すディジタル画像処理部とを有する画像処理手段と、
    前記画像処理手段の出力信号に応じて画像表示を行う表示手段とを備えた表示装置。
13. 入力されたディジタル画像信号の画素列を順次走査することにより、前記ディジタル画像信号の画素列において階調変化を滑らかにすべき領域である階調補正適用領域を検出する検出ステップと、
    前記検出ステップにおいて検出された階調補正適用領域に対して階調補正処理を行う拡張補正ステップとを有する画像処理方法であって、
    前記検出ステップにおいては、階調補正処理後の出力画素列をフィードバックして入力信号として用い、入力画像信号の隣接階調差と前記フィードバックされた出力画素列の隣接階調差とを比較して前記階調補正適用領域を検出することを特徴とする画像処理方法。
14. 入力されたディジタル画像信号の画素列を順次走査することにより、前記ディジタル画像信号の画素列において階調変化を滑らかにすべき領域である階調補正適用領域を検出する検出ステップと、
    前記検出ステップにおいて検出された階調補正適用領域に対して階調補正処理を行う拡張補正ステップと、
    入力画像に対して階調変化を伴う処理を施すディジタル画像処理ステップとを有する画像処理方法であって、
    前記検出ステップにおいては、階調補正処理後の出力画素列をフィードバックして入力信号として用い、画像処理前の信号の隣接階調差と、画像処理後の信号と前記フィードバックされた出力画素列との隣接階調差とを比較して前記階調補正適用領域を検出することを特徴とする画像処理方法。
15. 請求項１３又は１４記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images