JP4674437B2 - 画像処理装置および方法、プログラム、並びに記録媒体 - Google Patents

Description

本発明は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、テレビジョン受信機用のデータとして供給された所定のビット数のデータを、他のビット数のデータに変換する際に用いて好適な画像処理装置および方法、プログラム、並びに記録媒体に関する。

近年、デジタル的に処理を行う機器が一般的になってきている。例えば、テレビジョン受像機も、デジタルで処理を行うようになってきている。図１は、従来のデジタル的に処理を行うテレビジョン受像機において、画像処理に関わる画像信号処理部１０の一例の構成を示している。画像信号処理部１０は、ＩＰ（Interlace-Progressive）変換部１１、ＬＰＦ（Low Pass Filter）１２、補間フィルタ１３、および、エンハンサ１４から構成されている。必要に応じ、メモリ（不図示）も備えられる。

ＩＰ変換部１１は、入力された画像信号が、インタレース方式の画像信号の場合、プログレッシブ方式の画像信号に変換して出力し、入力された画像信号が、プログレッシブ方式の画像信号の場合、入力されたプログレッシブ方式の画像信号をそのまま出力する。ＬＰＦ１２は、画素数の変換を必要とする場合、ＩＰ変換部１１から出力されたプログレッシブ方式の画像信号に対して、折り返し歪みの発生を防止するために、水平、または／および、垂直方向の帯域を制限する。

補間フィルタ１３は、必要に応じ、画素数の変換を行う。またエンハンサ１４は、画像のぼけを軽減するための処理を実行する。エンハンサ１４から出力された画像信号は、図示されていないディスプレイに供給される。このようなさまざまな方式の信号を扱うための処理が行われるとともに、高画質にするための処理も行われることも提案されている。（特許文献１参照）
特開２００２−１８５８１６号公報

画像信号処理処理部１０は、８ビットで入力された画像信号を８ビットの画像信号として出力する。８ビットで画像信号を処理することにより、例えば、理論的には２５６（＝２＾８）階調の輝度値を利用することが可能となる。２５６階調の輝度値の全てを用いるようにした場合、両端の所定の数の輝度値が、出力できない可能性があるため、通常、図２に示すように、両端の輝度値を使用せず、例えば、１６乃至２４０階調の輝度値を用いるように設定されている。

ところで、近年、テレビジョン受像機は、大画面化が進み、細密化が進んでいる。ここで、黒（輝度値が１６階調のもの）から、１０パーセント（％）の白が含まれる色（輝度値が約２３階調のもの）まで変化するグラデーション画像について考える。図３の上段に示したように、黒から白へと１０％の勾配で変化する画像は、１６階調から２３階調（＝（２４０−１５）×０．１）へと輝度値が変化する画像である。このような画像を、ディスプレイ上に表示させた場合、図３の中段に示したように、画像の両端を含めず数えると、６本の線が存在しているような画面になる（実際には、７本の均一な幅を有する線から構成される画面になる）。

この線は、図３の下段に示すように、１７階調の輝度値、１８階調の輝度値、１９階調の輝度値、２０階調の輝度値、２１階調の輝度値、および、２２階調の輝度値へ、それぞれ変化する部分に発生する（それぞれの階調の輝度値による所定幅の線に、切り替えられる部分に、線が入っているように見える）。

アナログ信号を処理した場合、ノイズなどの影響で、このような線は曖昧になり（ぼけてしまい）、結果としてユーザにとって気にならない程度のものとなってしまうことが多いが、デジタル信号を処理した場合、ユーザがその線を識別できる程度のものとなってしまう。

また、このようなことは、すなわち、８ビットで画像信号を処理することで、量子化ノイズなどによる影響が強い画像は、滑らかなランプ（シェーディング）や、色の薄い（振幅の小さい）色差信号のとき（例えば、人間のほっぺたの色など薄い色が滑らかに変化する部分）に、顕著にあらわれる問題点である。

このようなことを解決するために、例えば、８ビットではなく１０ビットで処理することも提案されている。しかしながら、一般的な装置は、８ビットで処理することを前提として設計されているため、１０ビットで処理するようにすると、８ビット単位で処理するように構成されていたメモリなどは、１６ビット単位で処理するような構成へと変更する必要があり、また、メモリ以外の部分でも、１０ビットに対応させるための冗長した構成が必要となるといった課題があった。

例えば、１０ビットで画像信号を処理するようにすると、メモリや回路の規模は、単純計算で、２５％程増加してしまう。特に、フレームメモリは、もともとの容量（現在使われている装置に備えられているメモリの容量）が大きく、そのメモリのデータ語調も８ビット、１６ビット、または、３２ビットである。よって、そのようなメモリに、１０ビットのデータを書き込む場合、メモリの使用効率を落とす結果となり好ましくない。また、必要とされる容量も増加するため、コストの上昇につながり好ましくない。

さらに、同じデータ語調で行おうとすると、書き込みのデータレートが高くなり、メモリ（例えば、ＳＤＲＡＭ）の動作クロックを上げる必要もある。このように、画質を向上させるために、単に、１０ビットで処理するようにすると、上述したようなさまざまな問題点がある。

本発明はこのような状況に鑑みてなされたものであり、基本的に８ビットで処理しつつも、１０ビットで処理した場合のような高画質を得られるようにすることを目的とする。

本発明の画像処理装置は、ｎビットの画像信号を低域と高域に分離する分離手段と、前記分離手段で分離された画像信号のうち、前記低域の画像信号を前記ｎビットよりも大きいｍビットの画像信号に変換し、前記高域の画像信号を前記ｎビットおよびｍビットよりも大きいｐビットの画像信号に変換する変換手段と、前記変換手段で変換された画像信号のうち、前記ｐビットの高域の画像信号を非線形処理し、前記ｐビットよりも小さく、かつ前記ｍビットよりも大きいｑビットの画像信号にして出力する非線形処理手段と、前記変換手段により変換された前記ｍビットの画像信号と、前記非線形処理手段により出力された前記ｑビットの画像信号を加算し、ｍビットの画像信号を生成する生成手段とを備える。

前記非線形処理手段が行う処理の特性は、ｍビットの精度で、±２未満のみを切り捨てるものであるようにすることができる。

本発明の画像処理方法は、入力された画像信号を記憶する記憶手段と、記憶手段記憶への書き込みや読み出しを制御する制御手段を少なくとも備える画像処理装置の画像処理方法であって、ｎビットの画像信号を低域と高域に分離する分離ステップと、前記分離ステップの処理で分離された画像信号のうち、前記低域の画像信号を前記ｎビットよりも大きいｍビットの画像信号に変換し、前記高域の画像信号を前記ｎビットおよびｍビットよりも大きいｐビットの画像信号に変換する変換ステップと、前記変換ステップの処理で変換された画像信号のうち、前記ｐビットの高域の画像信号を非線形処理し、前記ｐビットよりも小さく、かつ前記ｍビットよりも大きいｑビットの画像信号にして出力する非線形処理ステップと、前記変換ステップの処理により変換された前記ｍビットの画像信号と、前記非線形処理ステップの処理により出力された前記ｑビットの画像信号を加算し、ｍビットの画像信号を生成する生成ステップとを含む。

本発明のプログラムは、入力された画像信号を記憶する記憶手段と、記憶手段記憶への書き込みや読み出しを制御する制御手段を少なくとも備える画像処理装置を制御するコンピュータのプログラムであって、ｎビットの画像信号を低域と高域に分離する分離ステップと、前記分離ステップの処理で分離された画像信号のうち、前記低域の画像信号を前記ｎビットよりも大きいｍビットの画像信号に変換し、前記高域の画像信号を前記ｎビットおよびｍビットよりも大きいｐビットの画像信号に変換する変換ステップと、前記変換ステップの処理で変換された画像信号のうち、前記ｐビットの高域の画像信号を非線形処理し、前記ｐビットよりも小さく、かつ前記ｍビットよりも大きいｑビットの画像信号にして出力する非線形処理ステップと、前記変換ステップの処理により変換された前記ｍビットの画像信号と、前記非線形処理ステップの処理により出力された前記ｑビットの画像信号を加算し、ｍビットの画像信号を生成する生成ステップとを含む。

本発明の記録媒体は、前記プログラムを記録している。

本発明の画像処理装置および方法、並びにプログラムにおいては、入力されたｍビットの画像信号の低域側の信号が、ｎビットの信号に変換され、高域側の信号が、非線形処理されることによりまるめられる。そして、その低域側の信号と高域側の信号が加算されることにより、ｍビットより高いｎビットに変換された画像信号が生成され、出力される。

本発明によれば、高画質の画像をユーザ側に提供することができる。

本発明によれば、ｎビットの画像信号を、ｎビットより大きいｍビットに変換することができる。また、その変換の際、基本的な処理はｎビットで行うため、メモリの使用効率を低下させることなく、また、メモリ自体の容量を大きくすることなく変換を行うことができる。

以下に、本発明の実施の形態について図面を参照して説明する。

図４は、本発明を適用した画像処理装置の一実施の形態の構成を示す図である。画像信号処理部３０は、ＩＰ変換部３１、ＬＰＦ３２、補間フィルタ３３、エンハンサ３４、ビット拡張部３５、メモリ３６、およびメモリ３７から構成されている。

このような構成を有する画像信号処理部３０は、テレビジョン受像機内や、ＳＴＢ（Set Top Box）内などに備えられる。または、テレビジョン受像機とＳＴＢの間に備えられる端末として設けられ、画質の向上をはかるための端末として用いられる。また、ここでは、画像信号処理部３０と称するが、もちろん、この画像信号処理部３０が処理する画像としては、静止画像、動画像を問わず処理することができるものである。

画像信号処理部３０には、画像信号として、１０８０ｉ信号、７２０ｐ信号、４８０ｉ信号、４８０ｐ信号等が入力される。ここで、数値はライン数を表し、「ｉ」はインターレース方式を表し、「ｐ」はプログレッシブ方式を表している。例えば、１０８０ｉ信号は、ライン数が１０８０本でインタレース方式の画像信号を意味している。また例えば、４８０ｐ信号はライン数が４８０本でプログレッシブ方式の画像信号を意味している。

このような異なる方式の信号が、画像信号処理部３０には入力される可能性があるわけだが、ＩＰ変換部３１により、プログレッシブ方式の信号に統一される。ＩＰ変換部３１の“ＩＰ”は、“Interlace-Progressive”の略である。このＩＰ変換部３１は、入力された画像信号が１０８０ｉ信号、４８０ｉ信号等のインタレース方式の画像信号である場合には、その画像信号をプログレッシブ方式の画像信号に変換して出力する。一方、ＩＰ変換部３１は、入力された画像信号が、７２０ｐ信号、４８０ｐ信号等のプログレッシブ方式の画像信号である場合には、その画像信号をそのまま出力する。

ＩＰ変換部３１は、このような処理を実行する上で必要に応じ、メモリ３６に、データを書き込んだり、書き込んだデータを読み出したりする。メモリ３６は、フィールドメモリ、ラインメモリなどと称される場合がある。また、メモリ３６は、例えば、ＳＤＲＡＭ(Synchronous Dynamic random access memory)で構成される。メモリ３７も同様である。

ＩＰ変換部３１から出力された画像信号は、ＬＰＦ３２に供給される。ＬＰＦ３２は、水平または垂直方向の画素数を減らす必要がある場合、折り返し歪みの発生を防止するために、入力された画像信号の水平（垂直）（以下、水平の場合を例に挙げて説明するが、基本的な処理は、垂直の場合も同様である）方向の帯域を制限して出力する。一方、入力された画像信号の水平方向の画素数を増やす必要がある場合、入力された画像信号は、そのまま出力される。

ＬＰＦ３２から出力された画像信号は、補間フィルタ３３に供給される。補間フィルタ３３は、補間位置の画素データを必要に応じて生成する補間処理を行う。この補間フィルタ３３は、水平縮小時には、水平方向の画素数を減らす変換を行う。また、この補間フィルタ３３は、水平拡大時には、画像信号については水平方向の画素数を増やす変換を行う。

補間フィルタ３３には、メモリ３７が接続されている。補間フィルタ３３において補間処理により得られた画素データは、メモリ３７に一時的に蓄積され、その後に所定のタイミングで読み出されて次段（エンハンサ３４）に供給される。

メモリ３６とメモリ３７は、１つのメモリとして構成することも可能である。

補間フィルタ３３から出力された画像信号は、エンハンサ３４に供給される。エンハンサ３４は、水平拡大時には、画像のボケを軽減するため、画像信号の水平方向の高域を強調した画像信号を出力し、水平縮小時には、入力された画像信号をそのまま出力する。

ここまでの各部で行われる処理は、８ビットの画像信号として扱われることにより行われる。また、ここまでの各部で行われる処理は、従来の画像処理部においても行われていた処理である（図１参照）。そして、このような処理を施された８ビットの画像信号は、テレビジョン受像機（ブラウン管、液晶、プラズマテレビジョンなど）に供給された。本実施の形態においては、テレビジョン受像機に供給する前に、ビット拡張部３５による処理がさらに施され、そのビット拡張部３５からの出力が、テレビジョン受像機等に供給されるようにする。

ビット拡張部３５では、入力された８ビットの画像信号を、１０ビットの画像信号に変換する。なお、ここでは、１０ビットに変換されるとして説明するが、１２ビットなど、８ビット以上のビット数に変換する場合においても、本発明を適用できる。また、入力される画像信号は、８ビットであるとして説明するが、８ビット以外の画像信号を扱う場合においても、本発明を適用することができる。

ビット拡張部３５の構成および処理について、以下に説明を加える。

図５は、ビット拡張部３５の第１の実施の形態における構成を示す図である。ビット拡張部３５は、ＬＰＦ５１、減算器５２、加算器５３、まるめ部５４、および、リミッター５５から構成される。ビット拡張部３５内の画像信号の流れを説明することにより、ビット拡張部３５の構成について説明を加える。その後、動作について図１０のフローチャートを参照して説明を加える。

ＬＰＦ５１には、エンハンサ３４から出力された８ビットの画像信号が入力される。ＬＰＦ５１は、入力された画像信号のうち、低周波成分を出力し、高周波成分をカットする。ＬＰＦ５１から出力された画像信号は、減算器５２と加算器５３に供給される。減算器５２には、ＬＰＦ５１を通らない画像信号、すなわち、全周波数成分を含む画像信号も供給される。

減算器５２は、全周波数成分を含む画像信号から、ＬＰＦ５１から出力された低周波成分のみの画像信号を減算する。この結果、減算器５２からは、高周波成分のみの画像信号が出力される。すなわち、ＬＰＦ５１と減算器５２の組み合わせは、ＨＰＦ（High Pass Filter）を構成していることになる。よって、減算器５２の代わりに、ＨＰＦを備える構成としても良い。

なお、ＬＰＦ５１における処理を換言すると、処理対象とされている注目画素に対し、その注目画素を含み、その注目画素の近傍に位置する他の複数の画素を用いて、注目画素の画素値を算出する処理である。簡便な記載をすれば、ＬＰＦ５１は、注目画素との位置関係に応じて、複数の画素値に重み付けを行い、それらの画素値の平均値を取ることにより、注目画素の画素値を決定する処理（平滑化処理）を行う。これに対し、ＨＰＦにおける処理は、平滑化された値と実際の値との差を取るような処理に相当する。

減算器５２から出力された高域成分の画像信号は、まるめ部５４を介して加算器５３に供給される。加算器５３には、ＬＰＦ５１から出力された低域成分の画像信号も供給される。加算器５３は、供給された低域成分の画像信号と高域成分の画像信号を加算することにより、全域成分の画像信号を生成し、リミッター５５に供給する。リミッター５５は、供給された画像信号の範囲が、後段の処理で扱える範囲内の画像信号に納めるための監視および処理を行う。リミッター５５から出力されるのは、１０ビットの画像信号であり、その画像信号は、図示されていないテレビジョン受像機などの表示装置に供給される。

図６は、ＬＰＦ５１の内部構成例を示す図である。ＬＰＦ５１は、トランスバーサルフィルタ（Transversal Filter）で構成することが可能である。図６に示したＬＰＦ５１は、５タップ構成のフィルタを示し、垂直方向に関する画像信号を処理する。ＬＰＦ５１に入力された画像信号は、４個のラインメモリ７１―１乃至７１―４の直列回路に入力される。ラインメモリ７１―１乃至７１―４は、それぞれ１水平期間分の遅延時間を持つ遅延回路を構成している。

ＬＰＦ５１に入力された画像信号とラインメモリ７１―４から出力された画像信号は、加算器７２―１で加算される。また、ラインメモリ７１―１から出力された画像信号とラインメモリ７１―３から出力された画像信号は、加算器７２―２で加算される。

ラインメモリ７１―２から出力された画像信号は、乗算器７３―１で係数Ｃ０が乗算され、加算器７４―１に出力される。加算器７２―２から出力された画像信号は、乗算器７３―２で係数Ｃ１が乗算され、加算器７４−２に出力される。加算器７２―１から出力された画像信号は、乗算器７３―３で係数Ｃ２が乗算され、加算器７４−２に出力される。加算器７４−２は、乗算器７３−２と乗算器７３−３からそれぞれ供給された画像信号を加算し、加算器７４−１に供給する。

加算器７４−１は、乗算器７３−１と加算器７４−２からそれぞれ供給された画像信号を加算する。加算器７４−１から出力された画像信号は、ＬＰＦ５１からの出力信号として、減算器５２と加算器５３（図５）に、それぞれ供給される。

ＬＰＦ５１が水平方向の画像信号を処理する場合、図７に示すように、ラインメモリ７１−１乃至７１−４（図６）をＤラッチ８１−１乃至８１−４に置き換えればよい。その他の構成は、基本的に、図６に示したＬＰＦ５１と同様に構成することができる。

図６または図７に示したＬＰＦ５１の構成において、乗算器７３−１（８３−１）乃至７３−３（８３−３）の係数Ｃ０，Ｃ１，Ｃ２は、係数Ｃ０＝１０／３２、係数Ｃ１＝８／３２、係数Ｃ３＝３／３２と設定される。

図６や図７に示したＬＰＦ５１は、５タップ構成のフィルタとしたが、実際に、ビット拡張部３５（図５）に備えられるＬＰＦ５１は、１１タップ構成のフィルタなど、設計事項（例えば、画像信号処理部３０が備えられる装置に求められる精度、その装置が有する処理能力など）が考慮されて、適宜、変更可能であり、図に示したような５タップ構成のフィルタに限定されるものではない。

ＬＰＦ５１が１１タップ構成のフィルタ（不図示）の場合、ラインメモリ（またはＤラッチ）は、直列に１０個接続される構成にされればよいし、その構成に合わせて、加算器や乗算器も追加された構成とされればよい。また、フィルタの係数は、左右対称に設定されていれば良く、１１タップ構成のフィルタの場合、例えば、その係数は、１，２，５，８，１０，１２，１０，８，５，２，１（ＳＦ＝６４）とされる。

よって、同一の係数が乗算される出力を加算器で加算し、その後、所定の係数を乗算する構成とした場合、例えば、図６（図７）に示したような構成を１１タップ用の構成に変更したフィルタの場合、乗算器により乗算される係数は、係数Ｃ０＝１／６４、係数Ｃ１＝２／６４、係数Ｃ２＝５／６４、係数Ｃ３＝８／６４、係数Ｃ４＝１０／６４、係数Ｃ５＝１２／６４となる。

また、ＬＰＦ５１は、図６と図７にそれぞれ示したようなＬＰＦ５１を、それぞれ別に備える構成とすることにより、水平方向と垂直方向を別々に処理するようにしても良いが、２段構成（２次元的に処理される構成）とされ、１段目で垂直方向、２段目で水平方向（または、その逆でも良い）の画像信号がそれぞれ処理され、２段目の出力が、減算器５２と加算器５３に、それぞれ供給されるようにしても良い。

図８は、まるめ部５４の内部構成例を示す図である。まるめ部５４は、処理部１０１と記憶部１０２から構成されている。処理部１０１は、記憶部１０２に記憶されているテーブルに基づいて、入力された画像信号を処理する。記憶部１０２に記憶されているテーブルは、図９に示すような特性を有するものであり、入力された値と出力される値とが関連付けられているテーブルである。

図９を参照するに、入力された入力値が“−４．０＜入力値＜４．０”を満たす値である場合、出力としては“０”が出力される。入力された値が“４．０”の場合、“１”が出力される。入力は、１０ビット精度であるが、出力は、８ビット精度である。入力としては、―１０２３乃至１０２３までの範囲の値が考えられ、出力としては、―２５５乃至２５５までの範囲の値が考えられる。よって、それらの範囲内で、関連付けがされているテーブル１２１が、記憶部１０２には記憶されている。

ここでは、まるめ部５４は記憶部を有し、その記憶部にテーブル１２１を記憶しているとして説明するが、テーブル１２１を記憶せずに、例えば、入力された値を所定の演算式に代入して出力すべき値を求めるといったような処理を行うプログラムを用意し、そのプログラムに基づいて処理が行われるようにしても良い。

処理部１０１は、このような特性を有するテーブル１２１を参照して、入力された１０ビットの画像信号を８ビットの画像信号に変換して出力する。

ここで、図５に示したビット拡張部３５の処理について、図１０に示したフローチャートと、図１１に示した具体的な数値を参照して説明する。

ステップＳ１１において、ビット拡張部３５に入力された画像信号は、ＬＰＦ５１における処理が施される。ＬＰＦ５１に入力される画像信号は、８ビットであるが、ＬＰＦ５１から出力される画像信号は、１０ビットの信号に変換される。ＬＰＦ５１において低周波成分の信号を出力するために計算が行われわけだが、その計算の結果、発生した端数（小数点以下の数）を２ビットで表現する処理が行われる。よって、小数点前（整数部分）の８ビットと小数点後の２ビットで、合計１０ビットとされる。

例えば、図１１を参照するに、画素値＃１として、“１”という値（「入力」という欄参照）が入力された場合、ＬＰＦ５１からは“４．００”という値（「ＬＰＦ出力」という欄参照）が出力される。また他の例として、画素値＃７として、“１”という値が入力された場合、ＬＰＦ５１からは“５．５０”という値が出力される。このように、入力値として同じ“１”が入力された場合でも、ＬＰＦ５１による処理が施されることにより、異なる値が出力される場合がある。

ＬＰＦ５１から出力された画像信号は、ステップＳ１２において、減算器５２に供給される。減算器５２には、ＬＰＦ５１を介さない信号（すなわち、ビット拡張部３５に入力された信号そのもの）も供給される。上述したように、減算器５２から出力される値は、結果的には、高域成分の信号である。

例えば、図１１を参照するに、画素値＃１として、“１”という値が入力された場合、減算器５２からは“０．００”という値（「ＨＰＦ出力」という欄参照）が出力される。また他の例として、画素値＃７として、“１”という値が入力された場合、減算器５２からは“−１．５０”という値が出力される。このように、入力値として同じ“１”が入力された場合でも、減算器５２による処理が施されることにより、異なる値が出力される場合がある。

ステップＳ１３において、まるめ部５４においてまるめ処理が実行される。まるめ部５４に供給された、減算器５２からの画像信号は、処理部１０１に供給される。処理部１０１は、記憶部１０２に記憶されているテーブル１２１を参照し、供給された画像信号の値に関連付けられている値を読み出し、出力する。

例えば、図１１を参照するに、画素値＃１として、減算器５２から出力された値が“０．００”という値（「ＨＰＦ出力」という欄参照）である場合、まるめ部５４からは“０”という値（「まるめ出力」という欄参照）が出力される。これは、図９を参照するに、処理部１０１に入力された値は、“０．００”であるので、この場合、“−４．０＜入力値＜４．０”の範囲に属していると判断され、“０”という値が読み出され、出力される。

このように、ＬＰＦ５１や減算器５２から出力される値は、入力された値より詳細な値に変更されるため、結果として、階調が増加する方向に変更されることになる。

ステップＳ１４において、加算器５３による加算処理が実行される。加算器５３には、ＬＰＦ５１からの画像信号とまるめ部５４からの画像信号が供給されるが、加算器５３は、供給された２つの画像信号を加算することにより、１つの画像信号を生成する。

例えば、図１１を参照するに、画素値＃１として、ＬＰＦ５１から出力された値が“４．００”であり、まるめ部５４から出力された値が“０．００”である場合、加算器５３からは“４．００”という値（「出力」という欄参照。ただし、図１１に示したのは、リミッター５５から出力される値である）が出力される。この加算器５３から出力される画像信号は、１０ビットの画像信号とされている。

ステップＳ１５において、リミッター５５における処理が実行される。リミッター５５は、入力された画像信号が、処理できる値内に収まるようにするための処理を実行する。

図１１を再度参照するに、例えば、画素値＃７として、ＬＰＦ５１から出力された値が“５．５０”であり、まるめ部５４から出力された値が“０．００”である場合、加算器５３からは“５．５０”という値が出力されるが、リミッター５５からは“６”という値（「出力」という欄参照）が出力される。また、画素値＃８として、ＬＰＦ５１から出力された値が“６．２５”であり、まるめ部５４から出力された値が“０．００”である場合、加算器５３からは“６．２５”という値が出力されるが、リミッター５５からは“６”という値が出力される。

すなわち、リミッター５５では、入力された値に対して、小数点以下を四捨五入する。また、例えば、図１１には図示していないが、ＬＰＦ５１から出力された値が“１０２３．５５”であり、まるめ部５４から出力された値が“０．００”である場合、加算器５３からは“１０２３．５５”という値が出力されるが、リミッター５５からは“１０２４”という値が出力されることになる。しかしながら、１０ビットの画像信号としては、０乃至１０２３の１０２４（＝２の１０乗）個の値しか取らないので、“１０２４”という値を計算上出力することになっても、リミットをかけて、“１０２３”という値を出力するように制御が行われる。

また、実際には、１０ビットの画像信号であっても１０２４階調を用いることはなく、両端に余裕を持たせ、例えば、６４乃至９６０階調ぐらいを用いることが多いと考えられる。このように設定されている場合、加算器５３から出力された値が四捨五入された結果、“６４”以下になってしまうと判断されるときには、“６４”が出力され、“９６０”以上になってしまうと判断されるときには、“９６０”が出力されるように、リミッター５５は制御を行う。

このようにして、ビット拡張部３５は、入力された８ビットの画像信号を、１０ビットの画像信号に変換して出力する。

図１２は、図１１に示した具体的な数値をグラフとして表した図である。図１２上段は、ビット変換部３５に入力される信号を示し、図１２の下段は、ビット変換部３５から出力される信号を示す。図１２の下側に“＃１ ＃２ ・・・ ＃２０”との記載をしたが、それらは、図１１の“＃１ ＃２ ・・・ ＃２０”と対応付けがなされている。例えば、図１２において、画素値＃１は、入力が“１”であり、出力が“４”であり、それらの数値（階調）に対応する位置に点が記載されている。

図１１を参照するに、画素値＃１乃至＃２０のそれぞれに対応する入力は、値として１、２、または３のうちのいづれかであることが分かる。また出力は、４、５、６、７、８、９、１０、１１、１２のうちのいずれかであることが分かる。

図１２の上段（「入力」のグラフ）を参照するに、１、２、３と段階的に階調が変化していることがわかる。このような画像は、傾きの緩やかなランプ信号であると判断できる。このような画像信号がビット変換部３５により１０ビットの画像信号に変換されると、図１２の下段（「出力」のグラフ）に示したように、４、５、６、７、８、９、１０、１１、１２と順に変化することが分かる。

図１２の上段に示したように階調が変化する場合、すなわち、８ビットの画像信号の場合、１階調の変化の幅は、１／２５６である。これに対し、図１２の下段に示したように階調が変化する場合、すなわち、１０ビットの画像信号の場合、１階調の変化は、１／１０２４である。図１２の上段に示した図と下段に示した図を見比べるに、下段に示した方が１階調あたりの変化の幅が小さいため、上段に示した方より、滑らかに変化していることがわかる。図示はしていないが、仮に、点同士を線で結んだ場合、図１２の上段の図（入力に関する図）は、矩形（段階的に）なるが、図１２の下段の図（出力に関する図）は、比較的滑らかな曲線に近い形で変化することになる。

よって、８ビットの画像信号を１０ビットの画像信号に変換することにより、その１０ビットの画像信号に基づく画像は、仮に、その画像が、色が滑らかに変化するような画像でも、量子化ノイズなどの影響による線などが見えない（見えづらい）ものとすることができ、全体として、綺麗に色が変化する画像をユーザ側に提供することが可能となる。

ここで、図５に示したビット拡張部３５に、図１３、図１４に示したような信号を入力したときの出力について説明する。図１３と図１４は、それぞれ、図１１と図１２と同様な記載の仕方をしており、その見方は同じである。ただし、図１３においては、「まるめ加算値」という欄が設けられている。図１３に、この「まるめ加算値」という欄を設けたのは、以下の理由からである。

まるめ部５４（図５）は、８ビットのデータを出力するが、加算器５３では、１０ビットで処理が行われる。そのため、加算器５３に供給されるデータは、１０ビットのデータに変換される必要がある。その変換は、まるめ部５４で行っても良いし（この場合、まるめ部５４からは１０ビットのデータが出力されることになる）、加算器５３側で行っても良い。または、図示はしていないが、まるめ部５４と加算器５３との間に、ビット変換部を設け、８ビットのデータが１０ビットのデータに変換されるようにしても良い。

「まるめ加算値」の欄には、このようなビット変換された１０ビットのデータの値を記載してある。図１１に示した表には、「まるめ加算値」という欄は設けていないが、これは、「まるめ出力」の欄の値が全て“０”であるので、「まるめ加算値」の値も“０”と同一の値となるため、単に「まるめ加算値」の欄を省略しただけである。他の同様の表を示した図面においても、同様に、必要がなければ、「まるめ加算値」の欄を省略してある。

図１３を参照するに、画素値＃１乃至＃９までは、“２”と“３”の繰り返しであり、画素値＃１０乃至＃２０までは、“２”と“４”の繰り返しである。このような信号、すなわち、所定の範囲内で２値が交互に入れ替わるような信号（図１４参照）に基づく画像は、上述したような滑らかに色が変化する画像と異なり、例えば、白と黒が繰り返されるような縞模様（線でなく点の可能性もある）の画像となる。

このような信号が入力されたときのビット拡張部３５からの出力は、図１３を参照するに、画素値＃１乃至＃８までは“１０”であり、画素値＃９乃至＃１３までは“１１”と“１５”が繰り返され、画素値＃１４乃至＃２０までは、“８”と“１６”が繰り返される。すなわち、この場合、例えば白と黒が繰り返されるような縞模様（点模様）ではなく、ちぐはぐな変化をする画像となってしまう。これは、入力された画像信号のもととなった縞模様（点模様）画像を、忠実に再現することができないことを意味し、歪みが発生する可能性があることを意味する。

すなわち、図５に示したビット拡張部３５の構成は、滑らかに色が変化するような画像に対しては、そのような変化を忠実に再現する構成としては適しているが、２値の値が交互にあらわれるような信号（１／０交番信号）の場合には必ずしも適しる構成であるとは言えない。

そこで、そのようなことを改善するためのビット拡張部３５について説明する。図１５は、第２の実施の形態におけるビット拡張部３５の内部構成例を示す図である。図１５に示したビット拡張部３５は、ＬＰＦ１５１、減算器１５２、加算器１５３、非線形特性処理部１５４、および、リミッター１５５から構成されている。

ＬＰＦ１５１には、エンハンサ３４（図４）から出力された８ビットの画像信号が入力される。ＬＰＦ１５１は、入力された画像信号のうち、低周波成分を抽出し、出力する。ＬＰＦ１５１から出力された画像信号は、減算器１５２と加算器１５３に供給される。減算器１５２には、ＬＰＦ１５１を通らない画像信号、すなわち、全周波数成分を含む画像信号も供給される。

減算器１５２は、全周波数成分を含む画像信号から、ＬＰＦ１５１から出力された低周波成分のみの画像信号を減算する。この結果、減算器１５２からは、高周波成分のみの画像信号が出力される。すなわち、ＬＰＦ１５１と減算器１５２の組み合わせは、ＨＰＦ（High Pass Filter）を構成していることになる。よって、減算器１５２の代わりに、ＨＰＦを備える構成としても良い。

減算器１５２から出力された高域成分の画像信号は、非線形特性処理部１５４を介して加算器１５３に供給される。加算器１５３には、ＬＰＦ１５１から出力された低域成分の画像信号も供給される。加算器１５３は、供給された低域成分の画像信号と高域成分の画像信号を加算することにより、全域成分の画像信号を生成し、リミッター１５５に供給する。リミッター１５５は、供給された画像信号の範囲が、後段の処理で扱える範囲内の画像信号に納めるための監視および処理を行う。リミッター１５５から出力されるのは、１０ビットの画像信号であり、その画像信号は、図示されていないテレビジョン受像機などの表示装置に供給される。

ＬＰＦ１５１は、図６または図７に示したＬＰＦ５１と同一の構成とすることができる。また、図６、図７を参照して説明したように、１１タップ構成のフィルタとして構成するなど、適宜変更可能なフィルタである。

図１５に示したビット拡張部３５の処理について説明するが、その処理は、図１０に示したフローチャートの処理に従って行われる。図１０に示したフローチャートの処理については既に説明したので、適宜省略して説明する。

ステップＳ１１において、ＬＰＦ１５１に８ビットの画像信号が入力され、ＬＰＦ１５１における処理が実行される。このＬＰＦ１５１の処理により、８ビットの画像信号は、１０ビットの画像信号に変換され、減算器１５２と加算器１５３に供給される。ステップＳ１２において、減算器１５２は、８ビットの画像信号から１０ビットの画像信号を減算し、１３ビットの高周波成分のみの画像信号を生成し、出力する。

なお、ここでは、減算器１５２からは１３ビットの画像信号が出力されるとしたが、１３ビットではなく、１０ビットなど他のビット数の画像信号でも良い。１３ビットなどとビット数を高くすることにより、より精度の高い処理を行うことが可能となる。

ステップＳ１３において、非線形特性処理部１５４による処理が実行される。非線形特性処理部１５４は、図１６に示すような特性を有するテーブル１７１を記憶している。この非線形特性処理部１５４も、図８に示したまるめ部５４と同様の構成、すなわち、処理部１０１と記憶部１０２から構成されるようにすることができ、記憶部１０２に図１６に示したような特性を有するテーブル１７１が記憶される。

図１６を参照するに、入力された入力値が“−２．０＜入力値＜２．０”を満たす値である場合、出力としては“０”が出力される。入力された値が“２．０”の場合、“２”が出力される。また、入力された値が“２．６”の場合、“３”が出力される。このように、“−２．０＜入力値＜２．０”の範囲内の値が入力された場合、“０”が出力され、“２”以上または“―２”以下の値が入力された場合、五捨六入（もちろん四捨五入などでも良い）された値が出力される。

ここでは、非線形特性処理部１５４は記憶部を有し、その記憶部にテーブル１７１を記憶しているとして説明するが、テーブル１７１を記憶せずに、例えば、入力された値を所定の演算式に代入して出力すべき値を求めるといったような処理を行うプログラムを用意し、そのプログラムに基づいて処理が行われるようにしても良い。

非線形特性処理部１５４からは、１１ビットの画像信号が加算器１５３に対して出力される。もちろんこの場合も、１１ビットに限定されているわけではないので、他のビット数でも良い。

加算器１５３は、ステップＳ１４において、ＬＰＦ１５１からの信号と非線形特性処理部１５４からの信号を加算し、１つの画像信号を生成し、リミッター１５５に出力する。リミッター１５５は、ステップＳ１５において、処理を実行するが、その処理は、既にステップＳ１５の処理として説明した場合と同様に行われるので、ここでは、その説明を省略する。

リミッター１５５からの信号は、１０ビットの画像信号である。

ここで、図１５に示したビット拡張部３５の処理について、図１７に示した具体的な数値と、その数値をグラフ化した図１８を参照して説明をさらに加える。

例えば、図１７を参照するに、画素値＃１として、“１”という値（「入力」という欄参照）が入力された場合、ＬＰＦ１５１からは“４．００”という値（「ＬＰＦ出力」という欄参照）が出力される。そして、減算器１５２からは“０．００”という値（「ＨＰＦの出力」という欄参照）が出力される。さらに、非線形特性処理部１５４からは、“０”という値（「非線型特性出力」という欄参照）が出力される。このような値が各部から出力された場合、最終的にリミッター１５５からは、“４”という値が出力される。

また、図１８に示したグラフを見るに、入力された値のグラフは、段階的に数値が上がる矩形波に近い形となっているが、出力される値のグラフは、比較的滑らかな曲線に近い形となっている。

図１７に示した入力と出力の具体的な数値の関係を見るに、それらの数値は、図１１に示した数値と同様である。また、図１８に示したグラフは、図１２に示したグラフと同様である。すなわち、図１５に示したビット拡張部３５でビット変換することにより、色が滑らかに変化するような画像でも、量子化ノイズなどの影響を受けず、全体として、綺麗に色が変化する画像となる。

次に、１／０交番信号がビット拡張部３５に入力された場合について、図１９と図２０を参照して説明する。図１９は、図１７と同じように記載した表であり、ビット変換部３５に入力される値と、出力される値との関係を具体的な数値で示した表であり、図２０は、図１８と同じように記載したグラフであり、図１９に示した具体的な数値を、対応する階調毎に点として示したグラフである。

先に、図２０を参照するが、この図２０の上段に示したグラフは、図１４の上段に示したグラフと同一である。図１４に関しては、図１３を合わせて参照しながら既に説明したが、図５に示した構成のビット変換部３５に、１／０交番信号が入力された場合、出力される信号は、そのような１／０交番信号ではなく、従って、入力された信号を忠実に再現することができない可能性があるとして説明した。

しかしながら、図１５に示したビット拡張部３５によりビット変換を行えば、図２０の下段に示したように、出力されるのは１／０交番信号とすることができる。すなわち、図２０の上段に示したグラフと下段に示したグラフは、同じ形（同じ１／０交番信号の形）になっている。このことを図１９を参照して確認する。ビット拡張部３５に入力される画素値＃１乃至＃９までは、“２”と“３”の繰り返しであり、画素値＃１０乃至＃２０までは、“２”と“４”の繰り返しである（「入力」という欄参照）。

図１９の「出力」という欄を参照するに、画素値＃１乃至＃７までは、“８”と“１２”の繰り返しであり、画素値＃９乃至＃２０までは、“８”と“１６”の繰り返しである。この結果から、入力された“２”と“３”が繰り返される１／０交番信号は、“８”と“１２”が繰り返される１／０交番信号に変換され、入力された“２”と“４”が繰り返される１／０交番信号は、“８”と“１６”が繰り返される１／０交番信号に変換されることが分かる。

このことから、図１５に示したビット拡張部３５を用いれば、１／０交番信号のような、所定の範囲内で２値の値が繰り返されるような信号に対してビット変換を施しても、その１／０交番信号を歪ませることなく忠実に再現できる。

このように、本発明においては、通常８ビット（ｍビット）で行われている処理の後に、その処理が施された信号を高域と低域に分離し、低域側の信号のビット長を多くすることで、１０ビット（ｎビット）の信号を出力することができ、結果として、高画質の画像をユーザに提供することが可能となる。また、ビット長を増やした後に、高域だけ、コアリング（coring）処理（上述した実施の形態においては、例えば、図１６を参照して説明したように、中心付近（―２．０から２．０まで）の値の入力を“０”として出力する処理）を行うことで、さらにさまざまな画像に対して良好な画像を提供することができるビット変換を行うことが可能となる。

このように、本発明における画像信号処理部３０は、８ビットの画像信号を１０ビットの画像信号に変換して出力するため、高画質な画像をユーザに提供することが可能となる。この際、基本的な処理は、８ビットで行うため、メモリを効率良く利用することができ、メモリの容量を大きくすることなく処理を行うことが可能となる。例えば、メモリ３６やメモリ３７（図４）を、ビット拡張部３５のＬＰＦ５１（１５１）のラインメモリとして用いる構成とすることも可能であり、そのようにすれば、さらに、メモリの高効率化をはかることが可能となり、メモリ自体の容量も抑えることが可能となる。

また、本発明における画像信号処理部３０から出力されるのは、１０ビットの画像信号なので、その画像は、滑らかに色が変化するような画像であっても、急激に色合いが変化するような画像であっても、もちろん、そのような色の変化自体には特徴のないような画像であっても、ユーザが不快に感じるような、あってはならない線やむらなどが発生するようなことを防ぐことができ、高画質な画像をユーザに提供することが可能となる。

上述した一連の処理は、それぞれの機能を有するハードウェアにより実行させることもできるが、ソフトウェアによりその一部または全てを実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。記録媒体について説明する前に、簡便に、パーソナルコンピュータについて説明する。

図２１は、汎用のパーソナルコンピュータの内部構成例を示す図である。パーソナルコンピュータのＣＰＵ（Central Processing Unit）２０１は、ＲＯＭ（Read Only Memory）２０２に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Random Access Memory）２０３には、ＣＰＵ２０１が各種の処理を実行する上において必要なデータやプログラムなどが適宜記憶される。入出力インタフェース２０５は、キーボードやマウスから構成される入力部２０６が接続され、入力部２０６に入力された信号をＣＰＵ２０１に出力する。また、入出力インタフェース２０５には、ディスプレイやスピーカなどから構成される出力部２０７も接続されている。

さらに、入出力インタフェース２０５には、ハードディスクなどから構成される記憶部２０８、および、インターネットなどのネットワークを介して他の装置とデータの授受を行う通信部２０９も接続されている。ドライブ２１０は、磁気ディスク２２１、光ディスク２２２、光磁気ディスク２２３、半導体メモリ２２４などの記録媒体からデータを読み出したり、データを書き込んだりするときに用いられる。

記録媒体は、図２１に示すように、パーソナルコンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク２２１（フレキシブルディスクを含む）、光ディスク２２２（CD-ROM（Compact Disc-Read Only Memory），DVD（Digital Versatile Disc）を含む）、光磁気ディスク２２３（MD（Mini-Disc）（登録商標）を含む）、若しくは半導体メモリ２２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているＲＯＭ２０２や記憶部２０８が含まれるハードディスクなどで構成される。

なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

従来の画像処理部の一例の構成を示す図である。 輝度値の階調について説明するための図である。 輝度値の変化により発生する不要な線について説明するための図である。 本発明を適用した画像処理部の一実施の形態の構成を示す図である。 ビット変換部の内部構成例を示す図である。 LPFの内部構成例を示す図である。 LPFの内部構成例を示す図である。 まるめ部の内部構成例を示す図である。 記憶部に記憶されるテーブルの特性について説明するための図である。 ビット変換部の処理について説明するフローチャートである。 ビット変換部に入力される値と出力される値を具体的に示した図である。 ビット変換部に入力される値と出力される値をグラフにした図である。 ビット変換部に入力される値と出力される値を具体的に示した図である。 ビット変換部に入力される値と出力される値をグラフにした図である。 ビット変換部の他の内部構成例を示す図である。 記憶部に記憶されるテーブルの特性について説明するための図である。 ビット変換部に入力される値と出力される値を具体的に示した図である。 ビット変換部に入力される値と出力される値をグラフにした図である。 ビット変換部に入力される値と出力される値を具体的に示した図である。 ビット変換部に入力される値と出力される値をグラフにした図である。 媒体を説明する図である。

符号の説明

３０ 画像処理部， ３１ ＩＰ変換部， ３２ ＬＰＦ， ３３ 補間フィルタ， ３４ エンハンサ， ３５ ビット拡張部， ３６，３７ メモリ， ５１ ＬＰＦ， ５２ 減算器， ５３ 加算器， ５４ まるめ部， ５５ リミッター， １２１ テーブル， １５１ ＬＰＦ， １５２ 減算器， １５３ 加算器， １５４ 非線形特性処理部， １５５ リミッター， １７１ テーブル

Claims (5)

1. ｎビットの画像信号を低域と高域に分離する分離手段と、
   前記分離手段で分離された画像信号のうち、前記低域の画像信号を前記ｎビットよりも大きいｍビットの画像信号に変換し、前記高域の画像信号を前記ｎビットおよびｍビットよりも大きいｐビットの画像信号に変換する変換手段と、
   前記変換手段で変換された画像信号のうち、前記ｐビットの高域の画像信号を非線形処理し、前記ｐビットよりも小さく、かつ前記ｍビットよりも大きいｑビットの画像信号にして出力する非線形処理手段と、
   前記変換手段により変換された前記ｍビットの画像信号と、前記非線形処理手段により出力された前記ｑビットの画像信号を加算し、ｍビットの画像信号を生成する生成手段と
   を備える画像処理装置。
2. 前記非線形処理手段が行う処理の特性は、前記ｍビットの精度で、±２未満のみを切り捨てるものである
   請求項１に記載の画像処理装置。
3. 入力された画像信号を記憶する記憶手段と、前記記憶手段記憶への書き込みや読み出しを制御する制御手段を少なくとも備える画像処理装置の画像処理方法であって、
   ｎビットの画像信号を低域と高域に分離する分離ステップと、
   前記分離ステップの処理で分離された画像信号のうち、前記低域の画像信号を前記ｎビットよりも大きいｍビットの画像信号に変換し、前記高域の画像信号を前記ｎビットおよびｍビットよりも大きいｐビットの画像信号に変換する変換ステップと、
   前記変換ステップの処理で変換された画像信号のうち、前記ｐビットの高域の画像信号を非線形処理し、前記ｐビットよりも小さく、かつ前記ｍビットよりも大きいｑビットの画像信号にして出力する非線形処理ステップと、
   前記変換ステップの処理により変換された前記ｍビットの画像信号と、前記非線形処理ステップの処理により出力された前記ｑビットの画像信号を加算し、ｍビットの画像信号を生成する生成ステップと
   を含む画像処理方法。
4. 入力された画像信号を記憶する記憶手段と、前記記憶手段記憶への書き込みや読み出しを制御する制御手段を少なくとも備える画像処理装置を制御するコンピュータのプログラムであって、
   ｎビットの画像信号を低域と高域に分離する分離ステップと、
   前記分離ステップの処理で分離された画像信号のうち、前記低域の画像信号を前記ｎビットよりも大きいｍビットの画像信号に変換し、前記高域の画像信号を前記ｎビットおよびｍビットよりも大きいｐビットの画像信号に変換する変換ステップと、
   前記変換ステップの処理で変換された画像信号のうち、前記ｐビットの高域の画像信号を非線形処理し、前記ｐビットよりも小さく、かつ前記ｍビットよりも大きいｑビットの画像信号にして出力する非線形処理ステップと、
   前記変換ステップの処理により変換された前記ｍビットの画像信号と、前記非線形処理ステップの処理により出力された前記ｑビットの画像信号を加算し、ｍビットの画像信号を生成する生成ステップと
   を含むプログラム。
5. 請求項４に記載のプログラムを記録している
   記録媒体。

Images