JP4930845B2 - 画像処理装置、画像処理方法、および画像処理用プログラム - Google Patents

Description

本発明は、画像データに対して色変換を行う画像処理装置、画像処理方法、および画像処理用プログラムに関する。

液晶モニタ等の画像表示装置では、低ビットレートで多階調表示を行うために、ディザ処理を行って疑似階調表示をする場合が多い。液晶モニタでは、表示色の調整のため、コントラスト調整、彩度調整、色相調整、γ変換等の色変換が行われるが、ディザ処理が行われた信号に対して、そのまま色変換を行うと、隣接フレーム間や隣接画素間のデータ差分が大きくなり、画面ちらつきや表示階調の劣化等の画質劣化が発生する場合がある。

ディザ処理が行われた信号（画像データ）に対する変換処理による画質低下の防止に関連し、例えば、特許文献１には、二値情報で表現されているディザ画像を一旦濃淡画像情報に変換し、その濃淡画像情報に対して拡大または縮小の加工を行い、加工後の情報を再びディザパターン（二値表現）する旨が記載されている。

特開平４−２９００６７号公報

しかしながら、特許文献１に記載のディザ画像データ加工方式は、イメージリーダやハンディスキャナから画像を読みとる際に受け取る二値情報で表現されたディザ画像データに対する加工方式であって、必ずディザ処理が行われている信号を処理対象としている。

ここで、ディザ処理について簡単に説明する。本発明において、ディザ処理とは、１つのデータで表現できる色数（表示階調数。カラーの場合は色彩要素毎の階調の違い等によっても区別される表示階調数）よりも多くの色があるように見せるために画像データを変換するデータ変換処理をいう。従って、所定領域内の各画素（例えば、２×２画素）の表示階調（表示色）を調整し、その領域内全体において中間調（中間色）を表現するためのデータ変換処理（以下、空間的ディザ処理という。）だけでなく、フレーム毎にある画素の表示階調を調整し、その画素において中間調を表現するためのデータ変換処理（以下、時間的ディザ処理という。）を含む。

ところで、輪郭部分がずれて見える等の弊害が生じることを理由に、例えば、動画に対してはディザ処理をしないようにしている画像出力装置もある。そのような画像出力装置から画像データが入力される場合に、無条件に画像データに対しディザ処理の復元を行えば、画像データが本来意図している表示階調とは異なる表示階調に変換されてしまうことになる。なお、このような問題は、例えば、パーソナルコンピュータ等の画像出力装置から画像データが入力される液晶モニタ等の画像表示装置のように、不特定の画像データ（生成元が特定できない画像データ）が入力される画像処理装置においては必然的に発生する問題である。

そこで、本発明は、ディザ処理が施されているか否かが明らかでない画像データが入力される画像処理装置においても、的確に、ディザ処理が行われた画像データに対する変換処理による画質劣化を防止することができる画像処理装置、画像処理方法、および画像処理用プログラムを提供することを目的とする。

本発明による画像処理装置は、フレームレートコントロールされた所定のビット幅の入力信号によって入力される画像データであって１画像データが所定画素数の静止画におけるある１画素の表示階調値を示すよう各画素と対応づけられた画像データに対して色変換を行う画像処理装置であって、入力される画像データを少なくとも所定フレーム数分保持する記憶部と、入力される各画像データに対して、時間的ディザ処理の復元対象とするか否かを判別して、復元対象と判別された画像データに対して、当該画像データを、時間的ディザ処理が施されたことにより入力信号のビット幅で表現可能な表示階調数よりも多階調の表示階調を疑似表現している画像データとみなして、当該画像データが疑似表現している表示階調を示す画像データであって入力信号のビット幅よりも高ビット幅の画像データである高ビット幅画像データに変換する処理である時間的ディザ処理の復元を行うディザ復元部と、ディザ復元部による時間的ディザ処理の復元によって得られる高ビット幅画像データに対して、色変換を行う色変換部と、色変換部による色変換後の高ビット幅画像データに対して、時間的ディザ処理を施すことにより、当該高ビット幅画像データが示している表示階調を疑似表現する入力信号と同じビット幅の画像データに変換する処理である再ディザ処理を行うディザ処理部とを備え、ディザ復元部は、入力される画像データが構成する所定画素数の静止画における各画素について、各画素毎に、記憶部に保持されている画像データを用いて算出される当該画素の現フレームを含む過去の所定フレーム数分のフレーム間における表示階調の変化量に基づいて、現フレームでの当該画素に対応する画像データを時間的ディザ処理の復元対象とするか否かを判別するディザ処理対象判別手段と、ディザ復元対象判別手段による判別の結果に応じて、復元対象とされた画素に対応する画像データに対し、当該画像データおよび記憶部に記憶されている画像データのうち当該画像データが対応する画素に対応づけられた過去のフレームの画像データに基づき、当該画像データが画素において疑似表現している表示階調を示す高ビット幅画像データに変換する時間的ディザ処理の復元を行うディザ復元手段とを含むことを特徴とする。
また、本発明による画像処理装置は、所定のビット幅の入力信号によって入力される画像データであって１画像データが所定画素数の静止画におけるある１画素の表示階調値を示すよう各画素と対応づけられた画像データに対して色変換を行う画像処理装置であって、入力される画像データを少なくとも所定ライン数分保持する記憶部と、入力される各画像データに対して、空間的ディザ処理の復元対象とするか否かを判別して、復元対象と判別された画像データに対して、当該画像データを、空間的ディザ処理が施されたことにより入力信号のビット幅で表現可能な表示階調数よりも多階調の表示階調を疑似表現している画像データとみなして、当該画像データが疑似表現している表示階調を示す画像データであって入力信号のビット幅よりも高ビット幅の画像データである高ビット幅画像データに変換する処理である空間的ディザ処理の復元を行うディザ復元部と、ディザ復元部による空間的ディザ処理の復元によって得られる高ビット幅の画像データに対して、色変換を行う色変換部と、色変換部による色変換後の高ビット幅画像データに対して、空間的ディザ処理を施すことにより、当該高ビット幅画像データが示している表示階調を疑似表現する入力信号と同じビット幅の画像データに変換する処理である再ディザ処理を行うディザ処理部とを備え、ディザ復元部は、入力される画像データが構成する所定画素数の静止画における各画素について、当該画素を含む所定の領域毎に、記憶部に保持されている画像データを用いて算出される当該領域内の画素間における表示階調の変化量に基づいて、当該領域内の各画素に対応する画像データを空間的ディザ処理の復元対象とするか否かを判別するディザ処理対象判別手段と、ディザ復元対象判別手段による判別の結果に応じて、復元対象とされた領域内の各画素に対応する画像データに対し、記憶部に記憶されている画像データのうち領域内の各画素に対応づけられた画像データに基づき、当該画像データが領域内において疑似表現している表示階調を示す高ビット幅画像データに変換する空間的ディザ処理の復元を行うディザ復元手段とを含むことを特徴とする。

また、本発明による画像処理方法は、フレームレートコントロールされた所定のビット幅の入力信号によって入力される画像データであって１画像データが所定画素数の静止画におけるある１画素の表示階調値を示すよう各画素と対応づけられた画像データに対して色変換を行うための画像処理方法であって、入力される画像データを少なくとも所定フレーム数分保持し、入力される画像データが構成する所定画素数の静止画における各画素について、各画素毎に、保持されている画像データを用いて算出される当該画素の現フレームを含む過去の所定フレーム数分のフレーム間における表示階調の変化量に基づいて、現フレームでの当該画素に対応する画像データを時間的ディザ処理の復元対象とするか否かを判別し、復元対象とされた画素に対応する画像データに対し、当該画像データおよび保持されている画像データのうち当該画像データが対応する画素に対応づけられた過去のフレームの画像データに基づき、当該画像データを、時間的ディザ処理が施されたことにより入力信号のビット幅で表現可能な表示階調数よりも多階調の表示階調を疑似表現している画像データとみなして、当該画像データが画素において疑似表現している表示階調を示す画像データであって入力信号のビット幅よりも高ビット幅の画像データである高ビット幅画像データに変換する処理である時間的ディザ処理の復元を行い、時間的ディザ処理の復元によって得られる高ビット幅画像データに対して、色変換を行い、色変換後の高ビット幅画像データに対して、時間的ディザ処理を施すことにより、当該高ビット幅画像データが示している表示階調を疑似表現する入力信号と同じビット幅の画像データに変換する処理である再ディザ処理を行うことを特徴とする。
また、本発明による画像処理方法は、所定のビット幅の入力信号によって入力される画像データであって１画像データが所定画素数の静止画におけるある１画素の表示階調値を示すよう各画素と対応づけられた画像データに対して色変換を行うための画像処理方法であって、入力される画像データを少なくとも所定ライン数分保持し、入力される画像データが構成する所定画素数の静止画における各画素について、当該画素を含む所定の領域毎に、保持されている画像データを用いて算出される当該領域内の画素間における表示階調の変化量に基づいて、当該領域内の各画素に対応する画像データを空間的ディザ処理の復元対象とするか否かを判別し、復元対象とされた領域内の各画素に対応する画像データに対し、保持されている画像データのうち領域内の各画素に対応づけられた画像データに基づき、当該画像データを、空間的ディザ処理が施されたことにより入力信号のビット幅で表現可能な表示階調数よりも多階調の表示階調を疑似表現している画像データとみなして、当該画像データが領域内において疑似表現している表示階調を示す画像データであって入力信号のビット幅よりも高ビット幅の画像データである高ビット幅画像データに変換する処理である空間的ディザ処理の復元を行い、空間的ディザ処理の復元によって得られる高ビット幅画像データに対して、色変換を行い、色変換後の高ビット幅の画像データに対して、空間的ディザ処理を施すことにより、当該高ビット幅画像データが示している表示階調を疑似表現する入力信号と同じビット幅の画像データに変換する処理である再ディザ処理を行うことを特徴とする。

また、本発明による画像処理用プログラムは、フレームレートコントロールされた所定のビット幅の入力信号によって入力される画像データであって１画像データが所定画素数の静止画におけるある１画素の表示階調値を示すよう各画素と対応づけられた画像データに対して色変換を行うための画像処理用プログラムであって、入力される画像データを少なくとも所定フレーム数分保持する記憶部を備えたコンピュータに、入力される画像データが構成する所定画素数の静止画における各画素について、各画素毎に、保持されている画像データを用いて算出される当該画素の現フレームを含む過去の所定フレーム数分のフレーム間における表示階調の変化量に基づいて、現フレームでの当該画素に対応する画像データをディザ処理の復元対象とするか否かを判別し、復元対象とされた画素に対応する画像データに対し、当該画像データおよび気億部に記憶されている画像データのうち当該画像データが対応する画素に対応づけられた過去のフレームの画像データに基づき、当該画像データを、時間的ディザ処理が施されたことにより入力信号のビット幅で表現可能な表示階調数よりも多階調の表示階調を疑似表現している画像データとみなして、当該画像データが画素において疑似表現している表示階調を示す画像データであって入力信号のビット幅よりも高ビット幅の画像データである高ビット幅画像データに変換する処理である時間的ディザ処理の復元を行う復元処理、復元処理で得られる高ビット幅画像データに対して、色変換を行う色変換処理、および色変換後の高ビット幅画像データに対し、時間的ディザ処理を施すことにより、当該高ビット幅画像データが示している表示階調を疑似表現する入力信号と同じビット幅の画像データに変換する処理である再ディザ処理を行う再ディザ実行処理を実行させることを特徴とする。
また、本発明による画像処理用プログラムは、所定のビット幅の入力信号によって入力される画像データであって１画像データが所定画素数の静止画におけるある１画素の表示階調値を示すよう各画素と対応づけられた画像データに対して色変換を行うための画像処理用プログラムであって、入力される画像データを少なくとも所定ライン数分保持する記憶部を備えたコンピュータに、入力される画像データが構成する所定画素数の静止画における各画素について、当該画素を含む所定の領域毎に、保持されている画像データを用いて算出される当該画素のフレーム間における表示階調の変化量または当該画素を含む所定の領域内の画素間における表示階調の変化量に基づいて、当該領域内の各画素に対応する画像データをディザ処理の復元対象とするか否かを判別し、復元対象とされた領域内の各画素に対応する画像データに対し、保持されている画像データのうち領域内の各画素に対応づけられた画像データに基づき、当該画像データを、空間的ディザ処理が施されたことにより入力信号のビット幅で表現可能な表示階調数よりも多階調の表示階調を疑似表現している画像データとみなして、当該画像データが領域内において疑似表現している表示階調を示す画像データであって入力信号のビット幅よりも高ビット幅の画像データである高ビット幅画像データに変換する処理である空間的ディザ処理の復元を行う復元処理、復元処理で得られる高ビット幅画像データに対して、色変換を行う色変換処理、および色変換後の高ビット幅画像データに対して、空間的ディザ処理を施すことにより、当該高ビット幅画像データが示している表示階調を疑似表現するを疑似表現する入力信号と同じビット幅の画像データに変換する処理である再ディザ処理を行う再ディザ実行処理を実行させることを特徴とする。

本発明によれば、入力信号におけるフレーム間における表示階調の変化量によって時間的ディザ処理を復元するか否かを判断した上で、必要に応じて時間的ディザ処理を復元してから色変換処理を行い、さらに色変換後に再度時間的ディザ処理を行うので、入力される画像データにおいてされる時間的ディザ処理が選択的な処理であって、時間的ディザ処理が施されるか否かが明らかでなくても、的確に、時間的ディザ処理が行われた画像データに対する変換処理による画質劣化を防止することができる。また、本発明によれば、入力信号における画素間における表示階調の変化量によって空間的ディザ処理を復元するか否かを判断した上で、必要に応じて空間的ディザ処理を復元してから色変換処理を行い、さらに色変換後に再度空間的ディザ処理を行うので、入力される画像データにおいてされる空間的ディザ処理が選択的な処理であって、空間的ディザ処理が施されるか否かが明らかでなくても、的確に、空間的ディザ処理が行われた画像データに対する変換処理による画質劣化を防止することができる。

実施の形態１．
以下、本発明による本実施の形態について図面を参照して説明する。図１は、本発明による画像処理装置１の構成例を示すブロック図である。図１に示す画像処理装置１は、ディザ復元部１０と、色変換部１１と、ディザ処理部１２とを備える。画像処理装置１は、例えば、所定のビット幅の入力信号によって入力される画像データを表示する液晶モニタ等の画像表示装置において、入力される画像データに対してコントラスト調整、彩度調整、色相調整、γ調整等の色変換を行う制御装置であってもよい。

ディザ復元部１０は、色変換部１１の前段に配備され、入力される画像データに対し、ディザ処理の復元対象とするか否かを判別した上で、ディザ処理の復元を行う。ディザ復元部１０は、ディザ復元対象判別手段１０１と、ディザ復元手段１０２とを含む。

ディザ復元対象判別手段１０１は、所定範囲内の画像データ間における表示階調の変化量に基づいて、該画像データをディザ処理の復元対象とするか否かを判別する。本実施の形態では、フレームレートコントロールに従って入力される画像データが示す所定フレーム数分のフレーム間における表示階調の変化量に基づいて、該画像データを時間的ディザ処理の復元対象とするか否かを判別する。具体的には、該画像データの表示領域が、階調変化の大きい変化部であるかまたは階調変化の小さい静止部であるかを判断することによって、該画像データを時間的ディザ処理の復元対象とするか否かを判別する。

また、ディザ復元手段１０２は、ディザ復元対象判別手段１０１による判別の結果に応じて、ディザ処理の復元を行う。本実施の形態では、ディザ復元対象判別手段１０１によって復元対象とされた画像データに対し、時間的ディザ処理の復元を行う。すなわち、復元対象と判別された画像データを、フレームレートコントロールによる時間的ディザ処理により該画像データで擬似表現されている表示階調を示す高ビット幅の画像データに変換する。具体的には、復元対象と判別された画像データが示すある座標の現フレームでの表示階調値（具体的には、輝度値や画素値）と、過去所定フレーム数分のフレームでの表示階調値とを用いて所定の計算を行うことによって、該座標において疑似表現されている表示階調を、所定の高ビット幅で表現可能な表示階調数における値として求める。

色変換部１１は、ディザ復元部１０によるディザ処理の復元によって得られる復元後の高ビット幅画像データに対して、予め定められている変換特性に従って、コントラスト調整、彩度調整、色相調整、γ調整等の色変換を行う。具体的には、入力信号で示される画像データの色または輝度成分を、所定の変換特性を持ったルックアップテーブルや色変換マトリックス（変換行列）を用いて、異なる色または輝度成分に変換する。

ディザ処理部１２は、色変換部１０による色変換後の高ビット幅画像データに対し、入力信号と同じビット幅への再ディザ処理を行う。すなわち、色変換後の高ビット幅画像データで示される表示階調が、入力信号と同じビット幅（低ビット幅）の画像データで疑似表現されるように、フレーム単位の繰り返しディザパターンとする表示階調を求めた上で、色変換後の高ビット幅の画像データを、ディザパターンとして求めた表示階調のうち現フレームで対応させる表示階調を示す画像データに変換する。

なお、図１に示す例では、ディザ復元部１０が、ディザ復元対象判別手段１０１によってディザ処理の復元対象と判別されなかった画像データについては入力信号のまま（低ビット幅画像データのまま）出力する例を示している。このような場合には、色変換部１１は、ディザ復元部１０によってディザ処理が復元されなかった入力信号のままの画像データに対しては、従来の場合と同様に、低ビット幅による表示階調数において所定の変換特性を持ったルックアップテーブルや色変換マトリックスを用いて、異なる色または輝度成分に変換するようにしてもよい。

なお、ディザ復元対象判別手段１０１およびディザ復元手段１０２は、例えば、プログラムに従って動作するＣＰＵによって実現される。

以下、本実施の形態では、入力信号（１画像データ）のビット幅をＮビットと表現し、Ｎビットの入力信号に対し、より多い階調数を表現可能なビット幅として予め定められているビット幅をＭビット（Ｍ＞Ｎ）と表現する。なお、Ｄ_ｎ（ｘ，ｙ）は、座標（ｘ，ｙ）のｎフレーム目の表示階調値として入力される画像データを示している。また、Ｄ_ｎ’（ｘ，ｙ）は、Ｎビット幅の画像データＤ_ｎ（ｘ，ｙ）に対するディザ処理の復元によって得られるＭビット幅の画像データを示している。また、Ｄ_ｎ’’（ｘ，ｙ）は、ディザ処理の復元後のＭビット幅の画像データＤ_ｎ’（ｘ，ｙ）に対する色変換によって得られるＭビット幅の画像データを示している。また、Ｄ_ｎ’’’（ｘ，ｙ）は、色変換後のＭビット幅の画像データＤ_ｎ’’（ｘ，ｙ）に対する再ディザ処理によって得られる、ｎフレーム目の画像データ（色変換後）として示している。なお、Ｄ_ｎ’’’（ｘ，ｙ）は、入力された画像データＤ_ｎ（ｘ，ｙ）に対する出力結果としての色変換後の画像データという意味で用いている場合もある。

本実施の形態では、ディザ復元対象判別手段１０１は、現在のフレームにおける画像データＤ_ｎ（ｘ，ｙ）と、過去ｋフレーム分の画像データＤ_ｎ−１（ｘ，ｙ），・・・，Ｄ_ｎ−ｋ（ｘ，ｙ）とを用いて、フレーム間における表示階調の変化量を計算する。ここで、ｋは以下の式（１）によって定める。

図１に示す例では、Ｎビット幅の画像データＤ_ｎ（ｘ，ｙ）が入力されると、ディザ復元対象判別手段１０１は、入力された画像データＤ_ｎ（ｘ，ｙ）をディザ処理の復元対象とするか否かを、ｎ−ｋフレームからｎフレームまでの画像データＤ_ｎ−ｋ（ｘ，ｙ），・・・，Ｄ_ｎ（ｘ，ｙ）を用いてフレーム間における表示階調の変化量を計算することによって判別する。

本実施の形態では、ディザ復元対象判別手段１０１は、上記範囲内のフレーム間での階調の変化量として、ｎ−ｋ〜ｎフレーム間（ｎ−ｋフレームからｎフレームまでのフレーム間）における画像データ（表示階調値）の最大値と最小値の差を求め（以下の式（２）参照。）、変化量（最大値と最小値の差分）が所定の閾値Ｌよりも大きければ、画像データＤ_ｎ（ｘ，ｙ）の表示領域（ここでは、座標（ｘ，ｙ））が階調変化の大きい変化部であると判定し、そうでなければ階調変化の小さい静止部であると判定し、静止部であると判定した場合に該画像データをディザ処理の復元対象とする。

変化量＝ｎ−ｋ〜ｎフレーム間における画像データの最大値−最小値 ・・・式（２）

ディザ復元手段１０２は、ディザ復元対象判別手段１０１によって復元対象と判別されたＮビット幅の画像データＤ_ｎ（ｘ，ｙ）に対し、過去フレームにおける画像データに基づいてディザ処理の復元処理を行い、Ｎビット幅の画像データＤ_ｎ（ｘ，ｙ）を、該画像データ画像データＤ_ｎ（ｘ，ｙ）で疑似表現されている表示階調値を示すＭビット幅の画像データＤ_ｎ’（ｘ，ｙ）に変換する。具体的には、現フレームを含む過去ｋ＋１フレーム分の画像データの和を計算することによって、Ｎビット幅の画像データＤ_ｎ（ｘ，ｙ）を、Ｍビット幅による多階調表現の画像データＤ_ｎ’（ｘ，ｙ）に変換する（下記の式（３）参照。）。

本例では、ディザ復元部１０において、Ｎビット幅で入力される画像データＤ_ｎ（ｘ，ｙ）は、復元対象と判別された場合にはＭビット幅の画像データＤ_ｎ’（ｘ，ｙ）に変換されて出力される。一方、復元対象と判別されなかった場合にはそのままＮビットの画像データＤ_ｎ（ｘ，ｙ）が出力される。

また、図２は、画像処理装置１の他の構成例を示すブロック図である。図２に示すように、ディザ復元部１０が、さらに高ビット幅変換手段１０３を含んでいてもよい。

高ビット幅変換手段１０３は、ディザ復元対象判別手段１０１によってディザ処理の復元対象と判別されなかったＮビット幅の画像データに対し、Ｍビット幅での表示階調値へのデータ変換を行う。すなわち、ディザ復元対象判別手段１０１によってディザ処理の復元対象と判別されなかったＮビット幅の画像データＤ_ｎ（ｘ，ｙ）が表現している表示階調の度合い（Ｎビット幅での表示階調数中の何段階目か）を、Ｍビット幅での表示階調値（Ｍビット幅での表示階調数において何段階目かを示す値）に変換する。具体的には、Ｎビット幅の画像データＤ_ｎ（ｘ，ｙ）を２^{（Ｍ−Ｎ）}倍することによって、画像データＤ_ｎ（ｘ，ｙ）と同じ度合いの表示階調を示すＭビット幅の画像データＤ_ｎ’（ｘ，ｙ）に変換する（下記の式（４）参照。）。

図２に示す例では、Ｎビット幅で入力される画像データＤ_ｎ（ｘ，ｙ）は、ディザ復元対象判別手段１０１によって復元対象と判別されたか否かにかかわらず、必ずＭビット幅の画像データＤ_ｎ’（ｘ，ｙ）に変換されて出力される。

また、ディザ処理部１２は、色変換部１１から出力されるＭビット幅の画像データＤ_ｎ’（ｘ，ｙ）に対し、入力信号と同じビット幅（Ｎビット幅）への再ディザ処理を行う。なお、再ディザ処理の方法は、図１におけるディザ処理部１２で説明した方法と同様である。すなわち、色変換後のＭビット幅画像データＤ_ｎ’’（ｘ，ｙ）で示される表示階調が、Ｎビット幅の画像データで疑似表現されるように、フレーム単位の繰り返しディザパターンとする表示階調を求めた上で、色変換後のＭビット幅の画像データＤ_ｎ’’（ｘ，ｙ）を、ディザパターンとして求めた表示階調のうち現フレームで対応させる表示階調を示すＮビット幅の画像データＤ_ｎ’’’（ｘ，ｙ）に変換する。

以下、より具体的な実施例を図面を用いて説明する。図３は、本実施例における画像処理装置１の構成例を示すブロック図である。図３に示す画像処理装置１は、パーソナルコンピュータ等の画像出力装置２から入力される画像データに対し、所定の色変換を行った後に、該画像データをモニタ等の画像表示装置３に出力するための画像処理装置であって、ディザ復元部１０として動作するディザ復元回路１０’と、色変換部１１として動作する色変換回路１１’と、ディザ処理部１２として動作する出力ディザ処理回路１２’とを備える。

なお、ディザ復元回路１０’は、具体的には、ディザ復元対象判別手段１０１、ディザ復元手段１０２および高ビット幅変換手段１０３として動作するＣＰＵ１０ａおよび入力される画像データを保持しておくフレームメモリ１０ｂによって実現されている。

また、本例では、画像出力装置２から入力される画像データのビット幅Ｎは、画像表示装置への入力信号のビット幅に相当するように６ビットに定められているものとする。一方、ビット幅Ｍは、色変換回路１１’において保持されている変換特性データのビット幅に相当するように８ビットに定められているものとする。

次に、図４に示すフローチャートを参照して本実施例の動作について説明する。図４は、本実施例におけるＣＰＵ１０ａの動作例を示すフローチャートである。

図４に示すように、ディザ復元回路１０’のＣＰＵ１０ａは、少なくとも画像出力装置２から入力されたｋ（本例では、ｋ＝２^{（８−６）}−１＝３）フレーム分の画像データをフレームメモリ１０ｂに保持させておく（ステップＳ１０１）。ＣＰＵ１０ａは、画像出力装置２より、ｎフレーム目の画像データＤ_ｎ（ｘ，ｙ）を読み込むと（ステップＳ１０２）、過去ｋフレーム分の画像データＤ_ｎ−１（ｘ，ｙ）〜Ｄ_ｎ−ｋ（ｘ，ｙ）をフレームメモリ１０ｂから読み出し、ｎ−ｋ〜ｎフレーム間における画像データの変化量を求める（ステップＳ１０３）。

図５は、フレームレートコントロールによって時間的ディザ処理が施されたフレームデータの例を示す説明図である。図５に示す例では、４×４画素の静止画フレームデータにおいて、フレーム毎にある画素の表示階調を調整し、８ビット幅での表示階調値２４６を、６ビット幅での表示階調値｛６１，６２，６１，６２｝の繰り返しディザパターンによって疑似階調表現した場合の画像データ例を示している。この場合、ステップＳ１０３において、ＣＰＵ１０ａは、ｎ−ｋ〜ｎフレーム間での表示階調の変化量を、上述した計算式（２）により、座標（ｘ，ｙ）のｎ−ｋ〜ｎフレームの表示階調値として入力される画像データ（Ｄｎ−ｋ（ｘ，ｙ），・・・，Ｄｎ（ｘ，ｙ））の最大値と最小値とから６２−６１＝１と求める。

次に、ＣＰＵ１０ａは、ｎ−ｋ〜ｎフレーム間での画像データの変化量（最大値と最小値との差分）が所定の閾値Ｌより大きいか否かを判定し（ステップＳ１０４）、大きい場合には画像データの表示領域である座標（ｘ，ｙ）は現フレームにおいて変化部であると判定し（ステップＳ１０４のＹｅｓ，ステップＳ１０７）、そうでなければ静止部であると判定する（ステップＳ１０４のＮｏ，ステップＳ１０５）。

ＣＰＵ１０ａは、当該画像データの表示領域が静止部であると判定した場合（ステップＳ１０４のＮｏ，ステップＳ１０５）、画像データＤ_ｎ（ｘ，ｙ）に対し、現フレームを含む過去ｋ＋１フレーム分の画像データに基づいてディザ処理の復元処理を行い、Ｎビット幅の画像データＤ_ｎ（ｘ，ｙ）をＭビット幅による多階調表現の画像データＤ_ｎ’（ｘ，ｙ）に変換する（ステップＳ１０６）。具体的には、上述した計算式（３）に示すように、ｎ−ｋフレームからｎフレームまでの画像データの和を計算し、その値を当該座標（ｘ，ｙ）において現フレームで疑似表現されている表示階調を示す画像データＤ_ｎ’（ｘ，ｙ）として、色変換回路１１’に出力する（ステップＳ１０９）。

例えば、閾値Ｌ＝１とした場合、図５に示す画像データにおいてｎ−ｋ〜ｎフレーム間の変化量は１であるため、ＣＰＵ１０ａは、座標（ｘ，ｙ）は静止部であると判断する。そして、当該座標（ｘ，ｙ）において現フレームで疑似表現されている表示階調を示す画像データをＤ_ｎ’（ｘ，ｙ）＝Ｄ_ｎ（ｘ，ｙ）＋Ｄ_ｎ−１（ｘ，ｙ）＋Ｄ_ｎ−２（ｘ，ｙ）＋Ｄ_ｎ−３（ｘ，ｙ）＝６１＋６２＋６１＋６２＝２４６と計算する。

一方、座標（ｘ，ｙ）は変化部であると判断した場合には（ステップＳ１０４のＹｅｓ，ステップＳ１０７）、現在のフレームデータＤ_ｎ（ｘ，ｙ）に対し、Ｍビット幅での表示階調値へのデータ変換を行う（ステップＳ１０８）。具体的には、上述した計算式（４）に示すように、画像データＤ_ｎ（ｘ，ｙ）を２^{（Ｍ−Ｎ）}倍し、その値を当該座標（ｘ，ｙ）で表現されている表示階調を示すＭビット幅の画像データＤ_ｎ’（ｘ，ｙ）として、色変換回路１１’に出力する（ステップＳ１０９）。例えば、６ビット幅における表示階調値が６１であった場合、ＣＰＵ１０ａは、その表示階調値と同じ度合いの表示階調を示す８ビットの画像データをＤ_ｎ’（ｘ，ｙ）＝６１×４＝２４４と計算する。

ＣＰＵ１０ａは、以上の動作を全座標分の画像データについて行う（ステップＳ１１０）。

なお、色変換回路１１’では、ＣＰＵ１０ａからＭビット幅に変換された画像データＤ_ｎ’（ｘ，ｙ）が入力されると、ルックアップテーブルや、変換マトリクスを用いて該画像データＤ_ｎ’（ｘ，ｙ）に対して色変換処理を行う。例えば、色変換回路１１’は、ディザ復元部１０が出力する復元後の高ビット幅（８ビット幅）の画像データがとりうる表示階調値（変換前）に対し、所定の変換特性に基づく変換後の表示階調値を対応づけたルップアップテーブルを保持しておき、ディザ復元部１０から入力される画像データに対応する変換後の表示階調値を、該ルックアップテーブルから読み出すことによって、色変換処理を行ってもよい。また、例えば、色変換回路１１’は、画像データが示す表示階調値の要素数に応じた行または列を持つ行列（例えば、Ｒ，Ｇ，Ｂ要素からなる表示階調値を異なるＲ，Ｇ，Ｂ要素からなる表示階調値に変換する場合には、３×３行列）を所定の変換特性を反映させた係数とする変換行列式に、ディザ復元部１０から入力される画像データを代入して行列演算を行うことによって、変換後の表示階調値を得るようにしてもよい。

図６は、色変換回路１１’における変換特性の一例を示す説明図である。また、図７は、図６に示す変換特性をルップアップテーブルとして保持する場合の変換特性データの一例を示している。なお、図７（ａ）は色変換回路１１’における変換特性を６ビットで示した例であり、図７（ｂ）は８ビットで示した例である。

例えば、図５に示す画像データ例では、静止部と判断された６ビット幅の画像データＤ_ｎ（ｘ，ｙ）＝６１は、ディザ復元手段１０２によって８ビット幅の画像データＤ_ｎ’（ｘ，ｙ）＝２４６に変換され色変換回路１１’に入力される。色変換回路１１’では、図７（ｂ）に示すルップアップテーブルにおけるＩＮＰＵＴ＝２４６に対応するＯＵＴＰＵＴの値を参照することによって、８ビット幅の画像データＤ_ｎ’’（ｘ，ｙ）＝２３５に変換する。仮に、変化部と判断された場合には、６ビット幅の画像データＤ_ｎ（ｘ，ｙ）＝６１は、高ビット幅変換手段１０３によって８ビット幅の画像データＤ_ｎ’（ｘ，ｙ）＝２４４に変換され色変換回路１１’に入力される。色変換回路１１’では、図７（ｂ）に示すルップアップテーブルにおけるＩＮＰＵＴ＝２４４に対応するＯＵＴＰＵＴの値を参照することによって、８ビット幅の画像データＤ_ｎ’’（ｘ，ｙ）＝２３１に変換する。

色変換回路１１’は、色変換後の画像データＤ_ｎ’’（ｘ，ｙ）をディザ処理回路１２’に入力する。ディザ処理回路１２’では、色変換回路１１’によって色変換された画像データＤ_ｎ’’（ｘ，ｙ）を、元のビット幅に戻すための再ディザ処理を行う。

ディザ処理回路１２’では、再ディザ処理として、ｋ＋１フレーム分のＮビット幅での表示階調値の平均が、色変換後のＭビット幅の画像データが示す表示階調値÷（ｋ＋１）の値になるように、ｋ＋１フレーム分の表示階調値を定めたディザパターンを求めればよい。例えば、まず、色変換後のＭビット幅の画像データが示す表示階調値をｋ＋１で割った解をｋ＋１フレーム分の各フレームのＮビット幅での表示階調値とした上で、ｋ＋１で割り切れなかった余りに相当するフレーム数分の表示階調値に１を加えればよい。なお、どのフレームに１を加えるかは予め定めておけばよい（余りが１であれば第１フレームに１を加える等。）。

例えば、８ビット幅の画像データＤ_ｎ’’（ｘ，ｙ）＝２３５に対し、６ビット幅へのディザ処理を行う場合、６ビット幅での表示階調値の４フレームの平均が、２３５／４＝５８．７５となるように、４フレーム分の各フレームの表示階調値を定めたディザパターンを求めればよい。すなわち、まず４フレーム分の各フレームの表示階調値を５８とし、その上で、余りに相当するフレーム数（３フレーム）分の表示階調値に１を加え、例えば５８，５９，５９，５９｝というディザパターンを求めればよい。そして、ディザパターンとして求めた表示階調のうち現フレームで対応させる表示階調を示す画像データに変換すればよい。

フレームレートコントロールによる時間的ディザ処理が施されている場合、入力データは繰り返しディザパターン化されたデータであるため、例えば、Ｄ_ｎ’’’（ｘ，ｙ）＝５８，Ｄ_ｎ＋１’’’（ｘ，ｙ）＝５９，Ｄ_ｎ＋２’’’（ｘ，ｙ）＝５９，Ｄ_ｎ＋３’’’（ｘ，ｙ）＝５９となるようにデータ変換を行う。なお、現フレームでは、４フレームを周期とするフレームカウントを１として、ディザパターンにおける第１フレーム目に該当する画像データＤ_ｎ’’’（ｘ，ｙ）＝５８を変換結果として出力すればよい。例えば、ディザ処理回路１２’は、一旦ディザ処理を施すためのパターン計算を行った後は、ＣＰＵ１０ａからディザ処理を施す旨の制御信号が入力されていることおよび色変換後の８ビット幅の画像データが同じであることを条件に、フレームカウントを計数しながらディザパターンを繰り返し出力するようにすればよい。

なお、ディザ処理回路１２’は、ディザパターンを出力している最中であっても、色変換後の８ビット幅の画像データが示す表示階調値が変化した場合には、ディザパターンの計算からやり直すようにすればよい。

なお、図４では、ＣＰＵ１０ａの動作例しか示していないが、ＣＰＵ１０ａにおけるデータ変換動作（ディザ処理復元または高ビット幅への変換処理）と、色変換回路１１’におけるデータ変換動作（色変換処理）、およびディザ処理回路１２’によるデータ変換動作（再度のディザ処理）とは、一連の動作として実行される。

図５に示す例では、ｎフレーム目の次に、ｎ＋１フレーム目の画像データＤ_ｎ＋１（ｘ，ｙ）＝６２が入力される。画像データＤ_ｎ＋１（ｘ，ｙ）＝６２が入力されると、ＣＰＵ１０ａは、Ｄ_ｎ−２（ｘ，ｙ）＝６１，Ｄ_ｎ−１（ｘ，ｙ）＝６２，Ｄ_ｎ（ｘ，ｙ）＝６１，Ｄ_ｎ＋１（ｘ，ｙ）＝６２から、変化量＝１を計算し、表示領域は静止部であると判定する。そして、画像データＤ_ｎ＋１（ｘ，ｙ）＝６２を、Ｄ_ｎ＋１’（ｘ，ｙ）＝２４６に復元する。色変換回路１１’では、図７（ｂ）に示すルップアップテーブルを用いて、８ビット幅の画像データＤ_ｎ＋１’’（ｘ，ｙ）＝２３５に変換する。そして、ディザ処理回路１２’では、色変換回路１１’から８ビット幅の画像データＤ_ｎ＋１’’（ｘ，ｙ）＝２３５が入力されたことを受けて、フレームカウントをインクリメントして、８ビット幅の画像データＤ_ｎ＋１’’（ｘ，ｙ）＝２３５に対しては、既に計算されているディザパターンにおける第２フレーム目に該当する画像データＤ_ｎ＋１’’’（ｘ，ｙ）＝５９を変換結果として出力する。

図５に示すような、｛６１，６２，６１，６２｝の繰り返しディザパターンによって疑似階調表現された画像データの場合、Ｄ_ｎ＋２（ｘ，ｙ）＝６２、Ｄ_ｎ＋３（ｘ，ｙ）＝６１についても、同様に、Ｄ_ｎ＋２’’’（ｘ，ｙ）＝５９、Ｄ_ｎ＋３’’’（ｘ，ｙ）＝５９に変換して出力する。なお、本例の場合、｛６１，６２，６１，６２｝の繰り返しディザパターンで画像データが入力されている間は、画像表示装置には、６ビット幅での表示階調値｛５８，５９，５９，５９｝の繰り返しディザパターンで画像データが出力されることになる。なお、繰り返しディザパターンではなく表示階調の変化が大きい画像データが入力された場合には、ＣＰＵ１０ａがディザ処理の復元処理ではなく高ビット幅への変換処理を行うため、表示階調の変化が大きいまま高ビット幅画像データとして色変換回路１１’に入力されて色変換処理が行われることになる。そして、色変換処理の結果、色変換後の８ビット幅の画像データが示す表示階調値が変化した場合には、その都度ディザパターンが再計算され、第１フレーム目に該当する画像データＤｎ’’’（ｘ，ｙ）が出力されることになる。

以下、ディザ処理を復元せずに色変換を行った場合と比較しながら本発明の効果について説明する。上記の例と同様に、図５に示すような、｛６１，６２，６１，６２｝の繰り返しディザパターンによって６ビット幅で疑似階調表現された画像データが入力されたとする。ディザ処理を復元せずに色変換を行う場合、画像データＤ_ｎ（ｘ，ｙ）＝６１は、６ビット幅のまま図７（ａ）に示す６ビットの変換特性データを保持している色変換回路に入力されることになる。色変換回路は、画像データＤ_ｎ（ｘ，ｙ）＝６１を６ビット幅のまま図７（ａ）に示すルックアップテーブルを用いて画像データＤ_ｎ’’’（ｘ，ｙ）＝５８に変換して画像表示装置に出力する。また、画像データＤ_ｎ＋１（ｘ，ｙ）＝６２が入力された場合は、色変換回路は、画像データＤ_ｎ＋１（ｘ，ｙ）＝６２を６ビット幅のまま図７（ａ）に示すルックアップテーブルを用いて画像データＤ_ｎ＋１’’’（ｘ，ｙ）＝６０に変換して画像表示装置３に出力する。すなわち、｛６１，６２，６１，６２｝の繰り返しディザパターンによって６ビット幅で疑似階調表現された画像データは、ディザ処理を復元しない場合には、｛５８，６０，５８，６０｝の繰り返しディザパターンとなって画像表示装置３に出力されることになる。なお、本実施の形態では、上述したように、｛５８，５９，５９，５９｝の繰り返しディザパターンを出力する。ディザ処理を復元しない場合の出力パターンにおけるフレーム間のデータ差が２となってしまうのに比べて、本実施の形態による出力パターンにおけるフレーム間のデータ差は１のままである。このように、ディザ処理を復元しないで色変換を行うとフレーム間のデータ差分が大きくなり、画面ちらつきが大きくなる原因となる。

本実施の形態によれば、入力信号におけるフレーム間のデータ差分（変化量）によってディザ処理を復元するか否かを判断した上で、必要に応じてディザ処理を復元してから色変換処理を行い、さらに色変換後に再度ディザ処理を行うことで、色変換後の隣接フレーム間における色の差分の増加を抑えることができる。また、フレームレートコントロールに従って画像データが入力される場合、画像データは、少なくともディザ処理が施されている領域において、表示階調の変化は周期的であり、対象フレームの前後のフレームを参照することで正しいデータに復元することができる。しかし、ディザ処理が施されていない領域においては、対象フレームの前後のフレームは、まったく違う画像データとなっているため、前後のフレームを参照しても、正しいデータは復元できない。本実施の形態では、フレーム間のデータ差分が大きい画像データに対しては、前後のフレームデータを参照せず、単純にビットを増やすだけで、そのままの階調表現で色変換を行うようにしている。このため、元の画像データが意図した階調表現とは異なる階調表現に変換されてしまうことを防ぐことができ、結果、ディザ処理が施されているか否かが明らかでない画像データが入力される画像処理装置においても、的確に、ディザ処理が行われた画像データに対する変換処理による画質劣化を防止することができる。

実施の形態２．
なお、上記説明では、フレームレートコントロールによる時間的ディザ処理が施される画像データを例に説明したが、空間的ディザ処理が施されている画像データに対しても、本発明を適用することができる。なお、本実施の形態における画像処理装置１は、第１の実施の形態における画像処理装置１と同様の構成でよい。

本実施の形態において、ディザ復元部１０は、任意の画像データに空間的ディザ処理が施されている場合に、そのディザ処理を復元するための処理部であって、その具体的処理手段として、ディザ復元対象判別手段１０１と、ディザ復元手段１０２とを備える。

ディザ復元対象判別手段１０１は、入力される画像データをディザ処理の復元対象とするか否かを判別する。本実施の形態において、ディザ復元対象判別手段１０１は、入力信号が示す所定の領域内の画素間における画像データの変化量に基づいて、画像データに空間的ディザ処理が施されているか否かを判断することによって、ディザ処理の復元対象とするか否かを判別する。

ディザ復元手段１０２は、ディザ復元対象判別手段１０１によってディザ処理の復元対象と判別された画像データに対しディザ処理の復元処理を行う。本実施の形態では、復元対象とされた画像データにおいて空間的ディザ処理により疑似階調表現されている値を、１つの高ビット幅による階調表現の値に変換する。具体的には、復元対象と判別されたある領域内における各画素の画像データの値を用いて所定の計算を行うことによって、該領域内において疑似階調表現されている値を、所定の高ビット幅の階調数における階調表現の値として求める。

なお、本実施の形態では、ディザ復元対象判別手段１０１は、ｋ×ｋ画素からなるブロック領域を処理対象領域として、該処理対象領域内画素間における画像データの変化量を計算する。ここで、ｋは以下の式（５）によって定める。

ｋ＝Ｍ−Ｎ ・・・式（５）

また、処理対象領域内画素間における変化量として、隣接するｋ×ｋ画素における画像データの最大値と最小値の差を求め（以下の式（６）参照。）、変化量が所定の閾値Ｌよりも大きければ、該領域内における各画像データには空間的ディザ処理が施されていないと判断し、そうでなければ空間的ディザ処理が施されていると判断する。

変化量＝処理対象領域内画素間における画像データの最大値−最小値 ・・・式（６）

また、ディザ復元手段１０２は、ディザ復元対象判別手段１０１によって復元対象と判別された所定領域内の各画像データＤ（ｘ＋ｉ，ｙ＋ｊ）（ただし、ｉ＝ｊ＝０，・・・，ｋ−１。以下同じ。）に対し、同領域内の他の画像データに基づいてディザ処理の復元処理を行い、同領域内において疑似階調表現されている値を、Ｍビット幅で多階調表現した画像データＤ’（ｘ＋ｉ，ｙ＋ｊ）に変換する（下記の式（７）参照。）。

また、ディザ処理部１２は、色変換後のＭビット幅の画像データＤ’’（ｘ＋ｉ，ｙ＋ｊ）に対し、空間的ディザ処理を行うことによって、Ｍビット幅で表現されている階調表現を、ｋ×ｋ画素毎の可変ディザパターンを用いたＮビット幅の疑似階調表現の画像データＤ’’’（ｘ＋ｉ，ｙ＋ｊ）に変換する。

なお、本実施の形態において、高ビット幅変換手段１０３および色変換部１１は、第１の実施の形態と同様であるため、説明省略している。また、本実施の形態のより具体的な構成例についても、図３に示す画像処理装置１の構成例と同様である。

次に、図８に示すフローチャートを参照して本実施例の動作について説明する。図８は、本実施例におけるＣＰＵ１０ａの動作例を示すフローチャートである。なお、本例においても、画像出力装置２から入力される画像データのビット幅Ｎは、画像表示装置への入力信号のビット幅に相当するように６ビットに定められているものとする。一方、ビット幅Ｍは、色変換回路１１’において保持されている変換特性データのビット幅に相当するように８ビットに定められているものとする。

図８に示すように、ディザ復元回路１０’のＣＰＵ１０ａは、少なくとも画像出力装置２から入力されたｋ＝８−６＝２ライン分の画像データをフレームメモリ１０ｂに保持させておく（ステップＳ２０１）。ＣＰＵ１０ａは、画像出力装置２より、ｋライン分の画像データを読み込むと（ステップＳ２０２）、ｋ×ｋ画素分の画像データＤ（ｘ＋ｉ，ｙ＋ｊ）をフレームメモリ１０ｂから読み出し、ｋ×ｋ画素間における画像データの変化量を求める（ステップＳ２０３）。次に、ＣＰＵ１０ａは、ｋ×ｋ画素間での画像データの変化量（最大値と最小値との差分）が所定の閾値Ｌより大きいか否かを判定し（ステップＳ２０４）、大きい場合には該画像データの表示領域（ｋ×ｋ画素のブロック領域で囲まれた表示領域）にはディザ処理が施されていないと判定し（ステップＳ２４のＹｅｓ，ステップＳ２０７）、そうでなければディザ処理が施されていると判定する（ステップＳ２０４のＮｏ，ステップＳ２０５）。

ＣＰＵ１０ａは、当該画像データの表示領域にディザ処理が施されていると判定した場合（ステップＳ２０４のＮｏ，ステップＳ２０５）、各画像データＤ（ｘ＋ｉ，ｙ＋ｊ）に対し、同領域内の他の画像データに基づいてディザ処理の復元処理を行い、Ｎビット幅の画像データＤ（ｘ＋ｉ，ｙ＋ｊ）をＭビット幅による多階調表現の画像データＤ’（ｘ＋ｉ，ｙ＋ｊ）に変換する（ステップＳ２０６）。具体的には、上述した計算式（７）に示すように、該領域内のｋ×ｋ画素分の画像データの和を計算し、その値を当該領域内（座標（ｘ＋ｉ，ｙ＋ｊ）を処理対象としたｋ×ｋ画素のブロック領域）において疑似表現されている表示階調を示す画像データＤ’（ｘ＋ｉ，ｙ＋ｊ）として、色変換回路１１’に出力する（ステップＳ２０９）。

図９は、空間的ディザ処理が施された画像データの変換結果例を示す説明図である。図９に示す例では、８ビット幅での階調表現の値２４６を、空間的ディザ処理を用いて６ビット幅で表現した場合の画像データ例を示している。図９に示す例では、所定領域内の各画素（例えば、２×２画素）の表示階調（表示色）を調整し、ｋ×ｋ＝４つの画素の画像データＤ（ｘ，ｙ），画像データＤ（ｘ＋１，ｙ），画像データＤ（ｘ，ｙ＋１），画像データＤ（ｘ＋１，ｙ＋１）を｛６１，６２，６２，６１｝のディザパターンとすることによって、該領域内全体において、８ビット幅での階調表現の値２４６を表現している。

例えば、閾値Ｌ＝１とした場合、図９に示す画像データにおいて座標（ｘ＋ｉ，ｙ＋ｊ）を処理対象としたｋ×ｋ画素のブロック領域内画素間における変化量は１であるため、ＣＰＵ１０ａは、当該領域にディザ処理が施されていると判断する。そして、当該領域内において疑似表現されている表示階調を示す画像データＤ’（ｘ，ｙ）＝Ｄ’（ｘ＋１，ｙ）＝Ｄ’（ｘ，ｙ＋１）＝Ｄ’（ｘ＋１，ｙ＋１）＝６１＋６２＋６２＋６１＝２４６と計算する。色変換回路１１’では、図７（ｂ）に示すルップアップテーブルにおけるＩＮＰＵＴ＝２４６に対応するＯＵＴＰＵＴの値を参照することによって、８ビット幅の画像データＤ’’（ｘ，ｙ）＝Ｄ’’（ｘ＋１，ｙ）＝Ｄ’’（ｘ，ｙ＋１）＝Ｄ’’（ｘ＋１，ｙ＋１）＝２３５に変換する。ディザ処理回路１２’では、再ディザ処理として、ｋ×ｋ画素分のＮビット幅での表示階調値の平均が、色変換後のＭビット幅の画像データが示す表示階調値÷（ｋ×ｋ）の値になるように、ｋ×ｋ画素分の表示階調値を定めたディザパターンを求めればよい。例えば、まず、色変換後のＭビット幅の画像データが示す表示階調値をｋ×ｋで割った解を各画素のＮビット幅での表示階調値とした上で、ｋ×ｋで割り切れなかった余りに相当する画素数分の表示階調値に１を加えればよい。なお、領域内のどの画素に１を加えるかは予め定めておけばよい（余りが１であれば座標（ｘ，ｙ）の画素に１を加える等。）。

なお、ディザ処理回路１２’は、色変換後のＭビット幅の画像データＤ’’（ｘ＋ｉ，ｙ＋ｊ）が異なる値であった場合には、各画素の色変換後のＭビット幅の画像データが示す表示階調値をｋ×ｋで割った解を該画素のＮビット幅での表示階調値とすればよい。なお、ｋ×ｋで割り切れなかった場合に該画素の表示階調値に１を加えるか否かは、予め定めておいた規則に従えばよい。

図１０は、図９に示す画像データに対し、ディザ処理を復元した場合と復元しなかった場合の色変換結果例を示す説明図である。図９（ａ）は、ディザ処理を復元しなかった場合の色変換結果例を示す説明図でり、図９（ｂ）は、ディザ処理を復元した場合の色変換結果例をを示す説明図である。図９に示すように、２×２画素を用いて｛（ｘ，ｙ），（ｘ＋１，ｙ），（ｘ，ｙ＋１），（ｘ＋１，ｙ＋１）｝＝｛６１，６２，６２，６１｝のディザパターンによって空間的ディザ処理が施された画像データが入力されたとする。ディザ処理を復元せずに色変換を行う場合、画像データＤ（ｘ，ｙ）＝Ｄ（ｘ＋１，ｙ＋１）＝６１は、色変換回路で、図７（ａ）に示す６ビット幅対応のルックアップテーブルによって画像データＤ’’’（ｘ，ｙ）＝Ｄ’’’（ｘ＋１，ｙ＋１）＝５８に変換されて画像表示装置に出力されることになる。また、画像データＤ（ｘ＋１，ｙ）＝Ｄ（ｘ，ｙ＋１）＝６２は、同様に、画像データＤ’’’（ｘ＋１，ｙ）＝Ｄ’’’（ｘ，ｙ＋１）＝６０に変換されて画像表示装置に出力されることになる。すなわち、２×２画素を用いて｛６１，６２，６２，６１｝のディザパターンによって空間的ディザ処理が施された画像データは、ディザ処理を復元しない場合には、｛５８，６０，６０，５８｝となって画像表示装置３に出力される。なお、本実施の形態では、上述したように、｛５８，５９，５９，５９｝となって出力される。ディザ処理を復元しない場合の出力パターンにおける画素間のデータ差が２となってしまうのに比べて、本実施の形態による出力パターンにおける画素間のデータ差は１のままである。このように、ディザ処理を復元しないで色変換を行うと画素間のデータ差分が大きくなり、なめらかな階調表現が損なわれ、階調の劣化が発生してしまう原因となる。

本実施の形態によれば、入力信号における画素間のデータ差分（変化量）によってディザ処理を復元するか否かを判断した上で、必要に応じてディザ処理を復元してから色変換処理を行い、さらに色変換後に再度ディザ処理を行うことで、色変換後の隣接画素間における色の差分の増加を抑えることができる。本実施の形態では、所定領域内の画素間のデータ差分が大きい画像データに対しては、他の画素の画像データを参照せず、単純にビットを増やすだけで、そのままの階調表現で色変換を行うようにしている。このため、元の画像データが意図した階調表現とは異なる階調表現に変換されてしまうことを防ぐことができ、結果、ディザ処理が選択的な処理であったとしても、的確に、ディザ処理が行われた画像データに対する変換処理による画質劣化を防止することができる。

なお、上記の実施の形態には、入力される画像データに対し、ディザ処理の復元対象とするか否かを判別した上で、ディザ処理の復元を行うディザ復元部と、前記ディザ復元部によるディザ処理の復元によって得られる前記入力信号のビット幅よりも高ビット幅の画像データである高ビット幅画像データに対して、色変換を行う色変換部と、前記色変換部による色変換後の高ビット幅画像データに対し、入力信号と同じビット幅への再ディザ処理を行うディザ処理部とを備え、ディザ復元部が、入力される画像データが示すフレーム間または画素間における表示階調の変化量に基づいて、該画像データをディザ処理の復元対象とするか否かを判別するディザ処理対象判別手段と、前記ディザ復元対象判別手段による判別の結果に応じて、ディザ処理の復元を行うディザ復元手段とを含む画像処理装置の構成が示されている（図１参照。）。

また、上記の実施の形態には、ディザ処理対象判別手段が、各画素毎に、所定フレーム数分のフレーム間における表示階調の変化量に基づいて、該画素の画像データを時間的ディザ処理の復元対象とするか否かを判別し、ディザ復元手段が、前記ディザ復元対象判別手段によって復元対象とされた画像データに対し、時間的ディザ処理の復元を行う画像処理装置の構成が示されている（具体的には、図４におけるステップＳ１０３〜Ｓ１０５参照。）。

また、上記の実施の形態には、ディザ処理判別手段が、各画素毎に、所定フレーム数分のフレーム間における表示階調の変化量に基づいて、該画素が階調の変化が所定の閾値よりも大きい領域を示す変化部であるかまたは該閾値以下の領域を示す静止部であるかを判断することによって、該画素の画像データを時間的ディザ処理の復元対象とするか否かを判別する画像処理装置の構成が示されている（具体的には、図４におけるステップＳ１０３〜Ｓ１０５，Ｓ１０７参照。）。

また、上記の実施の形態には、ディザ処理判別手段が、所定サイズのブロック領域内の画素間における表示階調の変化量に基づいて、該領域内画素の画像データを空間的ディザ処理の復元対象とするか否かを判別し、ディザ復元手段が、前記ディザ復元対象判別手段によって復元対象とされた画像データに対し、空間的ディザ処理の復元を行う画像処理装置の構成が示されている。上記の実施の形態において、ディザ復元対象判別手段，ディザ復元手段は、第２の実施の形態におけるディザ復元対象判別手段１０１，ディザ復元手段１０２によって実現されている。

また、上記の実施の形態には、ディザ処理判別手段が、表示階調の変化量を、対象とする画像データが示す階調表現値の最大値と最小値との差によって求める画像処理装置の構成が示されている（具体的には、計算式（２）および計算式（６）参照。）。

また、上記の実施の形態には、ディザ復元部が、ディザ処理判別手段によって復元対象と判別されなかった画像データに対して、ディザ復元手段による復元後のビット幅と同じビット幅へのデータ変換を行う高ビット幅変換手段を含み、色変換部が、ディザ復元部によって高ビット幅に統一された画像データに対して色変換を行う画像処理装置の構成が示されている（図２参照。）。

本発明は、フレームレートコントロールされた画像データが入力されるようなモニタやテレビ、プロジェクトなどの画像表示装置において、入力された画像データに対し色変換を実施する画像処理装置に好適に適用可能である。また、本発明は、フレームレートコントロールされた画像データが入力される画像表示装置に限らず、プリンタやＦＡＸなど、静止画のみの画像データが入力される画像表示装置において、入力された画像データに対し色変換を実施する画像処理装置にも好適に適用可能である。

画像処理装置１の構成例を示すブロック図である。 画像処理装置１の他の構成例を示すブロック図である。 画像処理装置１の具体的な構成例を示すブロック図である。 第１の実施の形態におけるＣＰＵ１０ａの動作例を示すフローチャートである。 フレームレートコントロールによって時間的ディザ処理が施されたフレームデータの例を示す説明図である。 色変換回路１１’における変換特性の一例を示す説明図である。 図６に示す変換特性をルップアップテーブルとして保持する場合の変換特性データの一例を示す説明図である。 第２の実施の形態におけるＣＰＵ１０ａの動作例を示すフローチャートである。 空間的ディザ処理が施された画像データの変換結果例を示す説明図である。

符号の説明

１ 画像処理装置
１０ ディザ復元部
１０１ ディザ復元対象判別手段
１０２ ディザ復元手段
１０３ 高ビット幅変換手段
１１ 色変換部
１２ ディザ処理部
２ 画像出力装置
３ 画像表示装置

Claims (10)

1. フレームレートコントロールされた所定のビット幅の入力信号によって入力される画像データであって１画像データが所定画素数の静止画におけるある１画素の表示階調値を示すよう各画素と対応づけられた画像データに対して色変換を行う画像処理装置であって、
   入力される画像データを少なくとも所定フレーム数分保持する記憶部と、
   入力される各画像データに対して、時間的ディザ処理の復元対象とするか否かを判別して、復元対象と判別された画像データに対して、当該画像データを、時間的ディザ処理が施されたことにより前記入力信号のビット幅で表現可能な表示階調数よりも多階調の表示階調を疑似表現している画像データとみなして、当該画像データが疑似表現している前記表示階調を示す画像データであって前記入力信号のビット幅よりも高ビット幅の画像データである高ビット幅画像データに変換する処理である時間的ディザ処理の復元を行うディザ復元部と、
   前記ディザ復元部による時間的ディザ処理の復元によって得られる前記高ビット幅画像データに対して、色変換を行う色変換部と、
   前記色変換部による色変換後の高ビット幅画像データに対して、時間的ディザ処理を施すことにより、当該高ビット幅画像データが示している表示階調を疑似表現する前記入力信号と同じビット幅の画像データに変換する処理である再ディザ処理を行うディザ処理部とを備え、
   前記ディザ復元部は、
   入力される画像データが構成する前記所定画素数の静止画における各画素について、各画素毎に、前記記憶部に保持されている画像データを用いて算出される当該画素の現フレームを含む過去の所定フレーム数分のフレーム間における表示階調の変化量に基づいて、現フレームでの当該画素に対応する画像データを時間的ディザ処理の復元対象とするか否かを判別するディザ処理対象判別手段と、
   前記ディザ復元対象判別手段による判別の結果に応じて、復元対象とされた画素に対応する画像データに対し、当該画像データおよび前記記憶部に記憶されている画像データのうち当該画像データが対応する画素に対応づけられた過去のフレームの画像データに基づき、当該画像データが前記画素において疑似表現している表示階調を示す高ビット幅画像データに変換する前記時間的ディザ処理の復元を行うディザ復元手段とを含む
   ことを特徴とする画像処理装置。
2. ディザ処理判別手段は、各画素毎に、所定フレーム数分のフレーム間における表示階調の変化量に基づいて、当該画素の表示領域が、階調の変化が所定の閾値よりも大きい変化部であるか、または該閾値以下の静止部であるかを判断し、該画素が静止部であると判断した場合に、現フレームでの当該画素に対応する画像データを時間的ディザ処理の復元対象と判別する
   請求項１に記載の画像処理装置。
3. ディザ処理判別手段は、表示階調の変化量を、記憶部に保持されている画像データによって示される、判別対象とされた１画素のフレーム間における表示階調値の最大値と最小値との差によって求める
   請求項１または請求項２に記載の画像処理装置。
4. 所定のビット幅の入力信号によって入力される画像データであって１画像データが所定画素数の静止画におけるある１画素の表示階調値を示すよう各画素と対応づけられた画像データに対して色変換を行う画像処理装置であって、
   入力される画像データを少なくとも所定ライン数分保持する記憶部と、
   入力される各画像データに対して、空間的ディザ処理の復元対象とするか否かを判別して、復元対象と判別された画像データに対して、当該画像データを、空間的ディザ処理が施されたことにより前記入力信号のビット幅で表現可能な表示階調数よりも多階調の表示階調を疑似表現している画像データとみなして、当該画像データが疑似表現している前記表示階調を示す画像データであって前記入力信号のビット幅よりも高ビット幅の画像データである高ビット幅画像データに変換する処理である空間的ディザ処理の復元を行うディザ復元部と、
   前記ディザ復元部による空間的ディザ処理の復元によって得られる前記高ビット幅の画像データに対して、色変換を行う色変換部と、
   前記色変換部による色変換後の高ビット幅画像データに対して、空間的ディザ処理を施すことにより、当該高ビット幅画像データが示している表示階調を疑似表現する前記入力信号と同じビット幅の画像データに変換する処理である再ディザ処理を行うディザ処理部とを備え、
   前記ディザ復元部は、
   入力される画像データが構成する前記所定画素数の静止画における各画素について、当該画素を含む所定の領域毎に、前記記憶部に保持されている画像データを用いて算出される当該領域内の画素間における表示階調の変化量に基づいて、当該領域内の各画素に対応する画像データを空間的ディザ処理の復元対象とするか否かを判別するディザ処理対象判別手段と、
   前記ディザ復元対象判別手段による判別の結果に応じて、復元対象とされた前記領域内の各画素に対応する画像データに対し、前記記憶部に記憶されている画像データのうち前記領域内の各画素に対応づけられた画像データに基づき、当該画像データが前記領域内において疑似表現している表示階調を示す高ビット幅画像データに変換する前記空間的ディザ処理の復元を行うディザ復元手段とを含む
   ことを特徴とする画像処理装置。
5. ディザ処理判別手段は、表示階調の変化量を、記憶部に保持されている画像データによって示される、判別対象とされた１画素を含む所定の領域内に含まれる各画素の表示階調値の最大値と最小値との差によって求める
   請求項４に記載の画像処理装置。
6. ディザ復元部は、ディザ処理判別手段によって復元対象と判別されなかった画像データに対して、当該画像データが示す表示階調値が表現している入力信号ビット幅による表示階調の度合いをディザ復元手段による復元後のビット幅と同じビット幅で表現した高ビット幅画像データに変換を行う高ビット幅変換手段を含み、
   色変換部は、当該画像処理装置に入力された画像データが復元対象と判別されたか否かに関わらず、ディザ復元部から出力される高ビット幅画像データに対して色変換を行う
   請求項３または請求項５に記載の画像処理装置。
7. フレームレートコントロールされた所定のビット幅の入力信号によって入力される画像データであって１画像データが所定画素数の静止画におけるある１画素の表示階調値を示すよう各画素と対応づけられた画像データに対して色変換を行うための画像処理方法であって、
   入力される画像データを少なくとも所定フレーム数分保持し、
   入力される画像データが構成する前記所定画素数の静止画における各画素について、各画素毎に、保持されている画像データを用いて算出される当該画素の現フレームを含む過去の所定フレーム数分のフレーム間における表示階調の変化量に基づいて、現フレームでの当該画素に対応する画像データを時間的ディザ処理の復元対象とするか否かを判別し、
   復元対象とされた画素に対応する画像データに対し、当該画像データおよび前記保持されている画像データのうち当該画像データが対応する画素に対応づけられた過去のフレームの画像データに基づき、当該画像データを、時間的ディザ処理が施されたことにより前記入力信号のビット幅で表現可能な表示階調数よりも多階調の表示階調を疑似表現している画像データとみなして、当該画像データが前記画素において疑似表現している前記表示階調を示す画像データであって前記入力信号のビット幅よりも高ビット幅の画像データである高ビット幅画像データに変換する処理である時間的ディザ処理の復元を行い、
   前記時間的ディザ処理の復元によって得られる前記高ビット幅画像データに対して、色変換を行い、
   前記色変換後の高ビット幅画像データに対して、時間的ディザ処理を施すことにより、当該高ビット幅画像データが示している表示階調を疑似表現する前記入力信号と同じビット幅の画像データに変換する処理である再ディザ処理を行う
   ことを特徴とする画像処理方法。
8. 所定のビット幅の入力信号によって入力される画像データであって１画像データが所定画素数の静止画におけるある１画素の表示階調値を示すよう各画素と対応づけられた画像データに対して色変換を行うための画像処理方法であって、
   入力される画像データを少なくとも所定ライン数分保持し、
   入力される画像データが構成する前記所定画素数の静止画における各画素について、当該画素を含む所定の領域毎に、保持されている画像データを用いて算出される当該領域内の画素間における表示階調の変化量に基づいて、当該領域内の各画素に対応する画像データを空間的ディザ処理の復元対象とするか否かを判別し、
   復元対象とされた前記領域内の各画素に対応する画像データに対し、前記保持されている画像データのうち前記領域内の各画素に対応づけられた画像データに基づき、当該画像データを、空間的ディザ処理が施されたことにより前記入力信号のビット幅で表現可能な表示階調数よりも多階調の表示階調を疑似表現している画像データとみなして、当該画像データが前記領域内において疑似表現している前記表示階調を示す画像データであって前記入力信号のビット幅よりも高ビット幅の画像データである高ビット幅画像データに変換する処理である空間的ディザ処理の復元を行い、
   前記空間的ディザ処理の復元によって得られる前記高ビット幅画像データに対して、色変換を行い、
   前記色変換後の高ビット幅の画像データに対して、空間的ディザ処理を施すことにより、当該高ビット幅画像データが示している表示階調を疑似表現する前記入力信号と同じビット幅の画像データに変換する処理である再ディザ処理を行う
   ことを特徴とする画像処理方法。
9. フレームレートコントロールされた所定のビット幅の入力信号によって入力される画像データであって１画像データが所定画素数の静止画におけるある１画素の表示階調値を示すよう各画素と対応づけられた画像データに対して色変換を行うための画像処理用プログラムであって、
   入力される画像データを少なくとも所定フレーム数分保持する記憶部を備えたコンピュータに、
   入力される画像データが構成する前記所定画素数の静止画における各画素について、各画素毎に、保持されている画像データを用いて算出される当該画素の現フレームを含む過去の所定フレーム数分のフレーム間における表示階調の変化量に基づいて、現フレームでの当該画素に対応する画像データをディザ処理の復元対象とするか否かを判別し、復元対象とされた画素に対応する画像データに対し、当該画像データおよび前記気億部に記憶されている画像データのうち当該画像データが対応する画素に対応づけられた過去のフレームの画像データに基づき、当該画像データを、時間的ディザ処理が施されたことにより前記入力信号のビット幅で表現可能な表示階調数よりも多階調の表示階調を疑似表現している画像データとみなして、当該画像データが前記画素において疑似表現している前記表示階調を示す画像データであって前記入力信号のビット幅よりも高ビット幅の画像データである高ビット幅画像データに変換する処理である時間的ディザ処理の復元を行う復元処理、
   前記復元処理で得られる前記高ビット幅画像データに対して、色変換を行う色変換処理、および
   前記色変換後の高ビット幅画像データに対し、時間的ディザ処理を施すことにより、当該高ビット幅画像データが示している表示階調を疑似表現する前記入力信号と同じビット幅の画像データに変換する処理である再ディザ処理を行う再ディザ実行処理
   を実行させるための画像処理用プログラム。
10. 所定のビット幅の入力信号によって入力される画像データであって１画像データが所定画素数の静止画におけるある１画素の表示階調値を示すよう各画素と対応づけられた画像データに対して色変換を行うための画像処理用プログラムであって、
    入力される画像データを少なくとも所定ライン数分保持する記憶部を備えたコンピュータに、
    入力される画像データが構成する前記所定画素数の静止画における各画素について、当該画素を含む所定の領域毎に、保持されている画像データを用いて算出される当該画素のフレーム間における表示階調の変化量または当該画素を含む所定の領域内の画素間における表示階調の変化量に基づいて、当該領域内の各画素に対応する画像データをディザ処理の復元対象とするか否かを判別し、復元対象とされた前記領域内の各画素に対応する画像データに対し、前記保持されている画像データのうち前記領域内の各画素に対応づけられた画像データに基づき、当該画像データを、空間的ディザ処理が施されたことにより前記入力信号のビット幅で表現可能な表示階調数よりも多階調の表示階調を疑似表現している画像データとみなして、当該画像データが前記領域内において疑似表現している前記表示階調を示す画像データであって前記入力信号のビット幅よりも高ビット幅の画像データである高ビット幅画像データに変換する処理である空間的ディザ処理の復元を行う復元処理、
    前記復元処理で得られる前記高ビット幅画像データに対して、色変換を行う色変換処理、および
    前記色変換後の高ビット幅画像データに対して、空間的ディザ処理を施すことにより、当該高ビット幅画像データが示している表示階調を疑似表現するを疑似表現する前記入力信号と同じビット幅の画像データに変換する処理である再ディザ処理を行う再ディザ実行処理
    を実行させるための画像処理用プログラム。

Images