JP4342297B2 - 画像処理回路及び画像処理方法 - Google Patents

Description

本発明は、画像処理回路及び画像処理方法に関し、特に、多値の誤差拡散処理を用いて画像（映像）データを入力階調よりも出力階調が多い多階調化を可能とする画像処理回路及び画像処理方法に関する。

入力された画像（映像）データの階調（入力階調）が出力に必要とする階調よりも少ない場合、画像データの多階調化を行なうことが必要である。
画像データの多階調化の方法としては、図３又は図４に示すような方法がある。ここに、図３、図４は、共に、従来技術における多階調化回路の構成を示すブロック図である。図３の場合、信号入力端子１から入力される入力画像データは、加算器６１の一方の入力端子に入力されて、ノイズ発生回路６２にて発生されたランダムノイズが加算器６１において重畳されることにより、多階調化回路６３にて多階調化した出力画像データを生成して、信号出力端子５から出力するものである。また、図４の場合、信号入力端子１から入力される入力画像データは、フィルタ６４に入力されて、フィルタリングをかけることにより、多階調化回路６５にて多階調化した出力画像データを生成して、信号出力端子５から出力するものである。

また、一般的な誤差拡散処理方法としては、図５に示すような方法がある。ここに、図５は、一般的な誤差拡散処理を実現するための誤差拡散処理回路の構成を示すブロック図である。図５に示す誤差拡散処理回路３′は、信号入力端子３ａから入力される入力画像データｘ（ｉ，ｊ）から、誤差拡散用フィルタ３５から出力されてくる出力データを減算する減算器３１と、減算器３１からの出力データを量子化して、出力画像データｙ（ｉ，ｊ）として出力する量子化器３２と、出力画像データｙ（ｉ，ｊ）から減算器３１の出力データを減算する減算器３３と、この減算器３３の出力データに対してフィルタリング処理を行なって、減算器３１に出力する誤差拡散用フィルタ３５と、を備えている。なお、図中、ｅ（ｉ，ｊ）は、量子化器３２における量子化によって発生する量子化誤差を表している。従って、減算器３３の出力データは、量子化誤差ｅ（ｉ，ｊ）となる。ここで、ｉ，ｊは、互いに直交する２方向（以下、ｉ方向及びｊ方向という。）の各座標を表している。

また、誤差拡散用フィルタ３５は、一種の線形フィルタであり、ここでは、その伝達関数を、Ｇ（ｚ１，ｚ２）とする。なお、ｚ１，ｚ２は、それぞれ、ｉ方向、ｊ方向に関するｚ変換における変数である。また、図５に示した誤差拡散処理回路３′の構成全体は、２次元のΣΔ（シグマ−デルタ）変調回路とみなすことができる。従って、この誤差拡散処理回路３′における入出力関係は、次の式（１）のように与えられる。

Ｙ（ｚ１，ｚ２）＝Ｘ（ｚ１，ｚ２）＋Ｈ（ｚ１，ｚ２）・Ｅ（ｚ１，ｚ２）…（１）

なお、式（１）において、Ｙ（ｚ１，ｚ２），Ｘ（ｚ１，ｚ２），Ｅ（ｚ１，ｚ２）は、それぞれ、ｙ（ｉ，ｊ），ｘ（ｉ，ｊ），ｅ（ｉ，ｊ）をｚ変換した値である。また、量子化誤差Ｅ（ｚ１，ｚ２）を変調する誤差拡散用フィルタの伝達関数Ｈ（ｚ１，ｚ２）は、次の式（２）で与えられる。

Ｈ（ｚ１，ｚ２）＝１−Ｇ（ｚ１，ｚ２） …（２）

伝達関数Ｈ（ｚ１，ｚ２）は、２次元の有限インパルス応答（ＦＩＲ）ハイパスフィルタを表しており、このハイパスフィルタは、量子化誤差Ｅ（ｚ１，ｚ２）の高周波域への変調特性を決定する誤差変調用フィルタとなる。なお、以下、伝達関数Ｈ（ｚ１，ｚ２），Ｇ（ｚ１，ｚ２）で表されるフィルタを表す場合にも、フィルタＨ（ｚ１，ｚ２），フィルタＧ（ｚ１，ｚ２）と記す場合がある。Ｇ（ｚ１，ｚ２）は、次の式（３）のように表される。

Ｇ（ｚ１，ｚ２）＝ΣΣｇ（ｎ１，ｎ２）ｚ１−ｎ１ ｚ２−ｎ２ …（３）

なお、式（３）中の最初のΣはｎ１が−Ｎ１からＭ１までについての総和を表し、次のΣはｎ２が−Ｎ２からＭ２までについての総和を表している。但し、Ｎ１，Ｍ１，Ｎ２，Ｍ２は、それぞれ、所定の正の整数である。また、ｇ（ｎ１，ｎ２）は、フィルタ係数であり、ｎ１＝０，ｎ２＝０は、注目画素を表している。

図５に示す誤差拡散処理回路３′における誤差拡散法の詳細については、非特許文献１に示す「よくわかるデジタル画像処理」（ＣＱ出版社）の２０２ページ乃至２１３ページに詳述されているので、ここでは、これ以上の説明は省略する。

また、多階調画像表示方法に関する従来技術として、特許文献１に示す特開２０００−１６３００５号公報「多階調画像表示方法」に記載されている技術がある。該特許文献１に記載の技術は、入力された画像データの注目画素に相当するデジタルデータの値から表示誤差を公知の技術により算出し、当該注目画素が含まれるデータブロックに後続する他のデータブロック、即ち、当該注目画素の直下の画素と該直下の画素の左隣と右隣及びその更に右の画素のそれぞれに含まれるデジタルデータへ前記表示誤差を拡散するという多階調画像表示方法である。

ここに、前述した引用文献の一覧を示す。
特開２０００−１６３００５号公報 貴家 仁志著「よくわかるデジタル画像処理」ＣＱ出版社、９６年２月２０日発行、ｐ．２０２〜２１３

しかしながら、前述した図３に示すランダムノイズを重畳する方法では、入力した画像データとの相関性がないので、Ｓ／Ｎが悪化した時や、ランダムノイズを重畳した出力画像データを、フレーム又はフィールド巡回型のノイズリダクション（ＤＮＲ：Ｄｙｎａｍｉｃ Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）回路に通した時に、重畳したランダムノイズに規則性があると、該ランダムノイズが固定パターン状のノイズとなり、出力される画像データや映像データ上に該ノイズが見えてしまう場合がある。

また、図４に示すフィルタリングをかける方法では、該フィルタリングにより画像データの帯域を制限しているので、画像データの解像度が落ちてしまうことになる。また、図４のフィルタ６４のフィルタ係数の如何によっては、必要な階調が得られない場合もある。

また、前記特許文献１に示す技術は、入力画像データの階調（１２ビット）よりも出力画像データの階調（８ビット）を小さくする場合に適用される技術であり、かつ、フレーム又はフィールド巡回型ノイズリダクションを行なった場合、固定パターンノイズとして画面に現れてしまう場合もあるという欠点がある。

本発明は、かかる事情に鑑みてなされたものであり、入力画像データの階調（例えば８ビット）よりも出力画像データの階調（例えば１４ビット）を大きくする場合に適用され、入力画像データに対して誤差拡散処理を行なう前に、インタポレーション処理を施すことにより、量子化誤差による量子化雑音成分と信号成分との分離を行ない易くし、量子化雑音の影響を低減可能とすることを目的としている。

本発明に係る第１の技術手段は、入力画像データの画素数を任意に定めた画素数まで増加させるインタポレーション処理回路と、該インタポレーション処理回路により画素数を増加させて入力された画像データを、画素毎に、前記入力画像データの階調よりも階調数が多い予め定めた所定の量子化レベルに量子化した画像データに変換して出力すると共に、入力された前記画像データの注目画素について量子化によって発生する量子化誤差を、該注目画素の近傍に位置する未量子化画素に対して拡散する処理を施す誤差拡散処理回路と、該誤差拡散処理回路によって所定の量子化レベルに変換されて出力される画像データの画素数を任意に定めた画素数まで低減させて出力画像データとして出力するデシメーション処理回路とを備え、前記入力画像データの階調よりも前記出力画像データの階調を多階調化する画像処理回路において、前記誤差拡散処理回路が、１フィールド前の画像データの誤差拡散処理時における各画素の誤差量を記憶する誤差量記憶回路を備え、該誤差量記憶回路に記憶された１フィールド前の該誤差量と現フィールドの誤差量との差分の絶対値が、予め定めた閾値以上となるように、或る注目画素について発生した量子化誤差に関し、該注目画素の近傍における未量子化画素それぞれに対して拡散する誤差量を変更して制御する誤差量制御回路を備えることを特徴としている。

本発明に係る第２の技術手段は、前記第１の技術手段に記載の画像処理回路において、前記誤差拡散処理回路が、更に、１フィールド前の画像データを記憶する画像記憶回路を備え、該画像記憶回路に記憶された１フィールド前の該画像データと現フィールドの画像データとを比較し、或る注目画素及び該注目画素の予め定めた範囲の近傍画素それぞれの画素値の比較結果に基づいて、前記誤差量制御回路が、１フィールド前の前記誤差量と現フィールドの誤差量との差分の絶対値が、予め定めた閾値以上となるように、前記注目画素について発生した量子化誤差に関し、該注目画素の近傍における未量子化画素それぞれに対して拡散する誤差量を変更して制御することを特徴としている。

本発明に係る第３の技術手段は、前記第２の技術手段に記載の画像処理回路において、前記画像データ間の比較結果として前記誤差量制御回路が誤差量を変更して制御する場合が、１フィールド前の画像データと現フィールドの画像データとの前記注目画素及び前記近傍画素の各画素値間の差分をそれぞれ算出し、算出された各画素間の差分の絶対値の総和が、予め定めた境界値以内であった場合であることを特徴としている。

本発明に係る第４の技術手段は、前記第１乃至第３の技術手段のいずれかに記載の画像処理回路において、前記誤差拡散処理回路が、更に、前記注目画素の近傍に位置する未量子化画素それぞれに対して拡散する誤差量に関するフィルタリング処理を施す誤差拡散用フィルタを備え、前記誤差量制御回路が誤差量を変更して制御する際に、前記誤差拡散用フィルタのフィルタ係数を変更することにより、拡散する誤差量を変更することを特徴としている。

本発明に係る第５の技術手段は、入力画像データの画素数をインタポレーション処理により画素数を任意に定めた画素数まで増加させるインタポレーション処理ステップと、該インタポレーション処理ステップにより画素数を増加させた画像データを、画素毎に、前記入力画像データの階調よりも階調数が多い予め定めた所定の量子化レベルに量子化した画像データに変換して出力すると共に、画素数を増加させた画像データの注目画素について量子化によって発生する量子化誤差を、該注目画素の近傍に位置する未量子化画素に対して拡散する処理を施す誤差拡散処理ステップと、該誤差拡散処理ステップによって所定の量子化レベルに変換されて出力される画像データの画素数を任意に定めた画素数まで低減させて出力画像データとして出力するデシメーション処理ステップとを有し、前記入力画像データの階調よりも前記出力画像データの階調を多階調化する画像処理方法において、１フィールド前の画像データの誤差拡散処理時における各画素の誤差量を記憶する誤差量記憶ステップを有し、前記誤差拡散処理ステップは、該誤差量記憶ステップにより記憶された１フィールド前の該誤差量と現フィールドの誤差量との差分の絶対値が、予め定めた閾値以上となるように、或る注目画素について発生した量子化誤差に関し、該注目画素の近傍における未量子化画素それぞれに対して拡散する誤差量を変更して制御することを特徴としている。

本発明に係る第６の技術手段は、前記第５の技術手段に記載の画像処理方法において、１フィールド前の画像データを記憶する画像記憶ステップを有し、該画像記憶ステップにより記憶された１フィールド前の該画像データと現フィールドの画像データとを比較し、或る注目画素及び該注目画素の予め定めた範囲の近傍画素それぞれの画素値の比較結果に基づいて、前記誤差拡散処理ステップは、１フィールド前の前記誤差量と現フィールドの誤差量との差分の絶対値が、予め定めた閾値以上となるように、或る注目画素について発生した量子化誤差に関し、該注目画素の近傍における未量子化画素それぞれに対して拡散する誤差量を変更して制御することを特徴としている。

本発明に係る第７の技術手段は、前記第６の技術手段に記載の画像処理方法において、前記画像データ間の比較結果として前記誤差量制御ステップが誤差量を変更して制御する場合が、１フィールド前の画像データと現フィールドの画像データとの前記注目画素及び前記近傍画素の各画素値間の差分をそれぞれ算出し、算出された各画素間の差分の絶対値の総和が、予め定めた境界値以内であった場合であることを特徴としている。

本発明に係る第８の技術手段は、前記第５乃至第７の技術手段のいずれかに記載の画像処理方法において、更に、前記注目画素の近傍に位置する未量子化画素それぞれに対して拡散する誤差量に関するフィルタリング処理を施す誤差拡散用フィルタリングステップを有し、前記誤差拡散処理ステップが、誤差量を変更して制御する際に、前記誤差拡散用フィルタリングステップのフィルタ係数を変更することにより、拡散する誤差量を変更することを特徴としている。

以上のごとき各技術手段から構成される本発明に係る画像処理回路及び画像処理方法によれば、以下のような効果が得られる。
まず、入力画像データの階調数よりも前記出力画像データを多階調化する画像処理を行なう場合に、入力画像データに重畳したノイズを基にして、画素数を増加させて新たなノイズを発生するので、発生ノイズに規則性が発生し難く、また、現フィールドの画像データの誤差量と１フィールド前の誤差量との差が或る閾値以上になるように誤差の拡散を変化させる誤差量制御回路を備えることとしているので、該誤差量制御回路により、現フィールドの画像データのノイズと１フィールド前のノイズとの相関性を抑えることが可能であり、画像データを、フレーム又はフィールド巡回型のノイズリダクション（ＤＮＲ）回路に通した時、固定パターン状のノイズが発生することがなく、画像データの解像度を劣化させずに、入力画像データの階調数を、必要とする階調数からなる多階調の画像データに変換することができる。

また、入力画像データの階調数よりも前記出力画像データを多階調化する画像処理を行なう場合に、入力画像データに重畳したノイズを基にして、画素数を増加させて新たなノイズを発生するので、発生ノイズに規則性が発生し難く、また、前記誤差量制御回路が、誤差を拡散させる誤差拡散用フィルタのフィルタ係数、即ち、伝達関数Ｇ（ｚ１，ｚ２）のフィルタ係数ｇ（ｉ，ｊ）、を変更することにより、誤差の拡散を変化させ、ノイズの発生パターンを変更するようにしているので、現フィールドの画像データのノイズと１フィールド前のノイズとの相関性を抑えることが可能であり、画像データや映像データを、フレーム又はフィールド巡回型のノイズリダクション（ＤＮＲ）回路に通した時、固定パターン状のノイズが発生することがなく、画像データや映像データの解像度を劣化させずに、入力画像データの階調数を、必要とする階調数からなる多階調の画像データに変換することができる。

本発明に係る画像処理回路及び画像処理方法は、入力画像データの画素数をインタポレーション処理により任意に定めた画素数まで増加させ、画素数を増加させた画像データを、画素毎に、前記入力画像データの階調よりも階調数が多い予め定めた所定の量子化レベルに量子化した画像データに変換した後、更に、デシメーション処理により任意に定めた画素数まで低減させて出力画像データとして出力すると共に、該入力画像データの注目画素について量子化によって発生する量子化誤差を、該注目画素の近傍に位置する未量子化画素に対して拡散する処理を施すことにより、前記入力画像データの階調よりも前記出力画像データの階調を多階調化することを特徴としている。もって、入力画像データの階調数よりも前記出力画像データを多階調化する画像処理を行なう場合に、入力画像データそのものを用いて画素数を増加させて新たなノイズを発生するので、発生ノイズに規則性を発生し難くすることが可能である。

また、１フィールド前の該画像データと現フィールドの画像データとを比較し、注目画素及び該注目画素の予め定めた範囲の近傍画素に関する両者の画像データ間の比較結果に基づいて、１フィールド前の該誤差量と現フィールドの誤差量との差分の絶対値が、予め定めた閾値以上となるように、注目画素について発生した量子化誤差を、該注目画素の近傍における未量子化画素の入力画像データに対して拡散する誤差量を変更して制御することを特徴としている。もって、現フィールドの画像データのノイズと１フィールド前のノイズとの相関性を抑えることが可能であり、画像データや映像データを、フレーム又はフィールド巡回型のノイズリダクション（ＤＮＲ）回路に通した時、固定パターン状のノイズが発生することがなく、画像データや映像データの解像度を劣化させずに、入力画像データの階調数を、必要とする階調数からなる多階調の画像データに変換することができる。

以下、本発明に係る画像処理回路及び画像処理方法の実施の形態について、画像処理回路を例にとって図面を参照しながら詳細に説明する。本発明に係る画像処理方法については、以下の画像処理回路の実施の形態に関する説明から容易に理解することができるので、具体的な実施の形態の説明は省略する。
図１は、本発明に係る画像処理装置の実施の形態の一構成例を示すブロック図である。
図１に示す画像処理回路１０において、信号入力端子１から入力した画像データは、インタポレーション処理回路２に入力される。インタポレーション処理回路２は、信号入力端子１から入力した画像データを記憶し、アップサンプリング回路２２に出力するメモリ２１と、メモリ２１からの画像データを水平ｎ倍、垂直ｎ倍（ｎは２以上の自然数で任意に定めた所定の数値）の画素数に増加させるアップサンプリング回路２２と、アップサンプリング回路２２により水平ｎ倍、垂直ｎ倍の画素数に増加した画像データをフィルタリング処理により補間するインタポレーション用フィルタ２３と、インタポレーション用フィルタ２３のフィルタリング処理により補間された画素値を有する画素を追加して、画素数を増加させた画像データとして記憶し、誤差拡散処理回路３に対して出力するメモリ２４とを備えている。

インタポレーション処理回路２におけるインタポレーション処理の一例を周波数振幅特性で表すと、図２のようになる。ここに、図２は、本発明に係る画像処理回路１０におけるインタポレーション処理の周波数振幅特性の一例を示す模式図である。
図２において、図２（Ａ）は、信号入力端子１から入力された画像データの周波数振幅特性を示し、図２（Ｂ）は、アップサンプリング回路２２により水平ｎ倍、垂直ｎ倍の画素数に増加し、インタポレーション用フィルタ２３のフィルタリング処理により補間された画像データの周波数振幅特性を示している。なお、図２は、１次元信号を例にとって示している。図２（Ａ）に示すω１はサンプリング周波数であり、図２（Ｂ）に示すω２は、図２（Ａ）のサンプリング周波数ω１のｎ倍の周波数となっている。

ここで、一般的な誤差拡散法の原理について説明する。誤差拡散法は、人間の視覚特性を考慮して、量子化誤差を高周波域に変調することによって目立たなくする方法である。図５は、前述したように、一般的な誤差拡散処理を実現するための画像処理回路の構成を示すブロック図である。

図５に示す一般的な誤差拡散処理回路３′は、前述の通り、信号入力端子３ａから入力される入力画像データｘ（ｉ，ｊ）から誤差拡散用フィルタ３５の出力データを減算する減算器３１と、この減算器３１からの出力データを量子化して、出力画像データｙ（ｉ，ｊ）として出力する量子化器３２と、出力画像データｙ（ｉ，ｊ）から減算器３１の出力データを減算して量子化誤差ｅ（ｉ，ｊ）を出力する減算器３３と、この減算器３３の出力データに対してフィルタリング処理を行なって、減算器３１に出力する誤差拡散用フィルタ３５とを備えている。ここで、ｉ，ｊは、互いに直交する２方向（以下、ｉ方向及びｊ方向という。）の各座標を表している。

また、誤差拡散用フィルタ３５は、前述の通り、それぞれ、ｉ方向、ｊ方向に関するｚ変換における変数をｚ１，ｚ２とした場合に、伝達関数Ｇ（ｚ１，ｚ２）を有する一種の線形フィルタであり、図５に示した誤差拡散処理回路３′の構成全体は、２次元のΣΔ（シグマ−デルタ）変調回路とみなすことができ、この誤差拡散処理回路３′における入出力関係は、前記式（１）のように与えられる。

なお、前記式（１）において、Ｙ（ｚ１，ｚ２），Ｘ（ｚ１，ｚ２），Ｅ（ｚ１，ｚ２）は、前述の通り、それぞれ、ｙ（ｉ，ｊ），ｘ（ｉ，ｊ），ｅ（ｉ，ｊ）をｚ変換した値であり、また、量子化誤差Ｅ（ｚ１，ｚ２）を変調するフィルタの伝達関数Ｈ（ｚ１，ｚ２）は、前述の通り、２次元の有限インパルス応答（ＦＩＲ）ハイパスフィルタを表しており、前記式（２）で与えられ、このハイパスフィルタは、量子化誤差Ｅ（ｚ１，ｚ２）の高周波域への変調特性を決定する誤差変調用フィルタとなる。

また、前記式（２）のＧ（ｚ１，ｚ２）は、前述の通り、前記式（３）で与えられるが、式（３）中の各項は、前述の通りであり、最初のΣはｎ１が−Ｎ１からＭ１についての総和を表し、次のΣはｎ２が−Ｎ２からＭ２についての総和を表している。ただし、Ｎ１，Ｍ１，Ｎ２，Ｍ２は、それぞれ所定の正の整数であり、また、ｇ（ｎ１，ｎ２）は、フィルタ係数であり、ｎ１＝０，ｎ２＝０が注目画素を表している。

図１に戻って、インタポレーション処理回路２において、図２に示したように、水平ｎ倍、垂直ｎ倍の任意に定めた画素数に増加した画像データが、誤差拡散処理回路３に入力されてくる。
ここで、誤差拡散処理回路３は、インタポレーション処理回路２から入力された入力画像データを、画素毎に、該入力画像データの階調よりも階調数が多い予め定めた所定の量子化レベルに量子化した画像データに変換して出力すると共に、該入力画像データの注目画素について量子化によって発生する量子化誤差を、該注目画素の近傍に位置する未量子化画素に対して拡散する処理を施すものであり、図５を用いて前述した一般的な誤差拡散処理回路３′に対して、誤差量制御回路３６とメモリ３４，３７及び３８とが追加されて構成されているものである。

即ち、誤差拡散処理回路３は、インタポレーション処理回路２において画素数を増加した入力画像データｘ（ｉ，ｊ）から誤差量制御回路３６の出力データを減算する減算器３１と、この減算器３１からの画像データを該画像データの階調よりも階調数が多い予め定めた所定の量子化レベルに量子化して、出力画像データｙ（ｉ，ｊ）として出力する量子化器３２と、出力画像データｙ（ｉ，ｊ）から減算器３１の出力データを減算して量子化誤差ｅ（ｉ，ｊ）を出力する減算器３３と、減算器３３から出力される量子化誤差ｅ（ｉ，ｊ）を記憶するメモリ３４と、誤差量制御回路３６の出力データである量子化誤差ｅ（ｉ，ｊ）が誤差拡散処理された際の誤差量を１フィールド分の間記憶するメモリ３７（即ち、１フィールド前の画像データの誤差拡散処理時における各画素の誤差量を記憶する誤差量記憶回路）と、インタポレーション処理回路２からの入力画像データｘ（ｉ，ｊ）を１フィールド分の間記憶するメモリ３８（即ち、１フィールド前の画像データを記憶する画像記憶回路）と、を備えている。

更に、誤差拡散処理回路３は、メモリ３４に記憶されている量子化誤差ｅ（ｉ，ｊ）に対してフィルタリング処理を行なって、或る注目画素の近傍に位置する未量子化画素に対して誤差を拡散する誤差量を決定して誤差量制御回路３６に対して出力する誤差拡散用フィルタ３５と、メモリ３７からの１フィールド前の誤差量と、誤差拡散用フィルタ３５からの現フィールドの誤差量との相関と、インタポレーション処理回路２からの現フィールドの入力画像データｘ（ｉ，ｊ）と、メモリ３８からの１フィールド前の入力画像データとの相関と、に基づいて、現フィールドの入力画像データｘ（ｉ，ｊ）の注目画素の近傍に位置する未量子化画素に対して誤差を拡散する誤差量を算出して、算出した誤差量を減算器３１に対して出力することを制御する誤差量制御回路３６を備えている。
ここで、ｉ，ｊは、互いに直交する２方向（以下、ｉ方向及びｊ方向という。）の各座標を表している。

誤差拡散処理回路３において、例えば、入力画像データｘ（ｉ，ｊ）の階調が８ｂｉｔの場合に、出力画像データｙ（ｉ，ｊ）の階調を１４ｂｉｔと多階調化して出力する場合、入力画像データｘ（ｉ，ｊ）の階調数からの増加分の６ｂｉｔを小数部として扱う。即ち、減算器３１の出力画像データは整数部と小数部とで構成されており、減算器３１において、インタポレーション処理回路２からの入力画像データｘ（ｉ，ｊ）は整数部として、一方、誤差量制御回路３６からの誤差量データは小数部として減算される。量子化器３２は、減算器３１からの演算データを量子化すると共に、整数化して減算器３３に出力する。量子化器３２における整数化の方法は、小数点第１桁目で四捨五入、又は、小数点以下切捨て、又は、小数点以下切上げ等の各種方法がある。

一方、量子化器３２からデシメーション処理回路４へ出力される出力画像データｙ（ｉ，ｊ）は、整数部８ｂｉｔ、小数部６ｂｉｔとして、即ち、（整数部＋小数部）の合計１４ｂｉｔとして出力される。ここで、誤差拡散処理回路３において扱う小数部は、増加階調（６ｂｉｔ＋１ｂｉｔ）以上の精度で行ない、小数部第６ｂｉｔ目への丸め処理の方法は、小数点第７桁目で四捨五入、又は、小数点第７桁以下切捨て、又は、小数点第７桁以下切上げ等の各種方法がある。

量子化器３２で整数化されて、減算器３３に出力された画像データと、減算器３１からの画像データとを、減算器３３において減算することにより、減算器３３の出力である量子化誤差ｅ（ｉ，ｊ）は、１以下の小数部のみとなり、メモリ３４に記憶される。誤差拡散用フィルタ３５は、前述のように、近傍に位置する未量子化画素に対して量子化誤差を拡散するためのフィルタリングを施すもので、一種の線形フィルタであり、その伝達関数をＧ（ｚ１，ｚ２）とすると、Ｇ（ｚ１，ｚ２）のフィルタ係数ｇ（ｉ，ｊ）は、式（４）、式（５）に一例を示すような形で与えられる。

式（４）は、非特許文献１にも示すように、Ｆｌｏｙｄ＆Ｓｔｅｉｎｂｅｒｇのフィルタ（以下、Ｆｌｏｙｄのフィルタと言う。）と呼ばれるものであり、ｉは−２から２まで、ｊは０から２までのｚ変換座標における範囲であり、ｉ＝０，ｊ＝０が、注目画素を表す。即ち、注目画素ｘ（０，０）よりも、ｚ変換座標上水平左側に位置する量子化済みの画素（−１，０），ｘ（−２，０）に対しては、誤差を拡散させることなく、一方、ｚ変換座標上水平右側に位置する未量子化画素ｘ（１，０），ｘ（２，０）には、それぞれ、メモリ３４からの量子化誤差ｅ（０，０）のうち、誤差量の（７／４８），（５／４８）ずつ誤差を拡散する。更に、注目画素ｘ（０，０）のｚ変換座標上１列下にある未量子化画素ｘ（−２，１），ｘ（−１，１），ｘ（０，１），ｘ（１，１），ｘ（２，１）には、それぞれ、誤差量の（３／４８），（５／４８），（７／４８），（５／４８），（３／４８）ずつ誤差を拡散する。更に、注目画素ｘ（０，０）のｚ変換座標上２列下にある未量子化画素ｘ（−２，２），ｘ（−１，２），ｘ（０，２），ｘ（１２１），ｘ（２，２）には、それぞれ、誤差量の（１／４８），（３／４８），（５／４８），（３／４８），（１／４８）ずつ誤差を拡散する。

一方、式（５）は、Ｊａｒｖｉｓ，Ｊｕｄｉｃｅ＆Ｎｉｎｋｅのフィルタ（以下、Ｊａｒｖｉｓのフィルタと言う。）と呼ばれるもので、ｉは−１から１まで、ｊは０から１までのｚ変換座標における範囲であり、ｉ＝０，ｊ＝０が、注目画素を表す。即ち、注目画素ｘ（０，０）よりも、ｚ変換座標上水平左側に位置する量子化済みの画素（−１，０）に対しては、誤差を拡散させることなく、一方、ｚ変換座標上水平右側に位置する未量子化画素ｘ（１，０）には、メモリ３４からの量子化誤差ｅ（０，０）のうち、誤差量の（７／１６）だけ誤差を拡散する、更に、注目画素ｘ（０，０）のｚ変換座標上１列下にある未量子化画素ｘ（−１，１），ｘ（０，１），ｘ（１，１）には、それぞれ、誤差量の（３／１６），（５／１６），（１／１６）ずつ誤差を拡散する。

メモリ３４からの量子化誤差ｅ（ｉ，ｊ）は、前述の式（４）や式（５）などに示すようなフィルタ係数を用いて、誤差拡散用フィルタ３５においてフィルタリング処理が施されて、誤差量制御回路３６に入力される。
誤差量制御回路３６は、メモリ３７からの１フィールド前の誤差量と誤差拡散用フィルタ３５からの現在の誤差量との相関と、更に、インタポレーション処理回路２からの現在の入力画像データｘ（ｉ，ｊ）とメモリ３８からの１フィールド前の入力画像データとの相関と、に基づいて、減算器３１に出力する誤差量を制御する。誤差量制御回路３６の動作の一例は例えば次の通りである。

メモリ３７からの１フィールド前の誤差量と誤差拡散用フィルタ３５からの現在の誤差量との差分を求め、更に、インタポレーション処理回路２からの現在の入力画像データと、メモリ３８からの１フィールド前の入力画像データとの相関を求める。現在の入力画像データと１フィールド前の入力画像データとの相関としては、注目画素ｘ（ｉ，ｊ）と該注目画素の近傍画素との画素値について、現フィールドと１フィールド前の画像データとの間の差分をそれぞれ算出し、該差分の絶対値の総和を求めることにより、相関の有無を判断する。ここで、近傍画素の範囲としては、注目画素ｘ（ｉ，ｊ）からの予め定めた距離にある範囲であり、例えば、ｍ×ｍ（ｍは３以上の奇数）の範囲とする。

現フィールドと１フィールド前の画像データとの間の相関の大きさとして求めた前記総和が、予め定めた一定の境界値以内であった場合は、相関が有りと判定し、メモリ３７からの１フィールド前の誤差量と、誤差拡散用フィルタ３５からの現在の誤差量との差の絶対値が、予め定めた或る閾値以上に大きくなるように、減算器３１に出力する誤差量を制御する。

つまり、誤差量制御回路３６は、メモリ３７からの１フィールド前の誤差量と誤差拡散用フィルタ３５からの現在のフィールドの誤差量との相関、及び、インタポレーション処理回路２からの現フィールドの入力画像データとメモリ３８からの１フィールド前の入力画像データとの相関とに基づいて、或る注目画素ｘ（ｉ，ｊ）に対する誤差拡散用フィルタ３５の伝達関数Ｇ（ｚ１，ｚ２）のフィルタ係数ｇ（ｉ，ｊ）を制御するものであり、該誤差量制御回路３６の動作は、例えば次の通りである。

前述のように、メモリ３７からの１フィールド前の誤差量と誤差拡散用フィルタ３５からの現在の誤差量との差分を求めると共に、インタポレーション処理回路２からの現在の入力画像データとメモリ３８からの１フィールド前の入力画像データとの相関を、注目画素ｘ（ｉ，ｊ）と該注目画素の近傍画素との各画素値の差分の絶対値の総和を求めることにより、両者の画像データの注目画素ｘ（ｉ，ｊ）に関する相関の有無を判断する。ここで、近傍画素の範囲としては、前述したごとく、注目画素ｘ（ｉ，ｊ）からの予め定めた距離にある範囲であり、例えば、ｍ×ｍ（ｍは３以上の奇数）の範囲である。

現フィールドと１フィールド前の画像データとの間の相関の大きさとして求めた総和が、前述の通り、予め定めた一定の境界値以内の小さい値であった場合は、相関が有りと判定し、メモリ３７からの１フィールド前の誤差量と、誤差拡散用フィルタ３５からの現フィールドの誤差量との差の絶対値が、画像全体で、予め定めた或る閾値以下であった場合、誤差拡散用フィルタ３５の伝達関数Ｇ（ｚ１，ｚ２）のフィルタ係数ｇ（ｉ，ｊ）を変更し、予め定めた或る閾値よりも大きくなるように、誤差拡散用フィルタ３５を制御する。

変更するフィルタ係数ｇ（ｉ，ｊ）の一例としては、例えば、式（４）のＦｌｏｙｄのフィルタから式（５）のＪａｒｖｉｓのフィルタへ、あるいは、逆に、式（５）のＪａｒｖｉｓのフィルタから式（４）のＦｌｏｙｄのフィルタへ、あるいは、式（４）のＦｌｏｙｄのフィルタから次の式（６）に示すＦｌｏｙｄの変形フィルタへ、あるいは、式（５）のＪａｒｖｉｓのフィルタから次の式（７）に示すＪａｒｖｉｓの変形フィルタへ、あるいは、式（６）のＦｌｏｙｄの変形フィルタから式（７）のＪａｒｖｉｓの変形フィルタへ、あるいは、逆に、式（７）のＪａｒｖｉｓの変形フィルタから式（６）のＦｌｏｙｄの変形フィルタへ、あるいは、他の誤差拡散用フィルタへ、等の変更も含めて、各種の組み合わせを用いることができる。

ここで、式（６）のＦｌｏｙｄの変形フィルタは、式（４）のＦｌｏｙｄのフィルタの転置行列、また、式（７）のＪａｒｖｉｓの変形フィルタは、式（５）のＪａｒｖｉｓのフィルタの転置行列を示す関係となっており、式（６）は、ｉは０から２まで、ｊは０から４までの範囲であり、ｉ＝０，ｊ＝０が、注目画素を表す。一方、式（７）は、ｉは０から１まで、ｊは０から２までの範囲であり、ｉ＝０，ｊ＝０が、注目画素を表す。
かくのごとく、誤差拡散用フィルタ３５の伝達関数Ｇ（ｚ１，ｚ２）のフィルタ係数ｇ（ｉ，ｊ）を変更することにより、誤差拡散用フィルタ３５により発生される誤差量のパターンが変化する。

誤差拡散処理回路３において、誤差を拡散して、かつ、階調数を増加した出力画像データｙ（ｉ，ｊ）は、デシメーション処理回路４に入力される。デシメーション処理回路４は、入力された画像データの画素数を任意に定めた画素数まで低減させて出力画像データとして出力するものであり、誤差拡散処理回路３から入力された出力画像データｙ（ｉ，ｊ）を記憶するメモリ４１と、メモリ４１からの画像データから誤差拡散処理回路３で発生した量子化誤差ｅ（ｉ，ｊ）をフィルタリング処理により除去するデシメーション用フィルタ４２と、デシメーション用フィルタ４２のフィルタリング処理により量子化誤差が除去された画像データを、水平（１／ｎ）倍、垂直（１／ｎ）倍（ｎはアップサンプリング回路２２に適用した自然数と同じ値の自然数）に画素数を低減して、信号入力端子１に入力された画像データと同じ画素数からなる画像データを得て信号出力端子５に出力するダウンサンプリング回路４３とを備えている。

デシメーション処理回路４におけるデシメーション処理の一例を周波数振幅特性で表すと、誤差拡散処理回路３から入力した画像データは図２（Ｃ）のようになり、デシメーション用フィルタ４２において量子化誤差（量子化雑音）を除去された後の画像データは図２（Ｂ）のようになり、ダウンサンプリング回路４３において水平（１／ｎ）倍、垂直（１／ｎ）倍に画素数を低減した画像データは図２（Ｄ）のようになり、信号入力端子１から入力した図２（Ａ）の入力画像データの周波数振幅特性と同じ周波数振幅特性を有し、かつ、階調数を増加させた画像データが出力される。

なお、以上に説明した実施例は、本発明に係る画像処理回路及び画像処理方法の一例を示したものであり、入力画像データの階調よりも多階調化した画像データを出力するための画像処理を行なう際に、画素数を増加させると共に、ノイズの相関性を抑える形で誤差拡散処理を施した後、画素数を元の画素数に復元させるように構成するものであれば、如何なる構成であっても構わない。

例えば、図１に示す画像処理回路においては、誤差拡散用フィルタ３５を備え、該誤差拡散用フィルタ３５のフィルタ係数を、誤差量制御回路３６により変更制御して、１フィールド前の誤差量との差分が予め定めた閾値以上になるように、変更する例を示しているが、誤差拡散用フィルタ３５を用いることなく、誤差量制御回路３６自身が、１フィールド前の誤差量との差分が予め定めた閾値以上になるように減算器３１へ入力する誤差量を直接変更制御することとしても良い。あるいは、１フィールド前の画像データとの画素値間の差分が予め定めた境界値以下に小さく、相関が大きいと判定された場合に、１フィールド前の誤差量との差分が予め定めた閾値以上になるように制御する例を示しているが、場合によっては、１フィールド前の画像データとの画素値間の相関が大きいか否かを判定する処理を行なうことなく、常に１フィールド前の誤差量との差分が予め定めた閾値以上になるように制御するようにしても良い。

また、前述の実施例においては、図１に示すインタポレーション回路２で増加させる画素数とデシメーション回路４で減少させる画素数とを一致させて、入力画像データと出力画像データとの画素数が一致するように画像処理がなされる場合について説明したが、場合によっては、増減する画素数を異ならせて、入力画像データと出力画像データとの画素数が異なるように構成しても構わない。

本発明に係る画像処理装置の実施の形態の一構成例を示すブロック図である。 本発明に係る画像処理装置におけるインタポレーション処理の周波数振幅特性の一例を示す模式図である。 従来技術における多階調化回路の構成を示すブロック図である。 従来技術における多階調化回路の構成を示すブロック図である。 一般的な誤差拡散処理を実現するための画像処理回路の構成を示すブロック図である。

符号の説明

１…信号入力端子、２…インタポレーション処理回路、３，３′…誤差拡散処理回路、３ａ…信号入力端子、３ｂ…信号出力端子、４…デシメーション処理回路、５…信号出力端子、１０…画像処理回路、２１，２４，３４，３７，３８，４１…メモリ、２２…アップサンプリング回路、２３…インタポレーション用フィルタ、３１，３３…減算器、３２…量子化器、３５…誤差拡散用フィルタ、３６…誤差量制御回路、４２…デシメーション用フィルタ、４３…ダウンサンプリング回路、６１…加算器、６２…ノイズ発生回路、６３，６５…多階調化回路、６４…フィルタ。

Claims (8)

1. 入力画像データの画素数を任意に定めた画素数まで増加させるインタポレーション処理回路と、該インタポレーション処理回路により画素数を増加させて入力された画像データを、画素毎に、前記入力画像データの階調よりも階調数が多い予め定めた所定の量子化レベルに量子化した画像データに変換して出力すると共に、入力された前記画像データの注目画素について量子化によって発生する量子化誤差を、該注目画素の近傍に位置する未量子化画素に対して拡散する処理を施す誤差拡散処理回路と、該誤差拡散処理回路によって所定の量子化レベルに変換されて出力される画像データの画素数を任意に定めた画素数まで低減させて出力画像データとして出力するデシメーション処理回路とを備え、前記入力画像データの階調よりも前記出力画像データの階調を多階調化する画像処理回路において、
   前記誤差拡散処理回路が、１フィールド前の画像データの誤差拡散処理時における各画素の誤差量を記憶する誤差量記憶回路を備え、該誤差量記憶回路に記憶された１フィールド前の該誤差量と現フィールドの誤差量との差分の絶対値が、予め定めた閾値以上となるように、或る注目画素について発生した量子化誤差に関し、該注目画素の近傍における未量子化画素それぞれに対して拡散する誤差量を変更して制御する誤差量制御回路を備えることを特徴とする画像処理回路。
2. 請求項１に記載の画像処理回路において、前記誤差拡散処理回路が、更に、１フィールド前の画像データを記憶する画像記憶回路を備え、該画像記憶回路に記憶された１フィールド前の該画像データと現フィールドの画像データとを比較し、或る注目画素及び該注目画素の予め定めた範囲の近傍画素それぞれの画素値の比較結果に基づいて、前記誤差量制御回路が、１フィールド前の前記誤差量と現フィールドの誤差量との差分の絶対値が、予め定めた閾値以上となるように、前記注目画素について発生した量子化誤差に関し、該注目画素の近傍における未量子化画素それぞれに対して拡散する誤差量を変更して制御することを特徴とする画像処理回路。
3. 請求項２に記載の画像処理回路において、前記画像データ間の比較結果として前記誤差量制御回路が誤差量を変更して制御する場合が、１フィールド前の画像データと現フィールドの画像データとの前記注目画素及び前記近傍画素の各画素値間の差分をそれぞれ算出し、算出された各画素間の差分の絶対値の総和が、予め定めた境界値以内であった場合であることを特徴とする画像処理回路。
4. 請求項１乃至３のいずれかに記載の画像処理回路において、前記誤差拡散処理回路が、更に、前記注目画素の近傍に位置する未量子化画素それぞれに対して拡散する誤差量に関するフィルタリング処理を施す誤差拡散用フィルタを備え、前記誤差量制御回路が誤差量を変更して制御する際に、前記誤差拡散用フィルタのフィルタ係数を変更することにより、拡散する誤差量を変更することを特徴とする画像処理回路。
5. 入力画像データの画素数をインタポレーション処理により画素数を任意に定めた画素数まで増加させるインタポレーション処理ステップと、該インタポレーション処理ステップにより画素数を増加させた画像データを、画素毎に、前記入力画像データの階調よりも階調数が多い予め定めた所定の量子化レベルに量子化した画像データに変換して出力すると共に、画素数を増加させた画像データの注目画素について量子化によって発生する量子化誤差を、該注目画素の近傍に位置する未量子化画素に対して拡散する処理を施す誤差拡散処理ステップと、該誤差拡散処理ステップによって所定の量子化レベルに変換されて出力される画像データの画素数を任意に定めた画素数まで低減させて出力画像データとして出力するデシメーション処理ステップとを有し、前記入力画像データの階調よりも前記出力画像データの階調を多階調化する画像処理方法において、
   １フィールド前の画像データの誤差拡散処理時における各画素の誤差量を記憶する誤差量記憶ステップを有し、前記誤差拡散処理ステップは、該誤差量記憶ステップにより記憶された１フィールド前の該誤差量と現フィールドの誤差量との差分の絶対値が、予め定めた閾値以上となるように、或る注目画素について発生した量子化誤差に関し、該注目画素の近傍における未量子化画素それぞれに対して拡散する誤差量を変更して制御することを特徴とする画像処理方法。
6. 請求項５に記載の画像処理方法において、１フィールド前の画像データを記憶する画像記憶ステップを有し、該画像記憶ステップにより記憶された１フィールド前の該画像データと現フィールドの画像データとを比較し、或る注目画素及び該注目画素の予め定めた範囲の近傍画素それぞれの画素値の比較結果に基づいて、前記誤差拡散処理ステップは、１フィールド前の前記誤差量と現フィールドの誤差量との差分の絶対値が、予め定めた閾値以上となるように、前記注目画素について発生した量子化誤差に関し、該注目画素の近傍における未量子化画素それぞれに対して拡散する誤差量を変更して制御することを特徴とする画像処理方法。
7. 請求項６に記載の画像処理方法において、前記画像データ間の比較結果として前記誤差量制御ステップが誤差量を変更して制御する場合が、１フィールド前の画像データと現フィールドの画像データとの前記注目画素及び前記近傍画素の各画素値間の差分をそれぞれ算出し、算出された各画素間の差分の絶対値の総和が、予め定めた境界値以内であった場合であることを特徴とする画像処理方法。
8. 請求項５乃至７のいずれかに記載の画像処理方法において、更に、前記注目画素の近傍に位置する未量子化画素それぞれに対して拡散する誤差量に関するフィルタリング処理を施す誤差拡散用フィルタリングステップを有し、前記誤差拡散処理ステップが、誤差量を変更して制御する際に、前記誤差拡散用フィルタリングステップのフィルタ係数を変更することにより、拡散する誤差量を変更することを特徴とする画像処理方法。

Images