JP4065308B2

JP4065308B2 - 中央値抽出回路及びこれを用いた画像処理装置

Info

Publication number: JP4065308B2
Application number: JP2007114176A
Authority: JP
Inventors: 剛司中井
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2007-04-24
Filing date: 2007-04-24
Publication date: 2008-03-26
Anticipated expiration: 2019-02-01
Also published as: JP2007243981A

Description

本発明は複数の数値データの中央値（メディアン）を抽出する回路及びこれを用いたデジタル画像の画像処理装置に関する。

ＣＣＤ固体撮像素子を備えたデジタルビデオカメラや、デジタル放送などに用いられるデジタル映像は、映像情報を各画素ごとに数値データとして保持している。映像情報とは、例えば各画素の輝度データや色データなどで、各画素に例えば８ビットデータの場合０〜２５５までの数値が割り当てられている。デジタルビデオカメラでは、プリズムなどを用いて自然光を３原色に分解し、それぞれの輝度を各画素ごとに数値として保持することで画像を記録する。

ところで、デジタル画像を撮影したり、画像を機器間で転送したりする際に、画像情報にノイズが混ざる場合がある。アナログ映像と異なり、デジタル映像にノイズが混ざると、単一画素もしくは数個の画素に影響が現れることが多い。このようなノイズが現れた画素のデータは、一般的に周囲の正常な画素のデータとは大きく離れた値を有し、映像を表示した際に、視覚的には輝点や、暗点として認識される。

このようなノイズを除去する手法の一つとして、メディアンフィルタという手法が提案されている。以下にメディアンフィルタについて説明する。図７（ａ）は、画像データの例であり、矩形一つが画素の一つに当たる。矩形の中に示された数値は画素に与えられた画像の数値データの例である。この場合、ほとんどの画素は１４〜１７の数値データを有するが、画素５１は、数値データが１５０と、周囲のデータと値が大きく離れており、これはノイズである。メディアンフィルタを用いて画素５１の値を修正する。画素５１とその周囲３×３画素の領域（３×３マトリックス）５２にある９つのデータに注目する。これらのデータを小さい順に並べると、
１４１５１５１５１６１６１６１７１５０
となる。このうち、５番目の値、即ちデータの中央に位置する値を中央値（メディアン）と呼び、この場合１６である。画素５１のデータとして、この中央値１６を採用する。以上の操作を全ての画素において行う画像処理をメディアンフィルタと呼ぶ。図７（ａ）の映像情報にメディアンフィルタをかけた結果を図７（ｂ）に示す。画素５１’は、メディアンフィルタによって値が１６に修正されている。ノイズである値１５０は、マトリックスの中で中央値となることはほとんどなく、除去される。

メディアンフィルタを用いると、ノイズの除去具合、画像の輪郭の保持などの観点から、例えば画素の周囲のデータと平均を取る方法などに比較して、良好な結果を得ることができる。

メディアンフィルタは、９つの画素の数値データを読み込み、これを大きさの順にソートした後、中央値を抽出する、という複雑な処理を行う。このため、従来のメディアンフィルタを行う画像処理装置は、中央演算回路（ＣＰＵ）によって制御されたデジタルシグナルプロセッサ（ＤＳＰ）等を備え、これを用いて、ソフトウェア的にメディアンフィルタ処理を行っていた。従って、ビデオカメラや、デジタル放送受信機などに組み込む場合、ＣＰＵを用いなければならないため、機器のコストが上昇する問題がある。

また、メディアンフィルタ処理は複雑であるので、画像処理時間が増大し、速度の遅いＣＰＵを用いて、逐次メディアンフィルタ処理を施してビデオ映像を表示しようとした場合、リアルタイムで処理しきれないという問題も生じていた。

本発明は、上記課題を解決するためになされたものであり、単純な比較回路を組み合わせることによって、９つの入力データの中央値を抽出する中央値抽出回路と、これを用いてメディアンフィルタ処理を実行する画像処理装置を提供することを目的とする。

本発明は上記課題を解決するためになされ、９個の数値データの中央値を抽出する回路であって、前記数値データから１つのデータを除いた８個の数値データから中央の２つのデータを出力する２値抽出回路と、該２値抽出回路が出力した２つのデータと、前記除いた１つのデータとを比較して、この３つのデータの中央値を出力する３値比較回路とを有する中央値抽出回路である。

また、前記２値抽出回路は、４つの比較回路と、これらの出力のうち、それぞれ大きい方のデータを比較して、最大、最小、中央２つの出力を行う第１の４値比較回路と、それぞれ小さい方のデータを比較する第２の４値比較回路と、第１の４値比較回路の中央２つの出力を比較する第５の比較回路と、第２の４値比較回路の中央２つの出力を比較する第６の比較回路と、第５の比較回路の小さい方の出力と、第１の４値比較回路の最小の出力と、第６の比較回路の大きい方の出力と、第２の４値比較回路の最大の出力が入力され、この値を比較して、すくなくとも中央２つの出力を行う第３の４値比較回路と、４値比較回路の中央２つの出力が入力され、この値を比較する第７の比較回路を有する。

２値比較回路は、４つの比較回路と、これらの出力のうち、それぞれ大きい方のデータを比較して、最大、最小、中央２つの出力を行う第１の４値比較回路と、それぞれ小さい方のデータを比較する第２の４値比較回路と、第１の４値比較回路の中央２つの出力を比較する第５の比較回路と、第２の４値比較回路の中央２つの出力を比較する第６の比較回路と、第５の比較回路の小さい方の出力と、第２の４値比較回路の最大の出力を比較する第７の比較回路と、第６の比較回路の大きい方の出力と、第１の４値比較回路の最小の出力を比較する第８の比較回路と、第７の比較回路の小さい方の出力と、第８の比較回路の大きい方の出力値を比較する第９の比較回路を有する。

デジタル画像データが入力され、デジタル画像データの、画素と該画素の周囲を囲む画素のデータを出力するマトリックス作成回路と、マトリックス作成回路の出力の中央値を出力する画像処理装置である。

本発明の中央値抽出回路によれば、比較的簡単な比較回路の組み合わせによって９つのデータの中央値を抽出することができる。

また、本発明の中央値抽出回路は、動作速度が早く、これを用いた本発明の画像処理装置によれば、画像情報にリアルタイムにメディアンフィルタ処理を施すことができる。

また、本発明の中央値抽出回路は、ＣＰＵを必要としないので、安価に製造できる。

図１乃至図３は本発明の一実施形態を示している。図１は、８つの数値データ（入力１〜入力８）が入力され、第１乃至第１９の比較回路を組み合わせて、その値が８つのデータの中央２つのデータを出力する２値抽出回路である。２値抽出回路から最終的に出力さ
れるデータ値の、大きい方をＡ、小さい方をＢとする。図２は、図１の抽出回路の出力Ａ及びＢと、９つ目のデータが入力され、それらの中央値を出力する３値比較回路である。図１の２値抽出回路と図２の３値比較回路とを組み合わせることによって、９つのデータの中央値を出力することができる。図３は、図１及び図２において用いられる、矩形で示された第１〜第２１の比較回路に共通の具体的回路の例である。

図１及び図２に矩形示されたそれぞれの比較回路には、二つのデータが入力され、その値を比較して大きい方を「大」と示された出力端子に出力し、小さい方を「小」と示された出力端子に出力する。比較回路は例えば図３に示したように、第１、第２の入力端子と、入力値ａ、ｂがそれぞれ入力されるコンパレータとセレクタ、第１、第２の出力端子からなる。コンパレータは第１、第２の入力値を比較し、例えば第１の入力値が大きいとハイ、第２の入力値が大きいとローを出力する。セレクタはコンパレータの出力によって切り替わり、例えば、コンパレータの出力がハイならば第１の入力値を第１の出力端子に、第２の入力値を第２の出力端子に出力し、コンパレータの出力がローならば第１の入力値を第２の出力端子に、第２の入力値を第１の出力値に出力する。この場合、第１の出力端子が「大」、第２の出力端子が「小」になる。コンパレータは、入力値が同じ場合はハイ、ローいずれかを出力するように設定されている。入力値が同じならば、「大」「小」いずれの出力端子にも同じ値が出力されるので、どちらに設定しておいてもよい。

次に、図１の２値抽出回路について詳述する。第１の比較回路１には第１及び第２のデータ（入力１、２）が入力され、第２の比較回路２には第３及び第４のデータ（入力３、４）が入力され、第３の比較回路３には第５及び第６のデータ（入力５、６）が入力され、第４の比較回路４には第７及び第８のデータ（入力７、８）が入力される。第５の比較回路及び第６の比較回路には、それぞれ第１，２の比較回路、第３，４の比較回路の大きい方の値が入力され、第７の比較回路及び第８の比較回路には、それぞれ第１、２の比較回路、第３、４の比較回路の小さい方の値が入力される。第９の比較回路９には、第５及び第６の比較回路の大きい方の値が入力され、第１０の比較回路には、その小さい方の値が入力される。第１１の比較回路１１には、第７及び第８の比較回路の大きい方の値が入力され、第１２の比較回路には、その小さい方の値が入力される。

さて、第５〜第８の比較回路の出力を、図中に示したように順にａ〜ｈとすると、以下のことがいえる。ここでグループ１とは、入力１〜入力４であり、グループ２とは、入力５〜入力８であるとする。

出力ａは、グループ１の中の一番大きい値である。

出力ｂは、グループ１の中に前後に少なくとも１つの値がある。

出力ｃは、グループ２の中の一番大きい値である。

出力ｄは、グループ２の中に前後に少なくとも１つの値がある。

出力ｅは、グループ１の中の前後に少なくとも１つの値がある。

出力ｆは、グループ１の中の一番小さい値である。

出力ｇは、グループ１の中の前後に少なくとも１つの値がある。

出力ｈは、グループ２の中の一番小さい値である。

第９の比較回路９にはａとｃが入力されるので、この「大」出力端子（以下、大きい出力と表記）から出力される、出力Ｎｏ.１は入力１〜入力８の中の一番大きい値である。同様に、ｆとｈが入力される第１２の比較回路１２の「小」出力端子の出力（以下、小さい出力と表記）Ｎｏ.８は、入力１〜入力８の中の一番小さい値である。従って、出力Ｎｏ.１及び出力Ｎｏ.８は中央値ではあり得ない。

第９〜第１２の比較回路の出力のうち、出力Ｎｏ.１、Ｎｏ.８を除いた出力を図示したように順にｉ〜ｎとする。

出力ｉは、グループ１もしくは２の中で一番大きい値である。

出力ｊは、出力ｂと出力ｄの比較結果のうち大きい方であるので、出力ｊは、グループ１と２に一つずつ、より小さい値を有し、かつ出力ｊより小さい値が少なくとも３つある。

第１３の比較回路には、ｉとｊが入力されるので、この「大」出力端子から出力される出力Ｎｏ.２は、少なくとも５つ、より小さい値を有するので、中央値ではあり得ない。

出力ｎは、グループ１もしくは２の中で一番小さい値である。

出力ｍは、出力ｅと出力ｇの比較結果のうち小さい方であるので、出力ｍは、グループ１と２に一つずつ、より大きい値を有し、かつ出力ｍより大きい値が少なくとも３つある。

第１４の比較回路には、ｍとｎが入力されるので、この「小」出力端子から出力される出力Ｎｏ.７は、少なくとも５つ、より大きい値を有するので、中央値ではあり得ない。

第１５の比較回路１５には、第１０及び第１３の比較回路の小さい方の値が入力される。第１６の比較回路１６には、第１２及び第１４の比較回路の大きい方の値が入力される。ここで、あらためて、第１５及び第１６の比較回路に入力されるデータをｏ〜ｒとする。第１７の比較回路１７には、第１５及び第１６の比較回路の大きい方の出力が、第１８の比較回路１８には、その小さい方の出力が、それぞれ入力されるので、出力Ｎｏ.３は、ｏ〜ｒの最大値、出力Ｎｏ.６は最小値である。従って、出力Ｎｏ.３、出力Ｎｏ.６は中央値ではない。

従って、第１７の比較回路１７の小さい方の出力と、第１８の比較回路１８の大きい方の出力が、入力１〜入力８の中央２つのデータということになる。この二つのデータは、第１９の比較回路１９に入力される。第１９の比較回路から出力される大きい方の値をＡ、小さい方の値をＢとする。

次に図２を用いて３値比較回路の説明をする。２値抽出回路の大きい方の出力Ａと、第９のデータ（入力９）が、第２０の比較回路２０に入力される。次に、第２０の比較回路の小さい方の出力と、２値抽出回路の小さい方の出力Ｂとが、第２１の比較回路２１に入力される。第２１の比較回路２１の「大」出力端子から出力されるデータが、Ａ、Ｂ、入力９の３つのデータの中央値であり、即ち、入力１〜入力９の中央値である。

本発明の中央値抽出回路は、図１の２値抽出回路及び、図２の３値比較回路をあわせた回路である。９つのデータのうち、８つのデータの中央２つのデータをまず抽出し、残り１つのデータを加えた３つのデータを比較するようにしたことによって、単純な比較回路の組み合わせによって、中央値の抽出ができるようになった。

ところで、論理回路によってデータの比較、抽出を行う場合、所定周期のクロック信号によって、種々の回路のタイミングをそろえて動作させることによって、所定の処理を行うことが多い。これに対し、本発明の中央値抽出回路は、前述したように、入力に対し、中央値を出力するまで、全ての動作を、クロック信号に関係なく行うことができる。従って、本発明の中央値抽出回路の動作時間は、回路内の抵抗等による遅延時間程度であり、クロック信号によって動作する回路や、ソフトウェア的に処理する回路に比較して、高速に中央値を出力することができる。また、そのような回路に比較して、回路構成が簡単である。

図４は、本発明の第２の実施形態の２値抽出回路である。入力１〜入力８が入力され、その中央２つの値Ａ、Ｂが出力される。データの入力及び第１〜第１４の比較回路までは、図１の第１の実施形態と同様であり、説明を省略する。第１の実施形態の説明で用いた、第５〜第１２の比較回路の出力に付した符号ａ〜ｒを再び使用して、第１５の比較回路２２以降の回路動作について説明する。

出力ｊは、グループ１と２に一つずつ、より小さい値を有し、かつより小さい値が少なくとも３つある。

出力ｌは、出力ｅ〜ｈの中の最大の値である。即ち、グループ１と２に少なくとも一つずつ、より小さい値を有し、かつより小さい値が少なくとも３つある。

第１５の比較回路２２には、ｉ、ｊのうちの小さい方の値と、データｌが入力される。従って、比較回路２２の「大」出力端子の出力No.3は、少なくとも５つ、より小さい値を有するので、中央値ではあり得ない。

出力ｍは、グループ１もしくは２の中で一番小さい値である。

出力ｎは、グループ１と２に一つずつ、より大きい値を有し、かつより大きい値が少なくとも３つある。

出力ｋは、出力ａ〜ｄの中の最小の値である。即ち、グループ１と２に少なくとも一つずつ、より大きい値を有し、かつより大きい値が少なくとも３つある。

第１６の比較回路２３には、ｍ、ｎのうちの大きい方の値と、データｋが入力される。従って、比較回路２３の「小」出力端子の出力Ｎｏ.６は、少なくとも５つ、より大きい値を有するので、中央値ではあり得ない。

比較回路２２の「小」出力と、比較回路２３の「大」出力は、入力１〜入力８の中央２つの値であり、これらが第１７の比較回路２４に入力される。比較回路２４の「大」出力がＡ、「小」出力がＢである。

出力Ａ、Ｂは、入力９とともに図２の３値比較回路に入力され、第１の実施形態と同様、中央値が出力される。

図４の第２の実施形態は、図１の第１の実施形態よりも比較回路が２つ少ないので、回路面積が小さい。

ところで、図１及び図２の実施形態において、例えば第５、６、９、１０の比較回路を一つの回路としてとらえると、この４つの比較回路は、４つの入力がなされ、最大及び最小のデータをそれぞれ「最大」「最小」端子から出力し、中央の２つのデータを「中央」端子から出力する４値比較回路ととらえることができる。即ち、図１、図２の２値抽出回路を４値比較回路を用いて描くと、図５（ａ）（ｂ）のようになる。図５（ａ）の第１の比較回路は、３つの４値比較回路を有するので、図５（ｂ）の第１の比較回路よりも回路設計が簡単に行える。なお、４値比較回路は、上記動作をすれば他の構成であってももちろんよい。

本発明の中央値算出回路を用いた画像処理装置を図６に示す。図示しないＣＣＤ固体撮像素子などから出力されるデジタル画像データが、輝度処理回路３１及び色処理回路３２に入力され、色処理回路の出力は、マトリックス作成回路３３によって９つのデータに変換され、中央値抽出回路３４に入力される。

デジタル画像データは、例えばＲＧＢや、ＣＭＹの強度を数値で示した各画素ごとのデジタルデータからなる画像情報である。輝度処理回路３１は、デジタル画像データから輝度データを作成し、出力する。色処理回路３２は、デジタル画像データから所定の１色のデータを作成し、出力する。マトリックス作成回路３３は、１色の色データから、３×３画素の９つのデータを、それぞれ中央値抽出回路３４に出力する。マトリックス作成回路３３は、例えば図６（ｂ）に示すように、二つの遅延回路及び、６つのラッチ回路から構成される。シリアルに伝送される１色の画像データは、第１の遅延回路３５によって、１水平周期だけ遅延される。第２の遅延回路３６は、第１の遅延回路３５の出力をさらに１水平周期遅延させる。１色の画像データ及び遅延回路３５、３６の出力は、それぞれ２つずつのラッチ回路に入力される。ラッチ回路３７〜４２は、入力されたデータを保持し、次のデータが入力されるとそのデータを出力するとともに次のデータを保持する。これによって、縦、横、３×３画素のマトリックスデータを作成することができる。中央値抽出回路３４は、図１乃至図５を用いて説明した、本発明の中央値抽出回路である。中央値抽出回路３４によって、９画素のデータの中央値が出力され、これを色データとして図示しない映像表示装置に出力する。

本発明の第１の実施形態の第１の中央値抽出回路を示すブロック図である。本発明の３値比較回路を示すブロック図である。本発明に用いる比較回路の具体的回路を例示するブロック図である。本発明の第２の実施形態の第１の中央値抽出回路を示すブロック図である。本発明の第１及び第２の実施形態を示すブロック図である。本発明の画像処理装置の一例を示すブロック図である。デジタル画像情報及びメディアンフィルタを説明するための図である。

符号の説明

１〜２４：比較回路、３１：輝度処理回路、３２：色処理回路、３３：マトリックス作成回路、３４：中央値抽出回路、５１：ノイズののった画素、５２：３×３マトリックス

Claims

９個の数値データの中央値を抽出する回路であって、
前記９個の数値データから１つのデータを除いた８個の数値データから中央の２つのデータを出力する２値抽出回路と、
前記２値抽出回路が出力した２つのデータと前記除いた１つのデータとを比較して、この３つのデータの中央値を出力する３値比較回路と、
を有し、
前記２値抽出回路は、
第１のデータと第２のデータが入力され、この値を比較する第１の比較回路と、
第３のデータと第４のデータが入力され、この値を比較する第２の比較回路と、
第５のデータと第６のデータが入力され、この値を比較する第３の比較回路と、
第７のデータと第８のデータが入力され、この値を比較する第４の比較回路と、
前記第１及び前記第２の比較回路の出力のうち、それぞれ大きい方のデータが入力され、この値を比較する第５の比較回路と、
前記第３及び前記第４の比較回路の出力のうち、それぞれ大きい方のデータが入力され、この値を比較する第６の比較回路と、
前記第１及び前記第２の比較回路の出力のうち、それぞれ小さい方のデータが入力され、この値を比較する第７の比較回路と、
前記第３及び前記第４の比較回路の出力のうち、それぞれ小さい方のデータが入力され、この値を比較する第８の比較回路と、
前記第５及び前記第６の比較回路の出力のうち、それぞれ大きい方のデータが入力され、この値を比較する第９の比較回路と、
前記第５及び前記第６の比較回路の出力のうち、それぞれ小さい方のデータが入力され、この値を比較する第１０の比較回路と、
前記第７及び前記第８の比較回路の出力のうち、それぞれ大きい方のデータが入力され、この値を比較する第１１の比較回路と、
前記第７及び前記第８の比較回路の出力のうち、それぞれ小さい方のデータが入力され、この値路比較する第１２の比較回路と、
前記第９の比較回路の出力のうち小さい方のデータと前記第１０の比較回路の出力のうち大きいほうのデータとが入力され、この値を比較する第１３の比較回路と、
前記第１１の比較回路の出力のうち小さい方のデータと前記第１２の比較回路の出力のうち大きいほうのデータとが入力され、この値を比較する第１４の比較回路と、
前記第１３及び前記第１０の比較回路の出力のうち、それぞれ小さい方のデータが入力され、この値を比較する第１５の比較回路と、
前記第１１及び前記第１４の比較回路の出力のうち、それぞれ大きい方のデータが入力され、この値を比較する第１６の比較回路と、
前記第１５及び前記第１６の比較回路の出力のうち、それぞれ大きい方のデータが入力され、この値を比較する第１７の比較回路と、
前記第１５及び前記第１６の比較回路の出力のうち、それぞれ小さい方のデータが入力され、この値を比較する第１８の比較回路と、
前記第１７の比較回路の出力のうち小さい方のデータと前記第１８の比較回路の出力のうち大きい方のデータとが入力され、この値を比較する第１９の比較回路を有することを特徴とする中央値抽出回路。
９個の数値データの中央値を抽出する回路であって、
前記９個の数値データから１つのデータを除いた８個の数値データから中央の２つのデータを出力する２値抽出回路と、
前記２値抽出回路が出力した２つのデータと前記除いた１つのデータとを比較して、この３つのデータの中央値を出力する３値比較回路と、
を有し、
前記２値抽出回路は、
第１のデータと第２のデータが入力され、この値を比較する第１の比較回路と、
第３のデータと第４のデータが入力され、この値を比較する第２の比較回路と、
第５のデータと第６のデータが入力され、この値を比較する第３の比較回路と、第７のデータと第８のデータが入力され、この値を比較する第４の比較回路と、
前記第１及び前記第２の比較回路の出力のうち、それぞれ大きい方のデータが入力され、この値を比較する第５の比較回路と、
前記第３及び前記第４の比較回路の出力のうち、それぞれ大きい方のデータが入力され、この値を比較する第６の比較回路と、
前記第１及び前記第２の比較回路の出力のうち、それぞれ小さい方のデータが入力され、この値を比較する第７の比較回路と、
前記第３及び前記第４の比較回路の出力のうち、それぞれ小さい方のデータが入力され、この値を比較する第８の比較回路と、
前記第５及び前記第６の比較回路の出力のうち、それぞれ大きい方のデータが入力され、この値を比較する第９の比較回路と、
前記第５及び前記第６の比較回路の出力のうち、それぞれ小さい方のデータが入力され、この値を比較する第１０の比較回路と、
前記第７及び前記第８の比較回路の出力のうち、それぞれ大きい方のデータが入力され、この値を比較する第１１の比較回路と、
前記第７及び前記第８の比較回路の出力のうち、それぞれ小さい方のデータが入力され、この値路比較する第１２の比較回路と、
前記第９の比較回路の出力のうち小さい方のデータと前記第１０の比較回路の出力のうち大きいほうのデータとが入力され、この値を比較する第１３の比較回路と、
前記第１１の比較回路の出力のうち小さい方のデータと前記第１２の比較回路の出力のうち大きいほうのデータとが入力され、この値を比較する第１４の比較回路と、
前記第１３の比較回路の出力のうち小さい方のデータと前記第１１の比較回路の出力のうち大きい方のデータとが入力され、この値を比較する第１５の比較回路と、
前記第１０の比較回路の出力のうち小さいほうのデータと前記第１４の比較回路の出力のうち大きい方のデータとが入力され、この値を比較する第１６の比較回路と、
前記第１５の比較回路の出力のうち小さい方のデータと前記第１６の比較回路の出力のうち大きい方のデータとが入力され、この値を比較する第１７の比較回路を有することを特徴とする中央値抽出回路。
デジタル画像データが入力され、前記デジタル画像データの、画素と該画素の周囲を囲む画素のデータを出力するマトリックス作成回路と、前記マトリックス作成回路の出力の中央値を出力する、請求項１乃至請求項２のいずれかに記載の中央値抽出回路とを有することを特徴とする画像処理装置。