JP4706425B2 - 画像補正装置、画像補正プログラムおよび画像補正方法 - Google Patents

Description

本発明は、画素データによって表現される画像からノイズを除去する画像補正装置、画像補正プログラムおよび画像補正方法に関する。

従来より、複数の画素データによって表現される画像からノイズを除去する方法として、種々の技術が開示されている。例えば、特許文献１には、２値化映像信号からなる画像について、注目画素およびその近傍８画素のパターンが登録されている基準パターンと一致するか否かによって、この注目画素がノイズであるかどうかを判断するようにしたノイズ除去方法が開示されている。

また、特許文献２には、２値化された画像データについて、注目画素およびその近傍８画素のうちの３×３パターンが登録されているマスクパターンと一致するか否かによってこの注目画素がノイズであるかどうかを判断し、縦線状（ライン状）ノイズを除去するようにしたノイズ除去方法が開示されている。

特開平７−１６０８７２号公報 特開平８−２７２９５６号公報

しかしながら、これらのノイズ除去方法では、ノイズ除去を完了するまでには、画像全体を何度も走査する必要があった。よって、ノイズ除去処理が煩雑になってしまうという問題があった。

本発明はかかる問題点に鑑みてなされたもので、その目的は、画素データによって表現される画像から簡単にノイズを除去することを可能とする画像補正装置、画像補正プログラムおよび画像補正方法を提供することにある。

本発明の画像補正装置は、画素データによって表現される画像からノイズを除去する装置であって、各画素を順次走査する走査手段と、走査済み画素についてのノイズ除去処理の結果をその次の走査対象画素についてのノイズ除去処理に反映させるようにして、各画素ごとにノイズ除去処理を行うノイズ除去処理手段とを備え、上記走査手段が、入力画像の画素配列の始点位置および終点位置から、それぞれ、互いに逆方向に並行して画素を走査するものである。

この場合において、上記ノイズ除去処理手段が、各画素ごとにその近傍の画素データを参照することにより、ノイズ除去処理を行うようにするのが好ましい。

本発明の画像補正プログラムは、画素データによって表現される画像からノイズを除去するプログラムであって、各画素を順次走査する走査ステップと、走査済み画素についてのノイズ除去処理の結果をその次の走査対象画素についてのノイズ除去処理に反映させるようにして、各画素ごとにノイズ除去処理を行うノイズ除去ステップとをコンピュータに実行させると共に、上記走査ステップでは、入力画像の画素配列の始点位置および終点位置から、それぞれ、互いに逆方向に並行して画素を走査するようにしたものである。

本発明の画像補正方法は、画素データによって表現される画像からノイズを除去する方法であって、各画素を順次走査する走査ステップと、走査済み画素についてのノイズ除去処理の結果をその次の走査対象画素についてのノイズ除去処理に反映させるようにして、各画素ごとにノイズ除去処理を行うノイズ除去ステップとを含み、上記走査ステップでは、入力画像の画素配列の始点位置および終点位置から、それぞれ、互いに逆方向に並行して画素を走査するようにしたものである。

本発明の画像補正装置、画像補正プログラムおよび画像補正方法では、画素データによって表現される画像において、各画素が順次走査されつつ、走査済み画素についてのノイズ除去処理の結果がその次の走査対象画素についてのノイズ除去処理に反映されるようにして、各画素ごとにノイズ除去処理が行われる。また、上記順次走査の際には、入力画像の画素配列の始点位置および終点位置から、それぞれ、互いに逆方向に並行して画素が走査される。

本発明の画像補正装置、画像補正プログラムまたは画像補正方法によれば、各画素を順次走査しつつ、走査済み画素についてのノイズ除去処理の結果をその次の走査対象画素についてのノイズ除去処理に反映させるようにして、各画素ごとにノイズ除去処理を行うようにしたので、画像全体を一度走査するだけでノイズを除去することができ、画素データによって表現される画像から簡単にノイズを除去することが可能となる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る画像補正装置（画像補正部５）の構成と、この画像補正装置へ補正対象画像（後述する２値化撮像データＤin１）を供給する画像入出力装置の構成とを表すものである。

まず、画像入出力装置の構成および動作について説明する。

この画像入出力装置は、入出力パネル１と、表示信号生成部２１と、表示信号保持制御部２２と、表示信号ドライバ２３と、表示側スキャナ２４と、撮像信号選択スキャナ３１と、撮像信号レシーバ３２と、２値化部３３とを備えており、画像データに基づく画像を入出力パネル１に表示すると共に、表示画像からの光を利用して、入出力パネル１に接触または近接する物体（後述する撮像対象物体１５）を撮像するものである。

入出力パネル１は、複数の画素１１が全面に渡ってマトリクス状に配置された、例えば有機または無機のＥＬ（ElectroLuminescence）ディスプレイやＬＣＤ（Liquid Crystal Display）からなり、後述するように線順次動作をしながら所定の図形や文字などの画像を表示するものである。また、各画素１１は、例えば１つの表示撮像素子を含む表示撮像セルＣＷＲから構成され、後述するように各画素が表示機能と撮像機能とを併有するようになっている。

ここで、図２〜図４を参照して、入出力パネル１の構成の詳細について説明する。

図２は、入出力パネル１の平面構成の一例を表すものであり、水平ライン方向にｍ個、垂直ライン方向にｎ個、合計で（ｍ×ｎ）個からなる画素１１がマトリクス状に配置されているものとする。この入出力パネル１は、合計で（ｍ×ｎ）個からなる画素１１および各画素に含まれる表示撮像セルＣＷＲ11〜ＣＷＲmnと、その画素１１の数に応じて接続された、ｍ本のデータ供給線ＤＷ（ＤＷ1〜ＤＷm）およびデータ読出線ＤＲ（ＤＲ1〜ＤＲm）、ならびにｎ本の表示用ゲート線Ｇ（Ｇ1〜Ｇn）および切換線Ｓ（Ｓ1〜Ｓn）とを有している。

データ供給線ＤＷは表示信号ドライバ２３に接続され、データ読出線ＤＲは撮像信号レシーバ３２に接続され、表示用ゲート線Ｇは表示側スキャナ２４に接続され、切換線Ｓは撮像信号選択スキャナ３１に接続されている。また、各表示撮像セルＣＷＲに対してそれぞれ１本ずつのデータ供給線ＤＷ、データ読出線ＤＲ、表示用ゲート線Ｇおよび切換線Ｓが接続されている。また、例えば１垂直ラインの表示撮像セルＣＷＲ11，ＣＷＲ12，…，ＣＷＲ1nに対しては、１本ずつのデータ供給線ＤＷ1およびデータ読出線ＤＲ1が共通に接続され、例えば１水平ラインの表示撮像セルＣＷＲ11，ＣＷＲ21，…，ＣＷＲm1に対しては、１本ずつの表示用ゲート線Ｇおよび切換線Ｓが共通に接続されている。なお、図中の矢印Ｙは、表示用ゲート線Ｇおよび切換線Ｓのスキャン方向を示している。

図３は、入出力パネル１における表示撮像セルＣＷＲの配置構成の一例を断面図で模式的に表したものであり、図２におけるＡ−Ａ部分の矢視断面に対応するものである。

この入出力パネル１は、１対の透明基板１２Ａ，１２Ｂと、これらの透明基板１２Ａ，１２Ｂの間に配置され、隔壁１３によって互いに分離された複数の表示撮像セルＣＷＲ（ＣＷ21，ＣＷ22，ＣＷ23，ＣＷ24，ＣＷ25，…）とを有している。また、各表示撮像セルＣＷＲは、表示撮像素子ＥＬとして例えば有機ＥＬ素子を含んでおり、表示光ＬＷを出射するようになっている。なお、一般的な有機ＥＬ表示部におけるその他の層については図示せず、説明を省略している。

図４は、入出力パネル１における表示撮像セルＣＷＲの回路構成を表すものである。

この表示撮像セルＣＷＲは、１つの表示撮像素子ＥＬと、キャパシタＣと、抵抗Ｒと、表示用ゲート線Ｇから供給される選択信号に応じてデータ供給線ＤＷとキャパシタＣの一端との間を選択的に導通させるスイッチＳＷ１と、切換線Ｓから供給される切換信号に応じてキャパシタの他端と表示撮像素子ＥＬの一端との間を選択的に導通させるスイッチＳＷ２と、同じく切換線Ｓから供給される切換信号に応じて表示撮像素子ＥＬの一端とデータ読出線ＤＲとの間を選択的に導通させるスイッチＳＷ３とを有し、表示撮像素子ＥＬの他端は接地されている。なお、抵抗Ｒの一端はデータ読出線ＤＲに接続され、抵抗Ｒの他端は接地、または負バイアス点（図示せず）に接続されるようになっている。

ここで、具体的に表示動作時および撮像動作時における各構成要素の動作を説明する。まず、表示動作および撮像動作は、以下のような表示撮像素子ＥＬの性質を利用して行う。つまり、本実施の形態において表示撮像素子ＥＬとして構成する、例えば有機ＥＬ素子やＬＥＤ素子などは、順方向バイアス電圧を印加すると発光動作をするが、逆方向バイアス電圧を印加すると、受光して電流を発生する性質を有する。

したがって、表示動作時には、表示用ゲート線Ｇから供給される選択信号および切換線Ｓから供給される切換信号に従って、スイッチＳＷ１，ＳＷ２をオン状態とすると共に、スイッチＳＷ３をオフ状態とすることで、表示撮像素子ＥＬには順方向バイアス電圧が印加される。そして表示信号に応じた輝度の発光となるよう、データ供給線ＤＷからＩ１の経路にてキャパシタＣが充電され、充電された電荷に基づいてＩ２の経路にて表示撮像素子ＥＬに電流が流れることで、表示動作がなされる。

一方、撮像動作時には、切換線Ｓから供給される切換信号に従って、スイッチＳＷ２，ＳＷ３をオフ状態とすると共に、スイッチＳＷ２をオン状態とすることで、表示撮像素子ＥＬに逆方向バイアス電圧が印加される。そして表示撮像素子ＥＬにおいて、受光した光量に応じた電流がＩ３の経路にてデータ読出線ＤＲへ供給されることで、撮像動作がなされる。

なお、表示動作および撮像動作のいずれの動作も行っていない時には、スイッチＳＷ１〜ＳＷ３はいずれもオフ状態となっており、データ供給線ＤＷおよびデータ読出線ＤＲはそれぞれ、表示撮像素子ＥＬとは切断されるようになっている。また、データ読出線ＤＲに接続されている抵抗Ｒは、Ｉ３の経路でデータ読出線ＤＲに供給される電流に基づいてその両端に電位差を生じさせ、これを撮像信号として出力するためのものである。

図１の説明に戻り、表示信号生成部２１は、例えば図示しないＣＰＵ（Central Processing Unit）などから供給される画像データに基づいて、例えば１画面ごと（１フレームの表示ごと）に表示部１に表示するための表示信号を生成するものである。

表示信号保持制御部２２は、表示信号生成部２１から出力される表示信号を１画面ごと（１フレームの表示ごと）に、例えばＳＲＡＭ（Static Random Access Memory）などから構成されるフレームドメモリに格納して保持するものである。この表示信号保持制御部２２はまた、表示信号ドライバ２３、表示側スキャナ２４および撮像信号選択スキャナ３１が連動して動作するように制御する役割も果たしている。具体的には、表示側スキャナ２４に対しては表示タイミング制御信号４１を、撮像信号選択スキャナ３１に対しては撮像タイミング制御信号４２を、表示信号ドライバ２３に対しては、制御信号、およびフレームメモリに保持されている１画面分の表示信号に基づく１水平ライン分の表示信号を、それぞれ出力するようになっている。

表示側スキャナ２４は、表示信号保持制御部２２から出力される表示タイミング制御信号４１に応じて、表示駆動対象の表示撮像セルＣＷＲを選択するものである。また、表示信号ドライバ２３は、表示信号保持制御部２２から出力される１水平ライン分の表示信号に応じて、表示駆動対象の表示撮像セルＣＷＲへ表示データを供給するものである。

撮像信号選択スキャナ３１は、表示信号保持制御部２２から出力される撮像タイミング制御信号４２に応じて、撮像駆動対象の表示撮像セルＣＷＲを選択するものである。なお、この撮像信号選択スキャナ３１は、撮像信号レシーバ３２および２値化部３３に対してそれぞれ撮像ブロック制御信号４３を出力し、これら撮像動作に寄与する部分の動作を制御する役割も果たしている。

撮像信号レシーバ３２は、撮像信号選択スキャナ３１から出力される撮像ブロック制御信号４３に応じて、各表示撮像セルＣＷＲから出力された１水平ライン分の撮像信号を取得するものである。

２値化部３３は、撮像信号レシーバ３２から出力される撮像信号を、「０」または「１」の値に２値化するものである。なお、このようにして２値化された撮像信号（２値化撮像データＤin１）は、画像補正部５へ出力される。

ここで、図５および図６を参照して、このような構成の画像表示装置において、接触あるいは近接した物体を撮像する動作について説明する。

図５は、図１の画像表示装置において撮像対象物体を撮像する処理の一例を断面図で表したものであり、図３に示した構成要素と同一の構成要素には同一の符号を付し、説明を適宜省略する。

入出力パネル１上に、例えば指などの撮像対象物体１５を接触あるいは近接させると、表示撮像セルＣＷＲ（ここでは、表示撮像セルＣＷＲ23）からの表示光ＬＷ１が、この撮像対象物体１５で反射する。ここで、表示撮像素子ＥＬでは、表示動作と撮像動作を時分割で行う必要があり、ある表示撮像素子で表示光を発光させながらその表示撮像素子で反射光を受光することができない。そこで、ある水平ラインの表示撮像素子から出射した表示光を、逆方向バイアス電圧が印加された他の水平ラインの表示撮像素子が受光することにより、撮像対象物体１５の撮像が可能になる。例えば、図５に示したように、表示撮像セルＣＷＲ23から位置が近い水平ライン上の表示撮像セル、例えばＣＷＲ24やＣＷＲ25などには反射光ＬＲ１が入射するが、この表示撮像セルＣＷＲ23から位置が遠い水平ライン上の表示撮像セルには、反射光が入射しない。したがって、ある撮像対象物体１５から位置が近い表示撮像セルＣＷＲのみから撮像信号が得られるので、この画像表示装置では、表示駆動されている水平ライン上の表示撮像セルＣＷＲから発せられて撮像対象物体１５で反射された光が、その水平ラインに隣接する水平ライン上の表示撮像セルＣＷＲによって受光されるように、タイミング駆動がなされるようになっている。このようにすれば、撮像対象物体１５近傍の表示撮像セルＣＷＲからは撮像信号が出力される一方、それ以外の領域からは撮像信号が出力されないので、撮像対象物体１５が入出力パネル１上のどの領域に位置するのかが検知され、撮像動作が可能となる。

また、図６に示したように、このような表示駆動と撮像駆動とを各水平ラインについて順次行う（線順次駆動）ことにより、入出力パネル１全体で画像を表示しながら、撮像対象物体１５を撮像することが可能となる。なお、図６において、符号Ｐ２，Ｐ３，Ｐ８，Ｐ９はそれぞれ、スキャン中のラインの位置を表しており、符号６１，６１Ａ，６１Ｂは表示領域を、符号６３は撮像領域を表している。

次に、図１および図７〜図９を参照して、画像補正装置（画像補正部５）の構成について説明する。

この画像補正装置（画像補正部５）は、フレームメモリ５１と、走査部５２と、演算部５３と、設定部５４とを備えており、画像入出力装置から供給される撮像信号（２値化撮像データＤin１）からノイズを除去することにより、この２値化撮像データＤin１の画像補正を行うものである。なお、本実施の形態に係る画像補正方法は、本実施の形態に係る画像補正装置によって具現化されるので、以下、併せて説明する。

フレームメモリ５１は、２値化撮像データＤin１を走査部５２を介して入力し、１画面分（１フレーム分）のデータを保持するメモリである。このようにして保持された１フレーム分の２値化撮像データＤin１は、例えば図７に示したような画像を構成し、画素データとしての２値化撮像データＤin１の集合として表現されるようになっている。なお、図中の符号１１Ｗ，１１Ｂはそれぞれ白表示画素または黒表示画素を表しており、それぞれ、２値化撮像データＤin１の値（画素データ）が「１」または「０」の画素を示している。

走査部５２は、画像入出力装置の２値化部３３から供給される２値化撮像データＤin１をフレームメモリ５１へ供給すると共に、例えば図８の矢印Ｘで示したように、このフレームメモリ５１によって表現される１フレーム分の画像上で、注目画素７１を順次走査するものである。また、走査部５２は、この注目画素７１の近傍の画素（この場合、注目画素７１を取り囲む８つの近傍画素７２）の画素データ（２値化撮像データＤin１の値）を参照し、これら８つの近傍画素７２の画素データをそれぞれ演算部５３へ出力するようになっている。

演算部５３は、走査部５２から供給される近傍画素７２の画素データの和を求め、得られた画素データの和（画素合計値Ｓout）を設定部５４へ出力するものである。

設定部５４は、演算部５３から供給される画素合計値Ｓoutに基づいて、例えば図９に示したような画素値設定テーブル８１を参照することにより、フレームメモリ５１に保持されている注目画素７１の画素値を強制的に設定し、選択的に２値化撮像データＤin１のノイズ除去処理を行うものである。具体的には、画素合計値Ｓoutが黒しきい値（この場合、黒しきい値＝１）以下である場合には、その注目画素の画素値を２値化データ「０」に設定する一方、画素合計値Ｓoutが白しきい値（この場合、白しきい値＝５）以上である場合には、その注目画素の画素値を２値化データ「１」に設定するようになっている。また、画素合計値Ｓoutが黒しきい値と白しきい値との間（この場合、Ｓout＝２〜４の場合）である場合には、その注目画素の画素値を変更しないようになっており、これら黒しきい値および白しきい値は、図９に示した値には限られず、任意の数を設定することが可能である。なお、このようにして得られたノイズ除去処理後の撮像データ（ノイズ除去撮像データＤout）は、フレームメモリ５１から画像補正部５の外部へ出力され、他の処理などに利用されるようになっている。

ここで、これら演算部５３および設定部５４が、本発明における「ノイズ除去手段」の一具体例に対応する。

次に、図１０〜図１３を参照して、本実施の形態の画像補正装置（画像補正部５）によるノイズ除去処理について説明する。ここで、図１０は、本実施の形態に係るノイズ除去処理を流れ図で表したものであり、図１１〜図１３はそれぞれ、ノイズ除去処理の態様を３つの場合に分けて表したものである。

まず、走査部５２が、図８の矢印Ｘで示したように、フレームメモリ５１上の各画素を順次走査することにより、注目画素７１を進める（図１０のステップＳ１０１）。次に、演算部５３が、走査部５２から供給される近傍画素７２の画素データに基づいて、これら近傍画素７２の和（画素合計値Ｓout）を求める（ステップＳ１０２）。

次に、設定部５４が、演算部５３から供給される画素合計値Ｓoutに基づいて、例えば前述の図９に示したような画素値設定テーブル８１を参照することにより、フレームメモリ５１上の注目画素７１の画素値を強制的に設定し、選択的に２値化撮像データＤin１のノイズ除去処理を行う。具体的には、設定部５４はまず、この画素合計値Ｓoutが黒しきい値（この場合、黒しきい値＝１）以下であるかどうか、すなわちＳout≦１かどうかを判断する（ステップＳ１０３）。

Ｓout≦１の場合（ステップＳ１０３：Ｙ）、例えば図１１（Ａ）〜（Ｄ）に示したように、注目画素７１の画素値を２値化データ「０」に設定、すなわちその注目画素７１を黒表示画素に設定する（ステップＳ１０４）。具体的にはこの場合、図１１（Ｂ）に示したように、８つの近傍画素７２のうち、黒表示画素（画素データ＝０）が７つ、白表示画素（画素データ＝１）が１つであるので、これら近傍画素７２の画素合計値Ｓout＝１となり、図１１（Ｃ）に示したように、注目画素７１を白表示画素から黒表示画素へと設定変更するようになっている。このようにして、この注目画素７１がノイズであると判断され、ノイズ除去処理がなされる。なお、この後は、後述するステップＳ１０７へと進むようになっている。

一方、Ｓout＞１の場合（ステップＳ１０３：Ｎ）、次に設定部５４は、画素合計値Ｓoutが白しきい値（この場合、白しきい値＝５）以上であるかどうか、すなわちＳout≧５かどうかを判断する（ステップＳ１０５）。

Ｓout≧５の場合（ステップＳ１０５：Ｙ）、例えば図１２（Ａ）〜（Ｄ）に示したように、注目画素７１の画素値を２値化データ「１」に設定、すなわちその注目画素７１を白表示画素に設定する（ステップＳ１０６）。具体的にはこの場合、図１２（Ｂ）に示したように、８つの近傍画素７２のうち、黒表示画素（画素データ＝０）が３つ、白表示画素（画素データ＝１）が５つであるので、これら近傍画素７２の画素合計値Ｓout＝５となり、図１２（Ｃ）に示したように、注目画素７１を黒表示画素から白表示画素へと設定変更するようになっている。このようにして、この注目画素７１がノイズであると判断され、ノイズ除去処理がなされる。なお、この後は、後述するステップＳ１０７へと進むようになっている。

一方、Ｓout＜５の場合（ステップＳ１０５：Ｎ）、画素合計値Ｓoutが黒しきい値と白しきい値との間（この場合、Ｓout＝２〜４の場合）であるので、例えば図１３（Ａ）〜（Ｄ）に示したように、その注目画素７１の画素値を変更せずに、ステップＳ１０７へと進む。具体的にはこの場合、図１３（Ｂ）に示したように、８つの近傍画素７２のうち、黒表示画素（画素データ＝０）が５つ、白表示画素（画素データ＝１）が３つであるので、これら近傍画素７２の画素合計値Ｓout＝３となり、図１３（Ｃ）に示したように、注目画素７１を白表示画素のまま設定変更しないようなっている。このようにして、この注目画素７１がノイズではないと判断され、ノイズ除去処理が回避される。

最後に、走査部５２は、全画素が終了したか否か、すなわちフレームメモリ５１上の全ての画素を走査終了したか否かを判断する（ステップＳ１０７）。まだ全画素が終了していないと判断された場合（ステップＳ１０７：Ｎ）には、ステップＳ１０１へと戻る一方、全画素が終了したと判断された場合（ステップＳ１０７：Ｙ）には、ノイズ除去処理が終了となる。このようにして、フレームメモリ５１上の１画面分全てのノイズ除去処理がなされる。

次に、図７および図１４〜図１７を参照して、以上説明したノイズ除去処理を図７に示した撮像データに対して行った場合の実施例について説明する。

まず、図１４（Ａ）〜（Ｃ）に示したように注目画素７１を順次走査しつつノイズ除去処理を行うことにより、表示機能と撮像機能とを有する画像入出力装置による撮像データに発生しがちなライン状のノイズ（この場合、白表示画素によるノイズ）が除去される。

次に、例えば図１５（Ａ），（Ｂ）に示したようにして、白表示画素による孤立画素ノイズが除去される一方、例えば図１６（Ａ），（Ｂ）に示したようにして、白表示画素による孤立画素ノイズが除去される。

このようにして、以上説明したノイズ除去処理を図７に示した撮像データに対して行うと、図１７に示したようになる。すなわち、符号Ｎ１で示したように、表示機能と撮像機能とを有する画像入出力装置による撮像データに発生しがちなライン状のノイズが除去されると共に、符号Ｎ２，Ｎ３にそれぞれ示したように、白表示画素または黒表示画素による孤立画素ノイズも除去されていることが分かる。

このようにして、本実施の形態のノイズ除去処理では、図１４〜図１６にそれぞれ示したように、画素データによって表現される撮像画像において、各画素が順次走査されつつ、走査済み画素についてのノイズ除去処理の結果をその次の走査対象画素についてのノイズ除去処理に反映させるようにして、各画素ごとにノイズ除去処理が行われる。

以上のように、本実施の形態では、走査部５２がフレームメモリ５１に保持されている１画面分の２値化撮像データＤin１による画像の各画素を順次走査しつつ、演算部５３および設定部５４が、走査済み画素についてのノイズ除去処理の結果をその次の走査対象画素についてのノイズ除去処理に反映させるようにして、各画素ごとにノイズ除去処理を行うようにしたので、画像全体を一度走査するだけでノイズを除去することができ、この１画面分の２値化撮像データＤin１によって表現される画像から簡単にノイズを除去することが可能となる。

また、このようなノイズ除去処理を行うようにしたことにより、表示機能と撮像機能とを有する画像入出力装置による撮像データに発生しがちなライン状のノイズを除去することができると共に、白表示画素または黒表示画素による孤立画素ノイズも除去することができる。

また、注目画素７１の近傍の画素（近傍画素７２）の画素データを参照して行うようにしたので、これら近傍画素７２の状態も考慮してノイズ除去処理を行うことができ、より正確なノイズ除去を行うことが可能となる。

また、近傍画素７２の画素データの和（画素合計値Ｓout）に基づいて行うようにしたので、一般的な画素パターンのマッチング処理により行う場合と比べて、簡単に行うことができる。

さらに、白しきい値や黒しきい値を設けて注目画素７１の画素値の設定を行うようにしたので、これらのしきい値を調整することにより、ノイズ除去の感度も調整することも可能となる。

［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。

上記第１の実施の形態においては、画像補正部５へ供給される撮像データが２値化して表されたデータ（２値化撮像データＤin１）である場合のノイズ除去処理について説明したが、本実施の形態では、画像補正部５へ供給される撮像データが多値化して表された階調データ（多値化撮像データＤin２）である場合のノイズ除去処理について説明する。なお、説明の簡潔化を図るため、以下、第１の実施の形態と同様の部位については、同じ符号を付して説明する。

図１８は、本実施の形態に係る画像補正装置（画像補正部５）の構成と、この画像補正装置へ多値化撮像データＤin２を供給する画像入出力装置の構成とを表すものである。図１に示した第１の実施の形態の場合と異なるのは、画像入出力装置から２値化部３３を省くと共に、画像補正部５内に判定部５５および２値化部５６を設けるようにした点である。

判定部５５は、走査部５２から供給される、多値化して表された注目画素７１の画素データが、階調レベルでどの範囲にあるのかを判定するものである。具体的には、注目画素７１の画素データが、例えば図１９に示したような輝度の階調レベルで表現される場合に、その注目画素の画素データの階調レベルが、最低輝度レベルＹminから第１のしきい値Ｙth１までの第１の領域Ｙ１内、第１のしきい値Ｙth１から第２のしきい値Ｙth２までの第２の領域Ｙ２内、および第２のしきい値Ｙth２から最高輝度レベルＹmaxまでの第３の領域Ｙ３内のいずれの領域内にあるのかを、判定するようになっている。なお、最低輝度レベルＹminは０階調レベル（黒レベル）であり、最高輝度レベルＹmaxは、例えば２５５階調レベル（白レベル）である。また、第１のしきい値Ｙth１は例えば１０階調レベル程度であり、第２のしきい値Ｙth２は例えば１００階調レベル程度である。なお、図中のしきい値Ｙthは、後述する２値化部５６における２値化しきい値を表している。

また、判定部５５は、このような階調レベルの判定結果に基づいて、例えば図２０に示したような画素値設定テーブル８２を参照することにより、その注目画素７１の画素値を設定するようになっている。具体的には、階調レベルがＹ１領域内であるときには、その注目画素７１の画素データをそのまま２値化部５６へ出力し、この２値化部５６に２値化させることにより、その注目画素７１の画素値を２値化データ「０」に設定するようになっている。また、階調レベルがＹ３領域内であるときには、その注目画素７１の画素データをそのまま２値化部５６へ出力し、この２値化部５６に２値化させることにより、その注目画素７１の画素値を２値化データ「１」に設定するようになっている。一方、階調レベルがＹ２領域内であるときには、注目画素７１およびその近傍画素７２の画素データをそれぞれ２値化部５６へ出力し、第１の実施の形態の場合と同様にこの近傍画素７２の画素合計値Ｓoutによって、注目画素７１の画素値を設定するようになっている。

２値化部５６は、判定部５５から供給される注目画素７１の画素データまたは近傍画素７２の画素データを２値化し、２値化された注目画素の画素データをフレームメモリ５１へ出力すると共に、２値化された近傍画素の画素データを演算部５３へ出力するものである。

次に、図２１を参照して、本実施の形態の画像補正装置（画像補正部５）によるノイズ除去処理について説明する。ここで図２１は、本実施の形態に係るノイズ除去処理を流れ図で表したものである。

まず、第１の実施の形態で説明したステップＳ１０１と同様に、走査部５２がフレームメモリ５１上の各画素を順次走査することにより、注目画素７１を進める（ステップＳ２０１）。次に、判定部５５が、走査部５２から供給される注目画素７１の輝度の階調レベルを判定する（ステップＳ２０２）。

ステップＳ２０２において「Ｙ１領域」であると判断された場合、判定部５５は、Ｙ１領域であれば２値化しきい値Ｙthから離れているのでこの注目画素７１の画素データを２値化する際にノイズは発生しないと判断し（ステップＳ２０３）、その注目画素７１の画素データを２値化部５６へ出力する。そして２値化部５６が２値化することにより、その注目画素７１の画素値を２値化データ「０」に設定し、フレームメモリ５１上に書き込む（ステップＳ２０４）。なお、この後は、後述するステップＳ２１２へと進むようになっている。

また、ステップＳ２０２において「Ｙ３領域」であると判断された場合には、判定部５５は、Ｙ３領域であれば２値化しきい値Ｙthから離れているのでこの注目画素７１の画素データを２値化する際にノイズは発生しないと判断し（ステップＳ２０５）、その注目画素７１の画素データを２値化部５６へ出力する。そして２値化部５６が２値化することにより、その注目画素７１の画素値を２値化データ「１」に設定し、フレームメモリ５１上に書き込む（ステップＳ２０６）。なお、この後は、後述するステップＳ２１２へと進むようになっている。

一方、ステップＳ２０２において「Ｙ２領域」であると判断された場合には、判定部５５は、Ｙ２領域の場合には２値化しきい値Ｙthを含んでいるのでこの注目画素７１の画素データを２値化する際にノイズが発生しうると判断し（ステップＳ２０７）、その注目画素７１の画素データおよびその近傍画素７２の画素データを２値化部５６へ出力する。そして２値化部５６は、これら注目画素７１およびその近傍画素７２の画素データをそれぞれ２値化する（ステップＳ２０８）。

ステップＳ２０８の後は、第１の実施の形態で説明したステップＳ１０２，Ｓ１０３と同様に、演算部５３が近傍画素７２の画素合計値Ｓoutを求め（ステップＳ２０９）、設定部５４がまず、例えばＳout≦１かどうかを判断する（ステップＳ２１０）。Ｓout≦１であると判断された場合（ステップＳ２１０：Ｙ）、その注目画素７１の画素値を「０」に設定し（ステップＳ２０４）、ステップＳ２１２へと進む。一方、Ｓout＞１であると判断された場合（ステップＳ２１０：Ｎ）、第１の実施の形態で説明したステップＳ１０５と同様に、次に設定部５４は、例えばＳout≧５かどうかを判断する（ステップＳ２１１）。Ｓout≧５であると判断された場合（ステップＳ２１１：Ｙ）、その注目画素７１の画素値を「１」に設定し（ステップＳ２０６）、ステップＳ２１２へと進む。一方、Ｓout＜５であると判断された場合（ステップＳ２１１：Ｙ）には、ステップＳ２１２へと進む。

最後に、第１の実施の形態で説明したステップＳ１０７と同様に、走査部５２が、全画素が終了したか否かを判断する（ステップＳ２１２）。まだ全画素が終了していないと判断された場合（ステップＳ２１２：Ｎ）には、ステップＳ２０１へと戻る一方、全画素が終了したと判断された場合（ステップＳ２１２：Ｙ）には、ノイズ除去処理が終了となる。

以上のように、本実施の形態では、判定部５５が、画像入出力装置から供給される多値化撮像データＤin２の階調レベルを判定し、判定された階調レベルが所定の範囲内（第１のしきい値Ｙth１から第２のしきい値Ｙth２までの第２の領域Ｙ２内）にある場合にのみ、２値化部５６がその多値化撮像データＤin２を２値化し、第１の実施の形態で説明した選択的なノイズ除去処理を行うようにしたので、撮像データが多値化データである場合に、ノイズ除去処理の負担を軽減することが可能となる。

また、多値化撮像データＤin２の階調レベルがＹ１領域内であると判定された場合には、２値化部５６に２値化させることによりその注目画素７１の画素値を強制的に２値化データ「０」に設定する一方、階調レベルがＹ３領域内である場合には、その注目画素７１の画素値を強制的に２値化データ「１」に設定するようにしたので、２値化の際にノイズが発生する可能性が低い場合には、ノイズの発生を気にすることなく、２値化処理を行うことができる。

以上、第１および第２の実施の形態を挙げて本発明を説明したが、本発明はこれらの実施の形態に限定されるものではなく、種々の変形が可能である。

例えば、上記実施の形態では、注目画素７１が画像の端のライン上を走査する場合については説明されていないが、例えば図２２に示した注目画素７１Ａ，７１Ｂのように、注目画素が画像の端のライン上も走査するようにしてもよい。また、このように構成した場合、近傍画素の画素合計値Ｓoutの演算については、画像内の近傍画素７２Ａ１，７２Ｂ１だけについて演算して画像外の近傍画素７２Ａ２，７２Ｂ２については演算しないようにし、画像内の近傍画素７２Ａ１，７２Ｂ１の数に応じて、白しきい値や黒しきい値を調整するようにすればよい。また、あるいは画像外の近傍画素７２Ａ２，７２Ｂ２については、画素データが仮想的に「０」であるものとして演算するようにしてもよい。

また、上記実施の形態では、走査部５２が、画像の一端から各画素を順次走査する場合について説明したが、例えば図２３に示したように、画像の画素配列の両端（始点位置および終点位置）から、矢印Ｘ１，Ｘ２に示したように、それぞれが互いに逆方向に並行して走査するようにしてもよい。このように構成した場合、上記実施の形態における効果に加え、ノイズ処理時間を短縮することが可能となる。

また、上記実施の形態では、近傍画素７２の画素合計値Ｓoutに基づいて注目画素７１がノイズであるかどうかを判断し、ノイズ除去処理を行うようにする場合について説明したが、パターンマッチングなどによってノイズであるかどうかを判断し、ノイズ除去処理を行うようにしてもよい。そのように構成した場合であっても、ノイズ除去処理の結果をその次の捜査対象画素についてのノイズ除去処理に反映させるようにすれば、上記実施の形態と同様の効果を得ることが可能である。

また、上記実施の形態では、注目画素７１の近傍の画素を、その注目画素を取り囲む８つの近傍画素７２により構成した場合で説明したが、近傍の画素の構成はこれには限られず、任意の範囲から構成することが可能である。

また、上記実施の形態では、２値化撮像データＤin１の値（画素データ）が「０」の画素が黒表示画素１１Ｂとなり、画素データが「１」の画素が白表示画素１１Ｗとなるような入出力パネル１の場合について説明したが、本発明は、逆に、画素データが「０」の画素が白表示画素１１Ｗとなり、画素データが「１」の画素が黒表示画素１１Ｂとなるような入出力パネルの場合に対しても、適用することが可能である。

また、上記実施の形態では、表示機能と撮像機能とを併有する表示撮像素子ＥＬによって入出力パネル１を構成した場合で説明したが、表示機能を有する表示素子（例えば、液晶素子やＬＥＤ（Light Emitting Diode）など）と、撮像機能を有する素子（例えば、フォトダイオードやＣＣＤ（Charge Coupled Device）など）とを別々に設けて入出力パネルを構成するようにしてもよい。

また、上記実施の形態では、一連のノイズ除去処理をハードウェアにより実行させる場合について説明したが、これらの処理をソフトウェアによって実行させることも可能である。そのように構成する場合、一連のノイズ除去処理を実行するためのソフトウェアを構成するプログラムを、専用のハードウェアに組み込まれているコンピュータにインストールすることにより、これら一連のノイズ除去処理を、このコンピュータに実行させることが可能となる。

さらに、上記実施の形態では、画像入出力装置から供給される撮像データのノイズ除去処理を行う場合について説明したが、本発明は、このような画像入出力装置からの撮像データには限らず、画素データによって表現される任意の画像に対して適用することが可能である。例えば、スキャナから取り込んだ画像や、ファクシミリによって受信した画像に対しても、本発明のノイズ除去処理を適用することが可能である。

本発明の第１の実施の形態に係る画像補正装置および画像入出力装置の構成を表すブロック図である。 図１に示した入出力パネルの構成を表す平面図である。 入出力パネルにおける表示撮像セルの配置構成の一例を模式的に表す断面図である。 図１に示した表示撮像セルの構成を表す回路図である。 図１に示した画像入出力装置において撮像対象物体を撮像する処理の一例を表す模式断面図である。 入出力パネルにおける線順次表示動作および線順次撮像動作の一例を表す模式図である。 撮像データによって表現される画像の構成例を表す模式図である。 注目画素の走査方向および近傍画素の位置を説明するための模式図である。 第１の実施の形態に係る画素値設定テーブルを表す模式図である。 第１の実施の形態に係るノイズ除去処理を表す流れ図である。 図１０に示したノイズ除去処理を説明するための模式図である。 図１０に示したノイズ除去処理を説明するための模式図である。 図１０に示したノイズ除去処理を説明するための模式図である。 図７に示した画像に対するノイズ除去処理を説明するための模式図である。 図１４に続くノイズ除去処理を説明するための模式図である。 図１５に続くノイズ除去処理を説明するための模式図である。 ノイズ除去処理後の画像を説明するための模式図である。 第２の実施の形態に係る画像補正装置および画像入出力装置の構成を表すブロック図である。 画像データの輝度の階調レベルとしきい値との関係を説明するための模式図である。 第２の実施の形態に係る画素値設定テーブルを表す模式図である。 第２の実施の形態に係るノイズ除去処理を表す流れ図である。 本発明の変形例に係るノイズ除去処理を説明するための模式図である。 本発明の他の変形例に係るノイズ除去処理を説明するための模式図である。

符号の説明

１…入出力パネル、１１…画素、１１Ｗ…白表示画素、１１Ｂ…黒表示画素、１２Ａ，１２Ｂ…透明基板、１３…隔壁、１５…撮像対象物体、２１…表示信号生成部、２２…表示信号保持制御部、２３…表示信号ドライバ、２４…表示側スキャナ、３１…撮像信号選択スキャナ、３２…撮像信号レシーバ、３３，５６…２値化部、４１…表示タイミング制御信号、４２…撮像タイミング制御信号、４３…撮像ブロック制御信号、５…画像補正部、５１…フレームメモリ、５２…走査部、５３…演算部、５４…設定部、５５…判定部、６１，６１Ａ，６１Ｂ…表示領域、６３…撮像領域、７１，７１Ａ，７１Ｂ，７１１，７１２…注目画素、７２，７２Ａ１，７２Ａ２，７２Ｂ１，７２Ｂ２，７２１，７２２…近傍画素、８１，８２…画素値設定テーブル、ＣＷＲ…表示撮像セル、ＤＷ…データ供給線、ＤＲ…データ読出線、Ｇ…表示用ゲート線、Ｓ…切換線、ＬＷ，ＬＷ１…表示光、ＬＲ１…反射光、ＥＬ…表示撮像素子、Ｃ…キャパシタ、Ｒ…抵抗、ＳＷ１，ＳＷ２，ＳＷ３…スイッチ、Ｉ１…表示信号電流路、Ｉ２…撮像信号電流路、Ｙ…スキャン方向、Ｐ２，Ｐ３，Ｐ８，Ｐ９…スキャン中の水平ラインの位置、Ｘ，Ｘ１，Ｘ２…走査方向、Ｓout…画素合計値、Ｎ１，Ｎ２，Ｎ３…ノイズ、Ｙht1…第１のしきい値、Ｙth2…第２のしきい値。

Claims (8)

1. 画素データによって表現される画像からノイズを除去する画像補正装置であって、
   各画素を順次走査する走査手段と、
   走査済み画素についてのノイズ除去処理の結果をその次の走査対象画素についてのノイズ除去処理に反映させるようにして、各画素ごとにノイズ除去処理を行うノイズ除去処理手段と
   を備え、
   前記走査手段は、入力画像の画素配列の始点位置および終点位置から、それぞれ、互いに逆方向に並行して画素を走査する
   画像補正装置。
2. 前記ノイズ除去処理手段は、各画素ごとにその近傍の画素データを参照することにより、ノイズ除去処理を行う
   請求項１に記載の画像補正装置。
3. 前記画素データは輝度を２値化して表したものであり、
   前記ノイズ除去処理手段は、注目画素の近傍の画素の画素データの和を求め、得られた画素データの和に基づいて選択的にノイズ除去処理を行う
   請求項２に記載の画像補正装置。
4. 前記ノイズ除去処理手段は、前記画素データの和が所定のしきい値以下の場合には注目画素の値を「０」に設定する一方、前記画素データの和が前記所定のしきい値よりも大きい他のしきい値以上である場合には注目画素の値を「１」に設定することにより、選択的にノイズ除去処理を行う
   請求項３に記載の画像補正装置。
5. 入力される画素データは輝度を多値化して表した階調データであり、
   前記ノイズ除去処理手段は、入力された画素データが所定の階調範囲内にある場合にのみ、その画素およびその近傍の画素データを２値化したうえで前記ノイズ除去処理を行う
   請求項２に記載の画像補正装置。
6. 前記所定の階調範囲は、第１のしきい値からこの値よりも大きい第２のしきい値までの階調範囲であり、
   前記ノイズ除去処理手段は、入力された画素データが前記第１のしきい値以下である場合にはその画素を２値化データ「０」に設定する一方、入力された画素データが前記第２のしきい値以上である場合にはその画素を２値化データ「１」に設定する
   請求項５に記載の画像補正装置。
7. 画素データによって表現される画像からノイズを除去する画像補正プログラムであって、
   各画素を順次走査する走査ステップと、
   走査済み画素についてのノイズ除去処理の結果をその次の走査対象画素についてのノイズ除去処理に反映させるようにして、各画素ごとにノイズ除去処理を行うノイズ除去ステップと
   をコンピュータに実行させると共に、
   前記走査ステップでは、入力画像の画素配列の始点位置および終点位置から、それぞれ、互いに逆方向に並行して画素を走査する
   画像補正プログラム。
8. 画素データによって表現される画像からノイズを除去する画像補正方法であって、
   各画素を順次走査する走査ステップと、
   走査済み画素についてのノイズ除去処理の結果をその次の走査対象画素についてのノイズ除去処理に反映させるようにして、各画素ごとにノイズ除去処理を行うノイズ除去ステップと
   を含み、
   前記走査ステップでは、入力画像の画素配列の始点位置および終点位置から、それぞれ、互いに逆方向に並行して画素を走査する
   画像補正方法。

Images