JP4197008B2 - 画像処理方法、プログラム及び画像処理装置 - Google Patents

Description

本発明は、画像処理方法、プログラム及び画像処理装置に関する。

原稿にホコリが付着していると、スキャナによって読み取られたディジタル画像に、ホコリの画像が含まれてしまう。このため、原稿上のホコリは、読み取る前に、ブロアーなどで取り除くことが望ましい。しかし、ホコリを完全に取り除くことは困難である。
このため、ディジタル画像の中のホコリ画像を検出し、除去する手段が提案されている。
英国特許出願公開第１５４７８１１号明細書 特開２００３−１０１７３２号公報 特開平１０−２３２９１５号公報

特許文献１によれば、赤外光を用いて原稿上のホコリを検出する装置が開示されている。しかし、赤外光源等のハードウェアを付加しなければならず、装置が高額になる。
特許文献２によれば、二値画像にラベリング処理を施して個別の画像塊を矩形枠で囲い、所定条件の矩形枠内の画像塊をホコリ画像成分としている。しかし、二値画像の生成過程が不明であり、どのような画像でも適用可能なのか否かが不明である。
また、ホコリ画像のような欠陥画像（ホコリ画像・ノイズ等を含む）を除去する方法として、移動平均処理やメディアンフィルタ処理などが知られている。しかし、移動平均処理では、画像がぼけてしまい、かえって画質が劣化するおそれがある。また、メディアンフィルタ処理は、ランダムノイズを除去するには適しているが、欠陥画像が大きい場合、欠陥画素を欠陥画素で置換するおそれがある。

そこで、本件発明では、欠陥画像を含む画像の画質を向上させる画像処理を提供することを目的とする。

上記目的を達成するための主たる発明は、元画像から欠陥画像を除去する画像処理方法であって、前記欠陥画像を構成する画素から注目画素を決定した後に、前記注目画素の周囲にある周囲画素に対してメディアンフィルタ処理を行って、前記周囲画素の階調値を変更し、前記メディアンフィルタ処理後の周囲画素を用いて前記注目画素に対してメディアンフィルタ処理を行って、前記注目画素の階調値を変更することを特徴とする画像処理方法である。

本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。

本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。

注目画素を決定した後に、前記注目画素の周囲にある周囲画素に対してフィルタ処理を行って、前記周囲画素の階調値を変更し、
前記フィルタ処理後の前記周囲画素に基づいて、前記注目画素の階調値を変更する
ことを特徴とする画像処理方法。
このような画像処理方法によれば、画像処理後の画質が向上する。

かかる画像処理方法であって、前記注目画素の階調値を変更する際に、前記注目画素に対してメディアンフィルタ処理を行うことが望ましい。当初に注目画素の周囲に欠陥画素があったとしても、注目画素に対するメディアンフィルタ処理を行う際に、欠陥画素を欠陥画素で置換する可能性を低くできる。

かかる画像処理方法であって、複数の前記周囲画素に対して前記フィルタ処理を行う際に、所定の優先順序に従って、各周囲画素に対してフィルタ処理を行うことが望ましい。また、前記優先順序は、前記注目画素を決定する際の検索順序に対応して、設定されていることが好ましい。また、前記注目画素の周囲に第１周囲画素及び第２周囲画素があり、前記第１周囲画素に対して前記フィルタ処理を行う際に前記第２周囲画素が用いられ、前記第２周囲画素に対して前記フィルタ処理を行う際に前記第１周囲画素が用いられる場合であって、前記検索順序が前記第１周囲画素の方が前記第２周囲画素よりも早い場合、前記第１周囲画素に対してフィルタ処理を行って前記第１周囲画素の階調値を変更した後に、前記第２周囲画素に対してフィルタ処理を行って前記第２周囲画素の階調値を変更し、フィルタ処理後の前記第１周囲画素及び前記第２周囲画素に基づいて前記注目画素の階調値を変更することが良い。これにより、注目画素に対するメディアンフィルタ処理を行う際に、欠陥画素を欠陥画素で置換する可能性を低くできる。

かかる画像処理方法であって、前記フィルタ処理の際に、前記周囲画素の周囲の欠陥画素以外の画素に基づいて、前記周囲画素の階調値を変更することが望ましい。これにより、注目画素に対するメディアンフィルタ処理を行う際に、欠陥画素を欠陥画素で置換する可能性を低くできる。

また、前記注目画素を決定する前に、元画像に対してエッジ処理を行ってエッジ画像を取得し、前記エッジ画像に対して膨張処理を行った後に侵食処理を行った加工画像の中から、所定の大きさ以下の孤立点を検出し、前記孤立点に基づいて前記元画像における欠陥画素の位置を検出し、前記注目画素を決定する際に、前記欠陥画素の位置に基づいて、前記元画像から前記注目画素を決定することが好ましい。これにより、空間周波数の低い領域にある欠陥画素を検出し、除去することができる。

画像処理装置に、
注目画素を決定させた後に、前記注目画素の周囲にある周囲画素に対してフィルタ処理を行わせて、前記周囲画素の階調値を変更させ、
前記フィルタ処理後の前記周囲画素に基づいて、前記注目画素の階調値を変更させる
ことを特徴とするプログラム。
このようなプログラムによれば、画像処理後の画質が向上するように、画像処理装置に画像処理させることができる。

演算処理部と記憶部とを備えた画像処理装置であって、
前記演算処理部は、前記記憶部に記憶されたディジタル画像から注目画素を決定した後に、前記注目画素の周囲にある周囲画素に対してフィルタ処理を行って、前記周囲画素の階調値を変更し、
前記演算処理部は、前記フィルタ処理後の前記周囲画素に基づいて、前記注目画素の階調値を変更する
ことを特徴とする画像処理装置。
このような画像処理装置によれば、画像処理後の画質が向上する。

＝＝＝複合装置の概要＝＝＝
図１は、複合装置の全体斜視図である。図２は、複合装置の構成のブロック図である。複合装置１は、原稿から画像を読み取るためのスキャナ機能と、外部のコンピュータ３からの印刷データに基づいて画像を紙に印刷するプリンタ機能と、原稿から読み取った画像を紙に印刷するコピー機能と、を有する。

この複合装置１は、スキャナ部１０と、プリンタ部２０と、カードリーダ部３０と、パネル部４０と、コントローラ６０と、ＳＤＲＡＭ９０とを有する。スキャナ部１０の主な構成要素は、複合装置１の上部収容部１Ａに設けられている。プリンタ部２０の主な構成要素は、複合装置１の下部収容部１Ｂに設けられている。カードリーダ部３０は、ユーザがメモリカードをセットし易いように、下部収容部１Ｂの前面に設けられている。パネル部４０は、ユーザが操作し易いように、上部収容部１Ａの前面に設けられている。コントローラ６０は、下部収容部１Ｂの内部の基板に設けられている。

なお、外部のコンピュータ３には、ディスプレイ等の表示装置６や、キーボードやマウス等の入力装置７が接続されている。後述するように、コンピュータ３には、複合装置１のためのドライバが予めインストールされている。このドライバには、プリンタドライバやスキャナドライバなどが含まれている。このドライバは、コンピュータ３に複合装置１を制御させるためのプログラムであり、各種処理を行うためのコードから構成されている。コンピュータ３は、ＣＰＵ等の演算処理部や、データを記憶するメモリ等のハードウェアを備えている。

図３は、プリンタ部の説明図である。この図は、複合装置１の上部収容部１Ａが持上げられてプリンタ部２０を露出させたときの様子を示している。
プリンタ部２０は、紙を搬送する搬送ユニット（不図示）と、インクを吐出するヘッドを移動させるキャリッジ２１とを有する。そして、プリンタ部２０は、搬送ユニットにより紙を搬送する搬送動作と、移動するヘッドからインクを吐出して紙にドットを形成するドット形成動作とを交互に繰り返して、紙に画像を印刷する。不図示の搬送ユニットは、複合装置１の背面の背面給紙口２２又は複合装置１の前面の前面給紙口２３にセットされた紙を給紙し、複合装置１の前面の排紙トレイ２４へ印刷された紙を排紙する。

下部収容部１Ｂの前面の左右には、インクカートリッジカバー２５が設けられている。インクカートリッジ２６の取り付け時又は交換時、ユーザは、このインクカートリッジカバー２５を開き、インクカートリッジ２６を取り付け又は交換する。取り付け後又は交換後にユーザがインクカートリッジカバー２５を閉じることにより、インクカートリッジ２６のセットが完了する。このインクカートリッジ２６にはインクが収容されており、このインクはヘッドに供給されてヘッドから吐出される。

図４は、スキャナ部の説明図である。この図は、複合装置１の上蓋１１を開いたときの様子を示している。
スキャナ部１０は、上蓋１１と、原稿台ガラス１２とを有する。上蓋１１には、白色の原稿マット１１２が取り付けられている。原稿台ガラス１２に原稿が置かれた状態で上蓋１１が閉じられると、原稿が原稿マット１１２と原稿台ガラス１２との間で平らにセットされる。原稿台ガラス１２の下には、読取キャリッジ等のスキャナ部１０の他の構成要素がある。

図５は、パネル部の説明図である。
パネル部４０は、液晶ディスプレイ４１と、各種のボタンを有する。ボタンの種類としては、例えば、電源ボタン４２、設定ボタン４３、ストップボタン４４、モード選択ボタン４５、カーソル操作ボタン群４６、スタートボタン４７等がある。電源ボタン４２は、複合装置１の電源をオン／オフする。設定ボタン４３は、ヘッドクリーニング、ノズルチェック、インク残量等の設定や確認を行う。ストップボタン４４は、動作中の機能を中止する。モード選択ボタン４５は、複合装置１の機能の選択を行う。カーソル操作ボタン群４６は、液晶ディスプレイ４１に表示される項目の設定等を行う。スタートボタン４７は、カラーボタン４７Ｃ及びモノクロボタン４７Ｂを有し、カラー印刷又はモノクロ印刷の開始に用いられる。
液晶ディスプレイ４１には、図示するような各種の設定画面だけでなく、カードリーダ部３０によって読み取られたメモリカードの画像データも表示される。

＝＝＝複合装置の各種機能の概要＝＝＝
次に、図２を参照しながら、複合装置１の各種機能について説明する。以下に説明するように、複合装置１は、主な機能として、プリンタ機能、スキャナ機能、コピー機能を有する。

＜プリンタ機能＞
コンピュータ３には、複合装置１のプリンタドライバが予めインストールされている。そして、プリンタドライバは、コンピュータ３に、アプリケーションプログラム等で作成された画像データを印刷データに変換させる。この印刷データには、コマンドデータと画素データとが含まれている。コマンドデータは、複合装置１のプリンタ部２０を制御するためのデータである。画素データは、印刷画像を構成するドットの有無・色・階調に関するデータであり、ＣＭＹＫ色空間の４階調のデータ（ＣＭＹＫ２ビットデータ）である。そして、プリンタドライバは、コンピュータ３に、印刷データを複合装置１へ送信させる。

コントローラ６０は、コンピュータ３からの印刷データを、コマンドデータと画素データとに分離して、ＳＤＲＡＭ９０にバッファする。そして、コントローラ６０は、受信したコマンドデータに基づいてプリンタ部２０を制御し、画素データに基づいてヘッドからインクを吐出させ、印刷を行う。具体的には、ＣＭＹＫ２ビットデータに基づいてヘッドからインクが吐出され、紙上の各画素に大ドット・中ドット・小ドットが形成される。
このような処理を複合装置１が行うことによって、複合装置１はプリンタとして機能する。

＜スキャナ機能＞
コンピュータ３には、複合装置１のスキャナドライバが予めインストールされている。ユーザは、コンピュータ３上でスキャナドライバの設定を行い、例えば読取解像度や読み取り範囲等の設定を行う。ユーザは、スキャナ部１０に原稿をセットした後、コンピュータ上でスキャナドライバによりスキャン開始を指示すると、スキャナドライバは、コンピュータ３に、ユーザの設定内容に応じた制御データを複合装置１へ送信させる。

コントローラ６０は、コンピュータ３からの制御データに基づいてスキャナ部１０を制御し、スキャナ部１０から原稿の画像データを取得する。具体的には、ＲＧＢ色空間の２５６階調のデータ（ＲＧＢ８ビットデータ）の画素データから構成される画像データを取得する。そして、コントローラ６０は、取得した画像データをコンピュータ３へ送信する。
このような処理を複合装置１が行うことによって、複合装置１はスキャナとして機能する。

なお、ユーザは、スキャナ部１０に原稿をセットした後、スタートボタン４７を押しても良い。スタートボタン４７が押されると、コンピュータ３上のスキャナドライバが自動的に起動され、スキャナ部１０から取得した画像データがコントローラ６０によってコンピュータ３のスキャナドライバへ自動的に送信される。

＜コピー機能＞
ユーザは、パネル部４０を操作して設定を行い、例えば紙の大きさ、原稿の大きさ、倍率、コピーモード（はやい／きれい）等の設定を行う。スキャナ部１０に原稿をセットした後、ユーザがパネル部４０のスタートボタン４７を押すと、コピー開始を指示する開始信号がパネル部４０からコントローラ６０へ送られる。コントローラ６０は、ユーザの設定内容に応じた制御データをスキャナ部１０へ送信し、スキャナ部１０は、制御データに基づいて原稿を読み取り、ＲＧＢ８ビットデータの画素データから構成される画像データをコントローラ６０へ送信する。コントローラ６０は、スキャナ部１０からの画像データをＳＤＲＡＭ９０にバッファする。

次に、コントローラ６０は、スキャナ部１０から取得した画像データを、印刷データに変換する。スキャナ部１０からの画像データはＲＧＢ８ビットデータの画素データから構成されており、コントローラ６０は、このＲＧＢ８ビットデータを、色変換処理し、ハーフトーン処理し、インターレース処理し、生成された印刷データをＳＤＲＡＭ９０へバッファする。そして、コントローラ６０は、ＳＤＲＡＭ９０にバッファされた印刷データに応じてプリンタ部２０を制御して、印刷を行う。
このような処理を複合装置１が行うことによって、複合装置１はコピー機として機能する。

＝＝＝フィルムスキャナ機能＝＝＝
＜フィルムスキャン＞
複合装置１のスキャナ部１０は、紙の原稿から画像を読み取るだけでなく、例えば３５ｍｍフィルムのようなフィルムから写真画像を読み取ることもできる。
図６は、フィルムホルダの格納場所の説明図である。図７は、フィルムを読み取るためにセットする様子の説明図である。
上蓋１１には、原稿マット１１２の他に、フィルムホルダ１１４と、透過原稿用光源１１６が設けられている。ユーザは、上蓋１１から原稿マット１１２を外すと、上蓋１１からフィルムホルダ１１４を取り出すことができる。読み取り対象となるフィルムをセットする際、ユーザは、フィルムホルダ１１４にフィルムをセットし、フィルムホルダ１１４を原稿台ガラス１２上にセットし、上蓋１１を閉じる。このとき、フィルムホルダ１１４に保持されたフィルムと透過原稿用光源１１６とが対向し、フィルムから画像を読み取ることが可能な状態になる。
この後の処理は、原稿が紙の場合と同様である。

＜スキャナドライバ＞
図８は、スキャナドライバのユーザインターフェイスの説明図である。コンピュータ３のスキャナドライバが起動されると、表示装置６にユーザインターフェイスが表示される。ユーザは、コンピュータ３に接続された入力装置７を用いて、ユーザインターフェイスを介してスキャナドライバの各種設定を行うことができる。
このユーザインターフェイスは、設定保存部と、原稿設定部と、出力設定部と、調整部と、プレビューボタンと、スキャンボタンとから構成される。

設定保存部は、名称を付けて設定内容を保存するときに用いられる。また、既に保存されている設定内容をプルダウンメニューから選択するときにも設定保存部が用いられる。

原稿設定部は、原稿の種類等を設定するときに用いられる。フィルムから画像を読み取る場合、ユーザは、「原稿種」のプルダウンメニューから「フィルム」を選択する。「原稿種」で「フィルム」が選択された場合、「フィルムタイプ」のプルダウンメニューから「カラーネガフィルム」、「ポジフィルム」又は「白黒ネガフィルム」が選択可能になり、ユーザは、原稿台ガラス１２にセットされたフィルムに応じて「フィルムタイプ」の設定を行う。

出力設定部は、読取条件を設定するときに用いられる。ユーザは、カラー写真のフィルムから画像を読み取る場合、「イメージタイプ」のプルダウンメニューから「２４ｂｉｔカラー」又は「４８ｂｉｔカラー」を選択する。また、ユーザは、モノクロ写真のフィルムから画像を読み取る場合、「イメージタイプ」のプルダウンメニューから「１６ｂｉｔグレー」又は「８ｂｉｔグレー」を選択する。また、ユーザは、プルダウンメニューから「解像度」を設定することができる。解像度とは、原稿から画像を読み取る点の密度を示す単位である。例えば「解像度」が「４８００ｄｐｉ」に設定されると、１インチ当たり４８００箇所の読み取りが行われ、１インチ四方当たり４８００×４８００箇所の読み取りが行われる。原稿設定部の「原稿種」が「フィルム」の場合、読み取り対象の面積が小さいため、「解像度」を高い解像度に設定する必要がある。

調整部は、原稿から読み取られた画像を調整するときに用いられる。ユーザは、調整部のチェックボックスにチェックを付けることによって、調整部の設定を行う。スキャナドライバは、調整部の設定にしたがって、複合装置１から取得した画像データに対して画像処理を施す。ここでは「ホコリ除去」のチェックボックスにチェックが付いているため、スキャナドライバは、画像データに対してホコリ除去のための画像処理を施すことになる。このホコリ除去のための画像処理については後述する。

プレビューボタンが押されると、スキャナドライバは、スキャナ部１０に低解像度で原稿を読み取らせ、複合装置１から取得した画像データをプレビュー画面（不図示）として表示装置６に表示させる。ユーザは、プレビュー画面で読み取り範囲を設定することが可能である。なお、プレビューボタンが押された場合、プレビュー画面をすばやく表示するため、スキャナドライバは、調整部で設定された画像処理を行わずに、複合装置１から取得した画像データを表示装置６に表示する。

スキャンボタンが押されると、スキャナドライバは、設定された条件でスキャナ部１０に原稿を読み取らせ、複合装置１から取得した画像データをハードディスク等に保存する。調整部の設定により画像データに対して画像処理を行う場合、スキャナドライバは、画像処理を施した画像データを保存する。

ところで、原稿にホコリが付着していると、スキャナ部１０によって読み取られた画像に、ホコリの画像（ホコリ画像）が含まれてしまう。このため、原稿上のホコリは、読み取る前に、ブロアーなどで取り除くことが望ましい。しかし、ホコリを完全に取り除くことは困難であり、微細なホコリは原稿に付着している。但し、低い解像度で原稿が読み取られる場合、微細なホコリの影響はほとんどない。

一方、フィルムを読み取る場合、出力設定部の「解像度」が比較的高い解像度に設定されているため、微細なホコリがフィルムに付着していても、読み取られた画像にホコリ画像が含まれてしまう。このため、フィルムを読み取る場合、ユーザは、「ホコリ除去」のチェックボックスにチェックを付けることが望ましい。

ホコリ除去のチェックボックスにチェックが付いている場合、スキャンボタンが押されると、スキャナドライバは、複合装置１から取得した画像データに対して、ホコリ検出処理を行い、ホコリ除去処理行う。以下、ホコリ検出処理とホコリ除去処理について、説明を行なう。

＝＝＝ホコリ検出処理＝＝＝
ホコリ検出処理は、複合装置１から取得した画像データ（元画像データ）の示す画像（元画像）の中からホコリ画像を検出する処理である。
まず、処理対象となる画像データについて説明し、その後にホコリ検出処理について説明する。

＜画像データ＞
図９は、Ｍ×Ｎ画素からなる画像の説明図である。画素とは、画像を構成する最小構成要素であり、画像は、２次元マトリクス状に配置された画素によって構成される。図に示された画像は、ｘ方向（水平方向又は横方向）にＭ画素、ｙ方向（垂直方向又は縦方向）にＮ画素で配置された画素から構成される。画素位置がｘ方向ｉ番目・ｙ方向ｊ番目の画素（図中の斜線で示す画素）は、「画素（ｊ，ｉ）」と呼ばれる。なお、画素（ｊ，ｉ）に対応する画素データは、「画素データ（ｊ，ｉ）」と呼ばれる。また、画素データ（ｊ，ｉ）のことをＰｊｉと表記することもある。

複合装置１から取得した画像データ（元画像データ）は、複数の画素データから構成されている。元画像データの示す画像（元画像）も、２次元マトリクス状に配置された画素によって構成される。各画素にはそれぞれ画素データが対応しており、各画素は、画素データに応じた階調を示す。

画素データは、ＲＧＢ色空間のデータであり、「ＲＧＢデータ」とも呼ぶ。各画素データは、Ｒ（赤）の階調値を示すＲデータと、Ｇ（緑）の階調値を示すＧデータと、Ｂ（ブルー）の階調値を示すＢデータとから構成される。Ｒデータ、Ｇデータ及びＢデータは、それぞれ８ビットデータであり、それぞれの色の階調を２５６段階で表現できる。

スキャナドライバは、このような画像データに対して、以下に説明するホコリ検出処理を行う。

＜ホコリ検出処理の概要＞
図１０は、元画像データの示す元画像の一例である。この元画像データは、ヨットハーバーの写真を示している。

図１１は、一様領域と非一様領域の説明図である。
一様領域とは、空間周波数の低い画像の領域である。例えば、この画像の左上側の空の画像の領域は、空間周波数の低くなるため、一様領域になる。この一様領域では、被写体の輪郭があまり存在しない。また、一様領域では、隣接する画素の画素データが連続的に変化している。
非一様領域とは、空間周波数の高い画像の領域である。例えば、この画像の下半分の多数のヨットの画像や建物の画像などの領域は、空間周波数が高くなるため、非一様領域になる。この非一様領域では、被写体の輪郭が多数存在する。また、非一様領域では、隣接する画素の画素データが不連続に変化している。
一様領域と非一様領域は、明確に区分けされるわけではない。例えば、空の画像の領域に、ヨットのマストの画像や、ヨットのステー（マストの頂部から張られたワイヤロープ）の画像などが入り込んだりしている。なお、また、元画像に含まれる被写体（ヨット、山、建物、マスト、ステー等）の画像やホコリの画像のことを「オブジェクト画像」とも呼ぶ。

ところで、一様領域にホコリ画像がある場合、ホコリ画像は目立ち易い。一方、非一様領域にホコリ画像がある場合、ホコリ画像は目立ち難い。加えて、非一様領域のホコリ画像を除去しようとする場合、被写体の画像が破壊されやすく、むしろ画質が劣化すると考えられる。
そこで、本実施形態では、非一様領域のホコリ画像は検出せず、一様領域のホコリ画像だけを検出している。

また、ホコリを判別するときに、ホコリの形状に応じて判別方法を変える必要がある。もし仮に、ホコリ画像を囲む矩形領域の大きさに基づいてホコリか否かの判別を行うとすると、点状のホコリの大きさに合わせて矩形領域の大きさを設定する場合には、線状のホコリを判別できないおそれが生じ、線状のホコリの大きさに合わせて矩形領域の大きさを設定する場合には、矩形領域を大きく設定する必要があり、この結果、ホコリではない被写体の画像をホコリとして判別するおそれが生じる。
そこで、本実施形態では、ホコリが点状なのか線状なのかに応じて、ホコリの判別方法を変えている。

図１２は、ホコリ検出処理のフロー図である。このホコリ検出処理は、スキャナドライバがコンピュータ３に画像データを画像処理させることによって、行われる。つまり、スキャナドライバは、図中の各処理をコンピュータ３に実行させるためのプログラムコードを有する。以下、各処理の説明を行なう。

＜色変換処理（Ｓ１０１）＞
色変換処理では、コンピュータ３は、ＲＧＢ色空間の元画像データを、ＹＵＶ色空間の画像データに変換する。言い換えると、色変換処理では、コンピュータ３は、ＲＧＢ色空間の画素データを、ＹＵＶ色空間の画素データに変換する。更に言い換えると、色変換処理では、コンピュータ３は、ＲＧＢ色空間の元画像を、ＹＵＶ色空間の画像に変換する。

色変換後の画素データのことを、ＹＵＶ色空間のデータであるため、「ＹＵＶデータ」とも呼ぶ。ＹＵＶデータは、Ｙ（輝度）の階調値を示すＹデータと、Ｕ（色差）の階調値を示すＵデータと、Ｖ（色差）の階調値を示すＶデータとから構成される。すなわち、色変換処理では、コンピュータ３は、各画素のＲＧＢデータをＹＵＶデータに変換する。

ＲＧＢデータをＹＵＶデータに変換する際には、以下の式が用いられる。
Ｙ ＝ ０．２９９Ｒ ＋０．５８７Ｇ ＋０．１１４Ｂ
Ｕ ＝−０．１４７Ｒ −０．２８９Ｇ ＋０．４３７Ｂ
Ｖ ＝ ０．６１５Ｒ −０．５１５Ｇ −０．１００Ｂ

なお、色差の階調を示すＵデータ及びＶデータは、算出しなくても良い。また、ＹＵＶ色空間ではなく、ＹＩＱ色空間になるようにＲＧＢデータを変換しても良い。要するに、Ｙデータが得られれば良い。

この色変換処理により、コンピュータ３は、輝度の画像データを得ることができる。なお、輝度の画像データのことを「輝度画像データ」と呼び、輝度画像データの示す画像のことを「輝度画像」と呼ぶ。

＜エッジ処理（Ｓ１０２）＞
エッジ処理では、コンピュータ３は、輝度画像データに基づいて、オブジェクト画像の輪郭を示すエッジ画像データを算出する。言い換えると、エッジ処理では、コンピュータ３は、Ｙデータに基づいて、オブジェクト画像の輪郭に対応する画素（エッジ画素）を算出する。更に言い換えると、エッジ処理では、コンピュータ３は、輝度画像に基づいて、エッジ画像を算出する。

図１３は、エッジ処理のフロー図である。図１４Ａは、ｘ方向の勾配の算出に用いられるソーベルフィルタの説明図である。図１４Ｂは、ｙ方向の勾配の算出に用いられるソーベルフィルタの説明図である。

まず、コンピュータ３は、Ｙデータに対してｘ方向のソーベルフィルタを適用することにより、ｘ方向の勾配を算出する（Ｓ１２１）。ソーベルフィルタは、３×３の９要素からなるフィルタである。なお、画素（ｊ，ｉ）に対応するｘ方向の勾配データのことを「勾配データＧｘ（ｊ，ｉ）」と呼ぶ。勾配データ（ｊ，ｉ）は、画素（ｊ，ｉ）を中心とする３×３画素の各Ｙデータとソーベルフィルタの各要素との積の和として算出される。具体的には、勾配データＧｘ（ｊ，ｉ）は、以下のように算出される。
Gx(j,i)＝{Y(j-1,i+1)＋２×Y(j,i+1)＋Y(j+1,i+1)}
−{Y(j-1,i-1)＋２×Y(j,i-1)＋Y(j+1,i-1)}

同様に、コンピュータ３は、Ｙデータに対してｙ方向のソーベルフィルタを適用することにより、ｙ方向の勾配データＧｙ（ｊ，ｉ）を算出する（Ｓ１２２）。

なお、ｘ方向の勾配データは、ｘ方向に隣接する画素同士の輝度差が大きいとき、大きな値を示す。同様に、ｙ方向の勾配データは、ｙ方向に隣接する画素同士の輝度差が大きいとき、大きな値を示す。

次に、コンピュータ３は、ｘ方向の勾配データＧｘ及びｙ方向の勾配データＧｙに基づいて、各画素の勾配の強度を示す強度データＧを算出する。強度データＧは、以下のように算出される。
G(j,i)＝√({Gx(j,i)}^2+{Gy(j,i)}^2)

最後に、コンピュータ３は、強度データＧに対して２値化処理を行う。全画素における強度データＧの最大値をＧmaxとしたとき、Ｇ（ｊ，ｉ）／Ｇmaxが閾値以上ならば画素（ｊ，ｉ）に［１］を割り当て、Ｇ（ｊ，ｉ）／Ｇmaxが閾値よりも小さければ画素（ｊ，ｉ）に［０］を割り当てることにより、２値化処理を行う。この２値化処理後の画素（ｊ，ｉ）に対応する２値データのことを、「エッジ画素データＥ（ｊ，ｉ）」又は単に「画素データ（ｊ，ｉ）」と呼ぶ。また、エッジ画素データにより構成される画像データのことを「エッジ画像データ」と呼び、エッジ画像データの示す画像のことを「エッジ画像」と呼ぶ。このエッジ画像は、２値画像になる。

図１５Ａ〜図１５Ｃは、輝度画像と、エッジ画像との関係の説明図である。図中の升目は画素を示している。

図中の左側の画像は、１２×１２画素の輝度画像の例である。ここでは説明の簡略化のため、輝度画像の各Ｙデータは［０］又は［２５５］のいずれかである。また、Ｙデータが［０］の画素を黒で示し、Ｙデータが［２５５］の画素を白で示している。
また、図中の右側の画像は、１２×１２画素のエッジ画像の例である。ここでは、エッジ画素データが［０］の画素を黒で示し、エッジ画素データが［１］の画素を白で示している。
図中の輝度画像とエッジ画像とを比較すると、輝度画像において白画素及び黒画素の境界と接する画素が、すなわち隣接する画素との輝度差の大きい画素が、エッジ画像において白画素になっていることが分かる。言い換えると、輝度画像のオブジェクト画像の輪郭となる画素が、エッジ画像において白画素になっている。このため、エッジ画素データが［１］の画素（エッジ画像の白画素）は、「エッジ画素」とも呼ばれる。

例えば、輝度画像に１画素分の幅の細線（オブジェクト画像）がある場合（図１５Ａ左側参照）、この線を挟むような２本の線がエッジ画像に現れる（図１５Ａ右側参照）。また、輝度画像に塊状の画像（オブジェクト画像）がある場合（図１５Ｂ及び図１５Ｃ左側参照）、リング状の画像がエッジ画像に現れる（図１５Ｂ及び図１５Ｃ右側参照）。

このように、輝度画像に対してエッジ処理が行われると、輝度画像のオブジェクト画像の輪郭を示すエッジ画像が得られる。言い換えると、輝度画像データに対してエッジ処理が行われると、エッジ画像データが得られる。

図１６は、図１０の画像のエッジ画像である。
一様領域では、被写体の輪郭があまり存在しないため、各画素の勾配の強度は低くなるので、エッジ画素データが［０］になる黒画素が多数存在する。この結果、一様領域では、エッジ画像は主に黒画像になる。
また、非一様領域では、被写体の輪郭が多数存在するため、エッジ画素データが［１］になる白画素が多数存在する。この結果、非一様領域では、エッジ画像は白と黒が入り混じった画像になる。
なお、ヨットのマストやステー（ワイヤロープ）の領域では、エッジ処理によって線状の画像が現れる。但し、元画像におけるヨットのマストやステーのオブジェクト画像は細線のため、かすれやすく、エッジ処理によって現れた線状の画像は、一部で断線している。

仮に図１０の画像にホコリ画像がある場合、色変換処理（Ｓ１０１）及びエッジ処理（Ｓ１０２）の結果、ホコリ画像の輪郭がエッジ画素になる。このため、一様領域においてホコリ画像がある場合、黒画像の中に白画像が入り込む状態になり、ホコリ画像の輪郭を示す白画像が孤立した状態になる。一方、非一様領域においてホコリ画像がある場合、白と黒が入り混じった画像の中に、ホコリの輪郭を示す白画像が紛れ込む状態になる。

＜膨張処理（Ｓ１０３）＞
膨張処理では、コンピュータ３は、エッジ画像における白画素（画素データが［１］の画素）の領域を所定画素分だけ大きくする。言い換えると、膨張処理では、コンピュータ３は、エッジ画像における白画素の示す画像（白画像）を膨張させる。
具体的には、コンピュータ３は、注目画素を中心とするｎ×ｎ画素（この範囲を「近傍範囲」と呼ぶ）のいずれかの画素の画素データ（エッジ画素データ）が［１］の場合、その注目画素の画素データを［１］にする。言い換えると、コンピュータ３は、注目画素の近傍範囲にエッジ画素が１つでもある場合、その注目画素の画素データを［１］にする。

図１７Ａ〜図１７Ｃは、膨張処理前の画像と、膨張処理後の画像との関係の説明図である。図中の左側の画像が膨張処理前の画像であり、図中の右側の画像が膨張処理後の画像である。ここでは、説明の簡略化のため、近傍範囲を３×３画素にしている。
例えば、近接した２本の白線がエッジ画像にある場合（図１７Ａ左側参照）、膨張処理の結果、５画素分の太い白線の画像が現れる（図１７Ａ右側参照）。また、小さい穴のリング状の白画像がエッジ画像にある場合（図１７Ｂ左側参照）、膨張処理の結果、穴の埋まった塊状の白画像が現れる（図１７Ｂ右側参照）。一方、大きい穴のリング状の白画像がエッジ画像にある場合（図１７Ｃ左側参照）、膨張処理の結果、穴の小さい幅の太いリング状の白画像が現れる（図１７Ｃ右側参照）。

このように、膨張処理を行えば、白画像の外郭が拡張する。また、膨張処理を行えば、白画像が太くなるだけでなく、離れた白画素同士・白画像同士がくっついたり、小さい穴が埋まったりする。なお、膨張処理前の白画像に狭い窪みのようなものがある場合には、膨張処理により窪みが埋まった白画像になる。

なお、ここでは、説明の簡略化のため、近傍範囲を３×３画素にしているが、実際には、近傍範囲は７×７画素になる。このため、図１７Ａ〜図１７Ｃと比べると、実際には白画像がもっと太くなり、図１７Ｃに示す程度の穴ならば膨張処理により埋まることになる。

＜侵食処理（Ｓ１０４）＞
侵食処理では、コンピュータ３は、白画素（画素データが［１］の画素）の領域を所定画素分だけ小さくする。言い換えると、侵食処理では、コンピュータ３は、膨張処理後の白画像を侵食させる。
具体的には、コンピュータ３は、注目画素の近傍範囲のいずれかの画素の画素データが［０］の場合、その注目画素に対応する画素データを［０］にする。言い換えると、コンピュータ３は、近傍範囲にエッジ画素以外の画素が１つでもある場合、その注目画素の画素データを［０］にする。

侵食処理の近傍範囲は、前述の膨張処理の近傍範囲と同じになる。つまり、膨張処理の近傍範囲が３×３画素ならば、侵食処理の近傍範囲は３×３画素になり、膨張処理の近傍範囲が７×７画素ならば、侵食処理の近傍範囲は７×７画素になる。

図１８Ａ〜図１８Ｃは、侵食処理前の画像と、侵食処理後の画像との関係の説明図である。図中の左側の画像が侵食処理前の画像であり、図中の右側の画像が侵食処理後の画像である。ここでは、図１７Ａ〜図１７Ｃに示す膨張処理と同様に、近傍範囲を３×３画素にしている。

例えば、侵食処理前の画像に太い白線がある場合（図１８Ａ左側参照）、侵食処理の結果、細い白線の画像が現れる（図１８Ａ右側参照）。また、侵食処理前の画像に塊状の白画像がある場合、侵食処理の結果、小さな塊状の白画像が現れる。また、侵食前の白画像に穴がある場合、侵食処理の結果、その穴は広がる。
このように、侵食処理を行えば、白画像の外郭が縮小する。

図１９Ａ〜図１９Ｃは、エッジ画像と、侵食処理後の画像との関係の説明図である。図中の左側の画像はエッジ画像である。図中の右側の画像は侵食処理後の画像である。つまり、図中の右側の画像は、左側の画像に対して膨張処理と侵食処理を行った後の画像である。

近接した２本の白線がエッジ画像にある場合（図１９Ａ左側参照）、膨張処理の後に侵食処理を行う結果、２本の白線の間が埋まり、１本の白線の画像が現れる（図１９Ａ右側参照）。また、リング状の白画像がエッジ画像にある場合（図１９Ｂ・図１９Ｃ左側参照）、穴が小さければ、膨張処理の後に侵食処理によってその穴が埋まり（図１９Ｂ右側参照）、穴が大きければ、膨張処理の後に侵食処理によっても穴は埋まらない（図１９Ｃ右側参照）。

このように、膨張処理の後に侵食処理を行っても、白画像の外郭には変化はない。しかし、処理前の画像に小さな穴や窪みなどがあれば、膨張処理の後に侵食処理を行うことによって、その穴や窪みを埋めることができる。また、処理前のエッジ画像に白画素・白画像が狭い間隔で入り混じっていれば、膨張処理の後に侵食処理を行うことによって、それらの白画素同士・白画像同士が結合する。

図２０Ａ〜図２０Ｃは、侵食処理後の画像と、輝度画像との関係の説明図である。侵食処理後の画素データが［０］の画素を黒で示し、侵食処理後の画素データが［１］の画素を白で示している。また、輝度画像におけるオブジェクト画像を構成する白画素に、丸印を付している。

輝度画像に線又は小さな塊の画像（オブジェクト画像）がある場合（図２０Ａ及び図２０Ｂ参照）、侵食処理後の白画像の領域には、輝度画像のオブジェクト画像が含まれることになる。言い換えると、侵食処理後の白画像が所定の大きさ以下であれば、その白画像の領域に、輝度画像のオブジェクト画像の領域が含まれることになる。つまり、侵食処理後の白画像の領域が所定の大きさ以下であれば、その白画像の領域は、輝度画像におけるオブジェクト画像の位置を示すことになる。但し、輝度画像のオブジェクト画像が所定の大きさ以上の場合（図２０Ｃ参照）、侵食処理後の白画像の領域は、必ずしも輝度画像におけるオブジェクト画像の位置を示すものにはならない。

なお、エッジ画像に対して膨張処理し更に侵食処理した画像のことを「加工画像」と呼ぶ。また、この加工画像を示す画像データのことを「加工画像データ」と呼ぶ。

図２１は、図１６のエッジ画像に対して膨張処理し更に侵食処理した結果の加工画像である。上記の説明では膨張処理及び侵食処理の近傍範囲を３×３画素にしていたが、ここでは近傍範囲を７×７画素にしている。

エッジ画像の一様領域は、主に黒画像である。このため、加工画像の一様領域も、主に黒画像になる。また、エッジ画像の一様領域にホコリの輪郭を示す白画像がある場合、この白画像は疎らに存在している。このため、加工画像の一様領域では、ホコリの輪郭を示す白画素同士が結合することはほとんどなく、白画像がそのまま疎らに存在する。

また、エッジ画像の非一様領域では、白画像が密集している。このため、加工画像の非一様領域では、ほとんどの白画素が結合する。この結果、非一様領域では、白画像の領域が所定の大きさ以上になる。なお、元画像の非一様領域にホコリ画像があったとしても、エッジ画像に対する膨張処理と侵食処理の結果、ホコリの輪郭を示す白画素と、非一様領域の被写体の輪郭を示す白画素が結合されて、一体になる。

また、エッジ画像では、ヨットのマストやステー（ワイヤロープ）の線状の白画像は、一部が断線しているが、膨張処理の後に侵食処理を行うことによって、加工画像では、断線していた線が結合する。この結果、侵食処理後のこのような線状の白画像の領域も所定の大きさ以上になる。

つまり、加工画像における所定の大きさ以下の白画像は、ホコリ画像に関連していると考えられる。また、加工画像における所定の大きさ以下の白画像の位置は、元画像における一様領域のホコリ画像の位置を示していると考えられる。

ところで、コンピュータ３は、膨張処理や侵食処理の近傍範囲の大きさを、原稿の読み取り解像度に応じて変更している。例えば、上記説明では、解像度が「４８００ｄｐｉ」に設定され、近傍範囲は７×７画素である。これに対し、解像度が「２４００ｄｐｉ」に低く設定された場合には、コンピュータ３は、近傍範囲を５×５画素に狭くする。なぜならば、読み取り解像度が低く設定されると、元画像において被写体の輪郭を示す画素の画素間隔が短くなり、膨張処理や侵食処理の近傍範囲が狭くても、白画素同士が十分結合するからである。逆に、読み取り解像度が高く設定されると、元画像において被写体の輪郭を示す画素の間隔が長くなり、膨張処理や侵食処理の近傍範囲が広くなければ、白画素同士が十分結合しなくなる。

＜ラベリング処理（Ｓ１０５）＞
ラベリング処理では、コンピュータ３は、各白画素にラベルを付加することによって、白画素のグループ分けを行う。言い換えると、ラベリング処理では、コンピュータ３は、個々の白画像に対してラベルを付加し、個々の白画像を別々に処理可能な状態にする。

図２２は、ラベリング処理の説明図である。図中の左側の画像は加工画像を示し、図中の右側はラベリング処理の結果を示している。図中の右側において、各白画素内に描かれた数字は、その白画素に付加されたラベルを示している。
ラベリング処理では、コンピュータ３は、各白画素にラベル（番号）を属性として付加し、連結している白画素に同じラベルを付加することによってグループ分けを行う。具体的には、まず、コンピュータ３は、ラベルの付いていない白画素を検索する。そして、ラベルの付いていない白画素が見つかれば、新しいラベルを付加する。そして、この白画素の４方向に連結している白画素に同じラベルを付加する。更に、同じラベルが付加された白画素の４方向に連結している白画素にも同じラベルを付加する。このような同じラベルを付加する処理を繰り返し、同じラベルを付加できる画素がなくなれば、別のラベルの付いていない白画素を検索し、ラベルの付いていない白画素が見つかれば、新しいラベルを付加し、同様の処理を繰り返す。

＜孤立点抽出処理（Ｓ１０６）＞
孤立点抽出処理では、コンピュータ３は、所定の大きさ以下の白画素の領域を孤立点として抽出する。

図２３は、孤立点の抽出のフロー図である。図２４は、白画素及びこの白画素を囲む矩形領域の説明図である。
まず、コンピュータ３は、同じラベルの付加された白画素を全て抽出する（Ｓ１６１）。そして、コンピュータ３は、白画像を囲む矩形領域を決定する（Ｓ１６２）。具体的には、Ｓ１６１で抽出された全ての白画素のうちのｘ方向の位置の最大値・最小値及びｙ方向の位置の最大値・最小値を求め、これらの値に基づいて矩形領域を決定する。

次に、コンピュータ３は、矩形領域が所定の大きさ以下か否かを判断する（Ｓ１６３）。矩形領域が所定の大きさ以下であれば、Ｓ１６１で抽出された白画像がホコリ画像と関連するかもしれないので、Ｓ１６４以降の処理を行う。なお、矩形領域が所定の大きさよりも大きければ、Ｓ１６１で抽出された白画像はホコリ画像と無関係であると考えられる。例えば、図２１において、一様領域に疎らに存在する白画像に対しては、コンピュータ３はＳ１６３でＹＥＳと判断する。また、図２１において、非一様領域にある白画像に対しては、コンピュータ３はＳ１６３でＮＯと判断する。

矩形領域が所定の大きさ以下であれば（Ｓ１６３でＹＥＳ）、コンピュータ３は、矩形領域の長辺（この場合はｂ）の２乗に対する白画素の数（Ｓ）の割合（Ｒ＝Ｓ／（ｂ×ｂ））を算出する（Ｓ１６４）。つまり、矩形領域の長辺を一辺とする正方形の面積に対する白画素の数の割合を算出する。白画像が点状の場合、割合Ｒは大きな値になりやすい。一方、白画像が線状の場合、割合Ｒは小さい値になりやすい。なお、ホコリ画像が点状の場合には割合Ｒが大きな値になりやすく、ホコリ画像が線状の場合には割合Ｒが小さな値になりやすい。

このＳ１６４の処理は、白画像の形状（点状・線状）を区別するための処理であるので、この目的を達せられるのであれば、割合Ｒの算出に必ずしも矩形領域の長辺の２乗を用いなくても良い。但し、単に矩形領域の面積（ａ×ｂ）に対する白画素の数（Ｓ）の割合（Ｓ／（ａ×ｂ））に基づいて白画像の形状が判定されると、線状の白画像がｘ方向又はｙ方向に沿うような場合に誤判定が起こりやすくなる。

次に、コンピュータ３は、割合Ｒと閾値Ｃ０とを比較する（Ｓ１６５）。閾値Ｃ０は、予め設定された値である。割合Ｒが閾値Ｃ０よりも大きければ（Ｓ１６５でＹＥＳ）、白画像は点状であると考えられる。また、割合Ｒが閾値Ｃ０よりも小さければ（Ｓ１６５でＮＯ）、白画像は線状であると考えられる。

白画像が点状の場合、すなわち割合Ｒが閾値Ｃ０よりも大きい場合（Ｓ１６５でＹＥＳ）、コンピュータ３は、白画素の数Ｓと閾値Ｃ１とを比較する（Ｓ１６６）。閾値Ｃ１も、予め設定された値である。白画素の数Ｓが閾値Ｃ１よりも小さければ（Ｓ１６６でＹＥＳ）、白画像は、ホコリ画像と関連していると考えられる。一方、白画素の数Ｓが閾値Ｃ１よりも大きければ（Ｓ１６６でＮＯ）、白画像は、ホコリ画像よりも大きい画像であるため、被写体と関連していると考えられる。

白画像が線状の場合、すなわち割合Ｒが閾値Ｃ０よりも小さい場合（Ｓ１６５でＮＯ）、コンピュータ３は、白画素の数Ｓと閾値Ｃ２とを比較する（Ｓ１６７）。閾値Ｃ２も、予め設定された値である。白画素の数Ｓが閾値Ｃ２よりも小さければ（Ｓ１６７でＹＥＳ）、白画像は、ホコリ画像と関連していると考えられる。一方、白画素の数Ｓが閾値Ｃ２よりも大きければ（Ｓ１６７でＮＯ）、白画像は、ホコリ画像よりも大きい画像であるため、被写体と関連していると考えられる。

白画像がホコリ画像と関連している場合、すなわちＳ１６６又はＳ１６７でＹＥＳの場合、コンピュータ３は、Ｓ１６１で抽出した白画素の位置を記憶する（Ｓ１６８）。この位置は、元画像におけるホコリ画像の位置を示すことになる。
そして、Ｓ１６８の処理の後、又はＳ１６６又はＳ１６７でＮＯの場合、又はＳ１６３でＮＯの場合、コンピュータ３は、Ｓ１６１で抽出した白画素に対する処理を終了し、他のラベルの白画素があるか否かを判断する（Ｓ１６９）。もし他のラベルの白画素があれば（Ｓ１６９でＹＥＳ）、コンピュータ３は、そのラベルの白画素に対して、同様にＳ１６１〜Ｓ１６８の処理を行う。また、他のラベルの白画素がなければ（Ｓ１６９でＮＯ）、孤立点抽出処理（図１２のＳ１０６）を終了する。

この孤立点抽出処理（Ｓ１０６）によって、コンピュータ３は、ホコリ画像に関連する白画像の加工画像における位置を取得することができる。そして、加工画素における孤立点（ホコリ画像に関連する白画像）の位置は、元画像におけるホコリ画像の位置と対応している（図２０Ａ及び図２０Ｂ参照）。

図２５は、図２１の加工画像から孤立点を抽出した画像である。この図における位置は、元画像におけるホコリ画像の位置と対応している。すなわち、元画像におけるこの図の白画像の位置に、ホコリ画像が存在している。

ところで、本実施形態では、Ｓ１６６の閾値Ｃ１とＳ１６７の閾値Ｃ２が異なる値になっており、閾値Ｃ２の方が閾値Ｃ１よりも大きい値になっている。すなわち、本実施形態では、コンピュータ３は、白画像の形状（点状・線状）に応じて、ホコリ画像との関連性の有無の判別方法を変えている。この理由について以下に説明する。

図２６は、Ｓ１６１において抽出される白画像の説明図である。第１白画像Ｗ１は、比較的小さい点状画像である。第２白画像Ｗ２は、線状画像である。第３白画像Ｗ３は、比較的大きい点状画像である。なお、図中に矩形状の点線は、各白画像を囲む矩形領域を示すためのものであり、白画像ではない。

元画像に点状のホコリ画像がある場合、加工画像には第１白画像Ｗ１のような比較的小さい点状画像が現れる。また、元画像に線状のホコリ画像がある場合、加工画像には第２白画像Ｗ２のような線状画像が現れる。一方、元画像の一様領域に被写体の画像が入り込んだ場合、加工画像には第３白画像Ｗ３のような比較的大きい点状画像が現れる。
つまり、第１白画像Ｗ１のような比較的小さい点状画像はホコリ画像と関連しており、第２白画像Ｗ２のような線状画像もホコリ画像と関連している。しかし、第３白画像Ｗ３は、第２白画像Ｗ２と矩形領域の大きさがあまり変わらないが、ホコリ画像と無関係である。

仮に、白画像の形状に関わらず、矩形領域の大きさだけに基づいてホコリ画像と関連するか否かを判別しようとすると（例えば、Ｓ１６３でＹＥＳの場合にＳ１６８に処理が進むとすると）、第２白画像Ｗ２がホコリ画像に関連すると判別されるようになると、第３白画像Ｗ３までがホコリ画像に関連すると判別されてしまう。逆に、第３白画像Ｗ３がホコリ画像と無関係であると判別されるようになると、第２白画像までがホコリ画像と無関係であると判別されてしまう。つまり、白画像の形状に関わらず、矩形領域の大きさだけに基づいてホコリ画像との関連性を判別すると、誤検出が多発するおそれがある。

そこで、本実施形態では、コンピュータ３は、Ｓ１６４及びＳ１６５において白画像の形状を判別し、白画像の形状に応じて閾値を変更することによって、白画像の形状（点状・線状）に応じてホコリ画像との関連性の有無の判別方法を変えている。これにより、コンピュータ３は、第２白画像Ｗ２がホコリ画像と関連すると判別できるとともに、第３白画像Ｗ３はホコリ画像と無関係であると判別できる。

図２７は、本実施形態のホコリ検出処理により検出されたホコリ画像の位置の説明図である。図２８Ａは、図２７で示した領域の拡大画像である。図２８Ａの中央には、マストの画像がある。また、図２８Ａの下部には、建物の画像がある。図２８Ａの左上から斜め下に、ステー（ワイヤロープ）の画像がある。そして、マストの画像の左右に、２つの点状のホコリ画像がある。

＝＝＝ホコリ除去処理＝＝＝
ホコリ除去処理は、ホコリ検出処理の結果に基づいて、元画像のホコリ画像を除去する処理である。言い換えると、元画像のホコリ画像を構成する画素データを、他の画素データに変換する処理である。

＜ボカシ処理＞
ホコリ画像などの欠陥画像を除去するための処理としてボカシ処理が知られている。ボカシ処理では、欠陥画像をぼかすことによって、欠陥画像を目立たなくさせることができる。
しかし、ボカシ処理では欠陥画像以外の画像にも、ボカシ処理の効果が及んでしまう。つまり、ボカシ処理では、被写体の画像を破壊してしまう。
図２８Ｂは、図２８Ａのホコリ画像に対してボカシ処理を行った結果の画像である。ボカシ処理の効果により、ホコリ画像は目立たなくなっている。しかし、中央のマストの画像が薄くなり、左上から斜め下にあるステーの画像が破断し、右下の建物の窓の画像が薄くなってしまっている。

＜メディアンフィルタ＞
ホコリ画像を除去するために、メディアンフィルタ処理を利用することができる。メディアンフィルタ処理では、コンピュータ３は、注目画素を中心とするｎ×ｎ画素の範囲（近傍範囲）の画素データの中央値（メディアン）を、注目画素の画素データにする。以下、この処理について説明する。

図２９は、メディアンフィルタ処理を利用したホコリ除去処理のフロー図である。このホコリ除去処理は、スキャナドライバがコンピュータ３にホコリ検出処理後に画像処理させることによって、行われる。つまり、スキャナドライバは、図中の各処理をコンピュータ３に実行させるためのプログラムコードを有する。

また、図３０は、メディアンフィルタを利用したホコリ除去処理の様子の説明図である。図中の升目は画素を表し、斜線でハッチングされた升目は、ホコリ画像と判別された画素を表す。また、画素を示す升目内には、その画素に対応する画素データを示している。ここではスペースの都合上、画素（ｊ，ｉ）の画素データを「Ｐｊｉ」と表記している。また、図中において、注目画素を太実線で示し、近傍範囲を太点線で示している。ここでは近傍範囲は、説明の簡略化のため注目画素を中心とする３×３画素の範囲としているが、実際には、注目画素を中心とする７×７画素の範囲になる。なお、後で中央値を求めるため、近傍範囲の画素数は奇数になるように設定される。

まずコンピュータ３は、ホコリ画素の検索を行う（Ｓ２０１）。検索すべきホコリ画素の位置は、前述のＳ１６８において保存された白画素の位置である。まず、左上の画素から右へ順に検索が行われ、左から右への検索が上から順に行われる。つまり、コンピュータ３は、画素（１，１）→画素（１，２）→・・・→画素（１，６）→画素（２，１）→画素（２，２）→・・・の順に、ホコリ画素の検索を行う。ここでは最初に、画素（３，３）がホコリ画素として検索される（図３０左上図参照）。

次に、コンピュータ３は、注目画素の画素データを、近傍範囲の画素データの中央値に置換する（Ｓ２０２）。ここでは、画素（３，３）が注目画素になるので、コンピュータ３は、Ｐ２２、Ｐ２３、Ｐ２４、Ｐ３２、Ｐ３３、Ｐ３４、Ｐ４２、Ｐ４３及びＰ４４の９個の画素データのそれぞれの輝度データ（Ｙデータ）を求め、９個の輝度データの中央値を求め、中央値となる画素の画素データを画素（３，３）の画素データにする。この近傍範囲の９個の画素のうちの６個はホコリ画素ではないので、中央値となる画素は、ホコリ画素ではない画素になる可能性が高い。つまり、ホコリ画素であった画素（３，３）の画素データは、メディアンフィルタを適用された結果、ホコリ画素以外の画素の画素データに置換される。なお、画素（３，３）の新しい画素データを「Ｎ３３」とする（図３０右上図参照）。

コンピュータ３は、全てのホコリ画素の処理を終了したか否かを判断し（Ｓ２０３）、未処理のホコリ画素があれば、上記の処理Ｓ２０１及びＳ２０２を繰り返す。ここでは、未処理のホコリ画素が３つあるので、Ｓ２０３の判断はＮＯになる。

次に、Ｓ２０１において画素（３，４）がホコリ画素として検出される（図３０左下図参照）。画素（３，４）が注目画素になるので、コンピュータ３は、Ｐ２３、Ｐ２４、Ｐ２５、Ｎ３３、Ｐ３４、Ｐ３５、Ｐ４３、Ｐ４４、Ｐ４５の９個の画素データのそれぞれの輝度データを求め、９個の輝度データの中央値を求め、中央値となる画素の画素データを画素（３，４）の画素データにする。このように、近傍範囲の画素の画素データが新しい画素データになっている場合には、その新しい画素データ（例えば、画素（３，３）のＮ３３）を用いて中央値を求める。なお、画素（３，４）の新しい画素データを「Ｎ３４」とする（図３０右下図参照）。

コンピュータ３は、このような処理を繰り返し、残りの画素（４，４）及び画素（４，５）の画素データを変換する。そして、全てのホコリ画素の処理が終了すれば（Ｓ２０３でＹＥＳ）、コンピュータは、ホコリ除去処理を終了する。

ランダムフィルタは、ランダムなノイズの除去に有効であることが知られている。一方、ホコリ画像は一様領域にあるため、ホコリ画像は周囲の画像の性質と無関係なランダムなノイズに近い状態になっている。このため、ランダムフィルタを利用してホコリ除去処理を行えば、周囲の画像の破壊を抑えつつ、有効にホコリ画像を除去できる。

しかし、この方法では、ホコリ除去後の画像において、ホコリ画像の部分で画像の変化が急激になる確立が高く、不自然な画像になるおそれもある。また、この方法では、ホコリ画素が大きな塊状になっている場合、ホコリ画素の画素データでホコリ画素の画素データを置換するおそれがあるため、ホコリ画素を除去できないおそれがある。

例えば図３１に示すようにホコリ画素が大きな塊状になっている場合、画素（３，３）に対してメディアンフィルタを適用するとき、この近傍範囲の９個の画素のうちの５個がホコリ画素であるため、中央値になる画素がホコリ画素になる可能性が高い。このような場合、新しい画素データＮ３３がホコリ画素の画素データになるおそれがある。

そこで、本実施形態では、以下のホコリ除去処理を行っている。

＜本実施形態のホコリ除去処理＞
図３２は、本実施形態のホコリ除去処理のフロー図である。このホコリ除去処理は、スキャナドライバがコンピュータ３にホコリ検出処理後に画像処理させることによって、行われる。つまり、スキャナドライバは、図中の各処理をコンピュータ３に実行させるためのプログラムコードを有する。また、図３３Ａ〜図３３Ｃは、本実施形態のホコリ除去処理の様子の説明図である。図３４は、近傍画素にフィルタ処理を適用する順序の説明図である。

まずコンピュータ３は、ホコリ画素の検索を行う（Ｓ３０１）。検索すべきホコリ画素の位置は、前述のＳ１６８において保存された白画素の位置である。まず、左上の画素から右へ順に検索が行われ、左から右への検索が上から順に行われる。つまり、コンピュータ３は、画素（１，１）→画素（１，２）→・・・→画素（１，６）→画素（２，１）→画素（２，２）→・・・の順に、ホコリ画素の検索を行う。ここでは最初に、画素（３，３）がホコリ画素として検索される（図３３Ａ左上図参照）。

次に、コンピュータ３は、注目画素の画素データではなく、近傍画素の画素データを、近傍画素の近傍範囲のホコリ画素以外の画素データの中央値に置換する（Ｓ３０２）。すなわち、コンピュータ３は、注目画素に対してではなく、まず近傍範囲の画素に対して、メディアンフィルタ処理に類似したフィルタ処理をそれぞれ行う（Ｓ３０２）。なお、近傍画素の近傍範囲のホコリ画素以外の画素の数が偶数の場合、中央値となる画素は２つになり、この２つの画素の画素データの平均値を、近傍画素の近傍範囲のホコリ画素以外の画素データの中央値とする。また、ホコリ画素以外の画素データに基づいて中央値を求めているが、既にホコリ画素の画素データがホコリ画素以外の画素データに置換されている場合には、置換後の画素データを中央値算出に用いる。

以下、Ｓ３０２の処理について詳述する。
まず、コンピュータ３は、図３４において１番目の画素に対応する画素（２，２）の画素データを、画素（２，２）の近傍範囲のホコリ画素以外の画素データの中央値に置換する（図３３Ａ左上図及び右上図）。コンピュータ３は、Ｐ１１、Ｐ１２、Ｐ１３、Ｐ２１、Ｐ２２、Ｐ２３、Ｐ３１及びＰ３２の８個の画素データのそれぞれの輝度データ（Ｙデータ）を求め、８個の輝度データの中央値を求め、中央値となる画素の画素データを画素（２，２）の画素データにする。ここでは、画素（２，２）の近傍範囲のホコリ画素以外の画素の数が８個であり偶数であるため、中央値となる画素は２つになる。このため、２つの画素の画素データの平均値を画素（２，２）の画素データにする。画素（２，２）の新しい画素データを「Ｎ２２」とする（図３３Ａ右上図参照）。

次に、コンピュータ３は、図３４において２番目の画素に対応する画素（２，３）の画素データを、画素（２，３）の近傍範囲のホコリ画素以外の画素データの中央値に置換する（図３３Ａ左中央図及び右中央図）。コンピュータ３は、Ｐ１２、Ｐ１３、Ｐ１４、Ｎ２２、Ｐ２３、Ｐ２４及びＰ３２の７個の画素データのそれぞれの輝度データ（Ｙデータ）を求め、７個の輝度データの中央値を求め、中央値となる画素の画素データを画素（２，３）の画素データにする。画素（２，３）の新しい画素データを「Ｎ２３」とする（図３３Ａ右中央図参照）。

同様に、コンピュータ３は、図３４において３番目及び４番目に対応する画素（画素（３，２）及び画素（２，４））に対しても、同じようなフィルタ処理を行う。画素（３，２）の新しい画素データを「Ｎ３２」とし、画素（２，４）の新しい画素データを「Ｎ２４」とする。

次に、コンピュータ３は、図３４において５番目の画素に対応する画素（４，２）の画素データを、画素（２，２）の近傍範囲のホコリ画素以外の画素データの中央値に置換する（図３３Ａ左中央図及び右中央図）。コンピュータ３は、Ｐ３１、Ｎ３２、Ｐ４１及びＰ５１の４個の画素データのそれぞれの輝度データ（Ｙデータ）を求め、４個の輝度データの中央値を求め、中央値となる画素の画素データを画素（４，２）の画素データにする。これにより、ホコリ画素であった画素（４，２）の画素データは、ホコリ画素以外の画素の画素データに置換される。画素（４，２）の新しい画素データを「Ｎ４２」とする（図３３Ａ右下図参照）。

同様に、コンピュータ３は、図３４において６番目に対応する画素（３，４）に対しても、同じようなフィルタ処理を行う（図３３Ｂ左上図及び右上図）。これにより、ホコリ画素であった画素（３，４）の画素データは、フィルタ処理された結果、ホコリ画素以外の画素の画素データに置換される。画素（３，４）の新しい画素データを「Ｎ３４」とする（図３３Ｂ右上図参照）。

次に、コンピュータ３は、図３４において７番目に対応する画素（４，３）に対しても、同じようなフィルタ処理を行う（図３３Ｂ左中央図及び右中央図）。このとき、ホコリ画素であった画素（４，２）及び画素（３，４）の画素データは、既にホコリ画素以外の画素データに置換されている。このため、画素（４，３）の近傍範囲には、初めはホコリ画素以外の画素は１つだけ（画素（３，２）だけ）であったが、この段階ではホコリ画素以外の画素が３つ存在している。コンピュータ３は、Ｎ３２、Ｎ３４及びＮ４２の３個の画素データのそれぞれの輝度データ（Ｙデータ）を求め、３個の輝度データの中央値を求め、中央値となる画素の画素データを画素（４，３）の画素データにする。これにより、ホコリ画素であった画素（４，３）の画素データは、ホコリ画素以外の画素の画素データに置換される。画素（４，３）の新しい画素データを「Ｎ４３」とする（図３３Ｂ右中央図参照）。

最後に、コンピュータ３は、図３４において８番目に対応する画素（４，４）に対しても、同じようなフィルタ処理を行う（図３３Ｂ左下図及び右下図）。このとき、ホコリ画素であった画素（３，４）及び画素（４，３）の画素データは、既にホコリ画素以外の画素データに置換されている。このため、画素（４，４）の近傍範囲には、初めはホコリ画素以外の画素は無かったが、この段階ではホコリ画素以外の画素が２つ存在している。コンピュータ３は、Ｎ３４及びＮ４３の２個の画素データの平均値を中央値として求め、画素（４，４）の画素データにする。これにより、ホコリ画素であった画素（４，４）の画素データは、ホコリ画素以外の画素の画素データに置換される。画素（４，４）の新しい画素データを「Ｎ４４」とする（図３３Ｂ右下図参照）。

以上の処理によって、Ｓ３０２の処理が終了する。Ｓ３０２の処理が終了したとき、図３３Ｂ右下図に示すように、注目画素（３，３）の近傍画素の画素データは、ホコリ画素以外の画素データに置換されている。

そこで、コンピュータ３は、注目画素の画素データを、注目画素の近傍範囲の画素データの中央値に置換する（Ｓ３０３）。ここでは、画素（３，３）が注目画素になるので、コンピュータ３は、Ｎ２２、Ｎ２３、Ｎ２４、Ｎ３２、Ｐ３３、Ｎ３４、Ｎ４２、Ｎ４３及びＮ４４の９個の画素データのそれぞれの輝度データ（Ｙデータ）を求め、９個の輝度データの中央値を求め、中央値となる画素の画素データを画素（３，３）の画素データにする（図３３Ｃ左上図）。

注目画素の近傍範囲の９個の画素のうちの８個（注目画素以外の画素）はホコリ画素ではないので、中央値となる画素は、ホコリ画素ではない画素になる可能性が非常に高い。特に、本実施形態では、ホコリ画素の周囲の画素は一様領域の画素なので、近傍範囲のホコリ画素以外の画素の画素データは近似しているため、ホコリ画素の画素データＰ３３はホコリ画素以外の画素データと比べて特異な値になるので、中央値となる画素は、ホコリ画素ではない画素になる可能性が非常に高い。つまり、ホコリ画素であった画素（３，３）の画素データは、ホコリ画素以外の画素の画素データに置換される。画素（３，３）の新しい画素データを「Ｎ３３」とする（図３３Ｃ右上図参照）。

以上の処理によって、ホコリ画素である画素（３，３）の画素データが置換され、この位置のホコリ画素が除去される。このため、コンピュータ３は、前述のＳ１６８において保存された白画素の位置から、画素（３，３）の位置を消去する。これにより、保存されている白画素の位置に対応する範囲は、図３３Ｃ左中央図の太線で示す通りになる。

コンピュータ３は、全てのホコリ画素の処理を終了したか否かを判断し（Ｓ３０４）、未処理のホコリ画素があれば、上記の処理Ｓ３０１〜Ｓ３０４を繰り返す。ここでは、未処理のホコリ画素があるので、Ｓ３０４の判断はＮＯになる。

次に、Ｓ３０１において画素（３，４）がホコリ画素として検出される（図３３Ｃ右中央図参照）。そして、Ｓ３０２において、画素（２，３）→画素（２，４）→画素（３，３）→画素（２，５）→画素（４，３）→画素（３，５）→画素（４，４）→画素（４，５）の順に、コンピュータ３は近傍画素にフィルタ処理を行う。既に置換された画素データＮｊｉが更に置換される場合、その新しい画素データを「ＮＮｊｉ」とする（図３３Ｃ左下図）。そして、Ｓ３０３において、コンピュータ３は、注目画素である画素（３，４）の画素データを、注目画素の近傍範囲の画素データの中央値に置換する。画素（３，３）の新しい画素データを「ＮＮ３３」とする（図３３Ｃ右下図）。

コンピュータ３は、このような処理を繰り返し、残りのホコリ画素の画素データを変換する。そして、全てのホコリ画素の処理が終了すれば（Ｓ３０４でＹＥＳ）、コンピュータは、ホコリ除去処理を終了する。

以上の説明の通り、本実施形態では、まず注目画素の近傍画素に対してフィルタ処理を行い（Ｓ３０２）、その後に注目画素に対してメディアンフィルタ処理を行っている。この結果、ホコリ画像の部分での画像の変化が緩やかになり、ホコリ除去後の画像が自然な画質になる。また、注目画素に対してメディアンフィルタ処理を行う際に、中央値になる画素がホコリ画素になる可能性が低くなるため、ホコリ画素の画素データでホコリ画素の画素データを置換する可能性も低くなり、ホコリ画像を除去できる。

図２８Ｃは、図２８Ａのホコリ画像に対して本実施形態のホコリ除去処理を行った結果の画像である。ホコリ除去処理により、ホコリ画像が完全になくなっている。また、図２８Ｂの画像と比較すると、図２８Ｃでは、中央のマストの画像や、左上から斜め下にあるステー（ワイヤロープ）の画像や、右下の建物の窓の画像が破壊されていない。

ここで、図３４に示すような順序で近傍画素にフィルタ処理を適用した理由について説明する。以下に説明するとおり、図３４の順序は、ホコリ画素の検索（Ｓ３０１）に関連している。

図３５は、Ｓ３０１におけるホコリ画素の検索の様子の説明図である。画素を示す升目内の記号は、画素の位置を示す。ホコリ画素の検索（Ｓ３０１）では、左上の画素から右へ順に検索が行われ、左から右への検索が上から順に行われる。ここでは、斜線のハッチングで示す画素（ｊ，ｉ）がホコリ画素として検索されたものとする。

画素（ｊ，ｉ）がホコリ画素として検出されたということは、既に検索対象となった既検索画素（図中の太線で示す画素）は、ホコリ画素ではないことになる。すなわち、画素（ｊ，ｉ）よりも上側（ｙ方向マイナス側）の画素はホコリ画素ではなく、画素（ｊ，ｉ）とｙ方向の位置が同じであって左側（ｘ方向マイナス側）の画素もホコリ画素ではないことになる。特に、画素（ｊ，ｉ）の左上画素（ｊ−１，ｉ−１）、上画素（ｊ−１，ｉ）、右上画素（ｊ−１，ｉ＋１）及び左画素（ｊ，ｉ−１）は、ホコリ画素ではないことになる。

一方、未だ検索対象になっていない未検索画素（図中の太線でない画素）は、ホコリ画素か否か未知である。すなわち、画素（ｊ，ｉ）よりも下側（ｙ方向プラス側）の画素はホコリ画素か否か未知であり、画素（ｊ，ｉ）とｙ方向の位置が同じであって右側（ｘ方向プラス側）の画素もホコリ画素か否か未知である。特に、画素（ｊ，ｉ）の右画素（ｊ，ｉ＋１）、左下画素（ｊ＋１，ｉ−１）、下画素（ｊ＋１，ｉ）及び右下画素（ｊ＋１，ｉ＋１）は、ホコリ画素か否か未知である。

そこで、本実施形態では、既検索画素を未検索画素よりも、Ｓ３０２における近傍画素の処理順序を優先させている。具体的には、図３４に示す通り、左上画素、上画素、右上画素及び左画素の順番（１番〜４番）は、右画素、左下画素、下画素及び右下画素の順番（５番〜８番）よりも早くなっている。

また、本実施形態では、同じ既検索画素同士であっても、左側（ｘ方向マイナス側）の画素を右側の画素よりも、Ｓ３０２における近傍画素の処理順序を優先させている。具体的には、図３４に示す通り、左上画素の順番（１番）は上画素の順番（２番）よりも早く、上画素の順番（２番）は右上画素の順番（４番）よりも早くなっている。これは、左側の画素の方が、当初から近傍範囲に既検索画素を多く含むため、中央値を求める際に多くの画素データを考慮することができるので、フィルタ処理結果が良質になるからである。仮に右側の画素を優先させると、例えば上画素のフィルタ処理結果（良質でない処理結果）が左上画素のフィルタ処理に影響を与え、左上画素のフィルタ処理結果が劣化してしまう。

同様に、本実施形態では、同じ既検索画素同士であっても、上側（ｙ方向マイナス側）の画素を下側の画素よりも、Ｓ３０２における近傍画素の処理順序を優先させている。具体的には、図３４に示す通り、左上画素の順番（１番）は、左画素の順番（３番）よりも早くなっている。これは、上側の画素の方が、当初から近傍範囲に既検索画素を多く含むため、中央値を求める際に多くの画素データを考慮することができるので、フィルタ処理結果が良質になるからである。仮に下側の画素を優先させると、例えば左画素のフィルタ処理結果（良質でない処理結果）が左上画素のフィルタ処理に影響を与え、左上画素のフィルタ処理結果が劣化してしまう。

なお、右上画素と左画素との間では、一方のフィルタ処理結果が他方のフィルタ処理結果に影響を与えない関係なので、図３４に示す順序（３番と４番）が逆になっても良い。

また、本実施形態では、同じ未検索画素同士であっても、左側（ｘ方向マイナス側）の画素を右側の画素よりも、Ｓ３０２における近傍画素の処理順序を優先させている。具体的には、図３４に示す通り、左下画素の順番（５番）は下画素の順番（７番）よりも早く、下画素の順番（７番）は右下画素の順番（８番）よりも早くなっている。これは、左側の画素の方が、当初から近傍範囲に既検索画素を多く含むためである。また、左側（ｘ方向マイナス側）の画素を右側の画素よりも優先させてフィルタ処理を行うことにより、右側の画素のフィルタ処理を行うとき、中央値を求める際に多くの画素データを考慮することができるようになる（例えば、図３３Ｂ左中央図に示す画素（４，３）のフィルタ処理を行うとき、３つの画素データに基づいて中央値を求めることができる）。仮に右側の画素を優先させると、右側の画素をフィルタ処理する際に、少ない画素データに基づいて中央値を求めることになる。

同様に、本実施形態では、同じ未検索画素同士であっても、上側（ｙ方向マイナス側）の画素を下側の画素よりも、Ｓ３０２における近傍画素の処理順序を優先させている。具体的には、図３４に示す通り、右画素の順番（６番）は、右下画素の順番（８番）よりも早くなっている。これは、上側の画素の方が、当初から近傍範囲に既検索画素を多く含むためである。また、上側（ｙ方向マイナス側）の画素を下側の画素よりも優先させてフィルタ処理を行うことにより、下側の画素のフィルタ処理を行うとき、中央値を求める際に多くの画素データを考慮することができるようになる（例えば、図３３Ｂ左下図に示す画素（４，４）のフィルタ処理を行うとき、２つの画素データに基づいて中央値を求めることができる）。仮に下側の画素を優先させると、下側の画素をフィルタ処理する際に、少ない画素データに基づいて中央値を求めることになる。

なお、右画素と左下画素との間では、一方のフィルタ処理結果が他方のフィルタ処理結果に影響を与えない関係なので、図３４に示す順序（５番と６番）が逆になっても良い。

したがって、本実施形態では、図３４に示す順序に従ってＳ３０２における近傍画素のフィルタ処理を行う結果、Ｓ３０３において注目画素に対してメディアンフィルタを適用する際に、中央値となる画素がホコリ画素になる可能性は極端に低くなる。このため、ホコリ画素の画素データでホコリ画素の画素データを置換するおそれもなくなり、ホコリ画像を完全に除去できる。

＝＝＝その他の実施の形態＝＝＝
一実施形態としての複合装置等を説明したが、上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは言うまでもない。

＜ホコリ画像について＞
前述の実施形態では、欠陥画像としてホコリ画像について説明をしているが、欠陥画像はホコリ画像に限られるものではない。例えば、欠陥画像は、元画像に含まれるノイズであっても良い。そして、前述のホコリ検出方法と同様の方法によれば、元画像に含まれるノイズ等の欠陥画像を検出でき、前述のホコリ除去方法と同様の方法によれば、元画像に含まれるノイズ等の欠陥画像を除去できる。

＜スキャナドライバ＞
前述の実施形態では、スキャナドライバが、コンピュータ３にホコリ検出処理とホコリ除去処理をさせている。しかし、これに限られるものではない。スキャナドライバとは別の画像処理プログラムがコンピュータ３にインストールされ、この画像処理プログラムが、コンピュータ３にホコリ検出処理とホコリ除去処理をさせても良い。また、ホコリ検出処理を行うためのプログラムとホコリ除去処理を行うプログラムを別々にしても良い。

また、前述の実施形態では、スキャナ機能時に、ホコリ検出処理とホコリ除去処理が行われている。しかし、これに限られるものではない。例えば、コピー機能時に、ホコリ検出処理やホコリ除去処理が行われても良い。この場合、コントローラ６０が、スキャナ部１０から取得した画像データに対して、ホコリ検出処理やホコリ除去処理を行うことになる。

＜Ｓ３０２について＞
前述の実施形態では、Ｓ３０２において、コンピュータ３は、注目画素の全ての近傍画素に対してフィルタ処理を行っている。しかし、Ｓ３０２において、コンピュータ３は、注目画素の近傍範囲のうちのホコリ画素に対してのみフィルタ処理を行っても良い。また、Ｓ３０２において、コンピュータ３は、注目画素の近傍範囲のうちの未検索画素に対してのみフィルタ処理を行っても良い。このようにすれば、フィルタ処理の回数を減らすことができ、ホコリ除去処理の処理速度を速くすることができる。

＝＝＝まとめ＝＝＝
（１）前述の実施形態では、まず、コンピュータ３は、注目画素を決定する（図３２のＳ３０１）。そして、コンピュータ３は、注目画素を決定した後に、注目画素の近傍画素（注目画素の周囲にある周囲画素）に対してフィルタ処理を行って、近傍画素の画素データ（つまり階調値）を変更する（図３２のＳ３０２、図３３Ａ及び図３３Ｂ）。そして、コンピュータ３は、フィルタ処理後の近傍画素に基づいて、注目画素の画素データ（つまり階調値）を変更する（図３２のＳ３０３、図３３Ｃ左上図及び右上図）。
これにより、注目画素に対してメディアンフィルタ処理を行う際に、ホコリ画素をホコリ画素で置換する可能性を低くできる（図３３Ｃ左上図及び右上図）。

（２）前述の実施形態では、コンピュータ３は、注目画素の画素データ（つまり階調値）を変更する際に、注目画素に対してメディアンフィルタ処理を行っている。ここで、メディアンフィルタ処理とは、近傍範囲の画素データの中央値を注目画素の画素データにする処理である。そして、コンピュータ３は、前述の実施形態では注目画素に対してメディアンフィルタ処理を行う前に近傍画素にフィルタ処理を行うことになる。
このため、前述の実施形態では、注目画素に対してメディアンフィルタ処理を行う際に、ホコリ画素をホコリ画素で置換する可能性を低くできる（図３３Ｃ左上図及び右上図）。
ところで、注目画素に対するフィルタ処理は、メディアンフィルタ処理に限られず、例えば、近傍範囲の画素データの平均値を注目画素の画素データにしても良い。但し、メディアンフィルタ処理であれば、注目画素の画素データを、ホコリ画素の影響の無い画素データにすることができるので、望ましい。

（３）前述の実施形態では、コンピュータ３は、近傍範囲の複数の近傍画素に対してフィルタ処理を行う際に、所定の優先順序に従って、各近傍画素に対してフィルタ処理を行う（図３４参照）。

（４）そして、この優先順序は、注目画素を決定する際の検索順序に対応して（図３５参照）、設定されている。

（５）例えば、注目画素の検索順序（Ｓ３０１）が、図３５に示すように、左上の画素から右へ順に行われ、左から右への検索が上から順に行われるような場合においては、注目画素を中心として左上画素の順番（１番）が上画素の順番（２番）よりも早くなるように、また、このような検索順序においては、上画素の順番（２番）が右上画素の順番（４番）よりも早くなるように、近傍画素に対するフィルタ処理の優先順序が設定されている（図３４参照）。また、このような検索順序においては、注目画素を中心として左上画素の順番（１番）が左画素の順番（３番）よりも早くなるように、近傍画素に対するフィルタ処理の優先順序が設定されている（図３４参照）。また、このような検索順序においては、左下画素の順番（５番）が下画素の順番（７番）よりも早くなるように、また、下画素の順番（７番）は右下画素の順番（８番）よりも早くなるように、近傍画素に対するフィルタ処理の優先順序が設定されている（図３４参照）。また、このような検索順序においては、右画素の順番（６番）は、右下画素の順番（８番）よりも早くなっている。
これにより、近傍画素に対するフィルタ処理の結果が良質になるので、注目画素に対するメディアンフィルタ処理結果も良質になり、画像処理後の画質が向上する。

（６）前述の実施形態では、コンピュータ３は、近傍画素に対するフィルタ処理の際に（図３２のＳ３０２、図３３Ａ及び図３３Ｂ）、近傍画素の近傍範囲の欠陥画素以外の画素に基づいて、近傍画素の画素データを変更している。これにより、注目画素に対してメディアンフィルタ処理を行う場合であっても、ホコリ画素をホコリ画素で置換する可能性を低くできる（図３３Ｃ左上図及び右上図）。

（７）前述の実施形態では、注目画素を決定する前に、コンピュータ３は、まず、元画像の輝度画像に対してエッジ処理を行ってエッジ画像を取得し（図１２のＳ１０２、図１５Ａ〜図１５Ｃ、図１６参照）、エッジ画像に対して膨張処理（図１２のＳ１０３、図１７参照）を行った後に侵食処理（図１２のＳ１０４、図１８参照）を行って加工画像を取得し（図２１参照）、加工画像の中から所定の大きさ以下の白画像（孤立点）を検出し（Ｓ１６３）、検出された白画像に基づいて元画像の中のホコリ画像を検出する。これにより、元画像の一様領域にあるホコリ画像を精度良く検出することができる。なお、この方法では非一様領域にあるホコリ画像は検出し難いが、非一様領域にあるホコリ画像は目立たないので問題はない。また、仮に非一様領域のホコリ画像が検出できても、このようなホコリ画像は除去しにくいので、非一様領域のホコリ画像が検出できなくても問題は少ない。
そして、前述の実施形態では、検出されるホコリ画素の周囲の画素は一様領域の画素なので、近傍範囲のホコリ画素以外の画素の画素データは近似している。このため、ホコリ画素の画素データはホコリ画素以外の画素データと比べて特異な値になる。従って、注目画素に対してメディアンフィルタ処理を行う際に、中央値となる画素は、ホコリ画素ではない画素になる可能性が非常に高くなる。つまり、前述の実施形態によれば、ホコリ画素をホコリ画素で置換する可能性を極めて低くできる。

（８）前述の実施形態の全ての構成要素を備えれば、全ての効果が得られるので望ましい。但し、必ずしも前述の実施形態の全ての構成要素を備える必要は無い。例えば、ホコリ検出方法が別の方法であっても、本実施形態のホコリ除去方法の効果を得ることはできる。

（９）前述のコンピュータ３は、画像処理プログラムであるスキャナドライバがインストールされているため、画像処理装置となる。スキャナドライバは、このコンピュータ３に、注目画素を決定させる（図３２のＳ３０１）。そして、スキャナドライバは、コンピュータ３に、注目画素を決定させた後に、注目画素の近傍画素（注目画素の周囲にある周囲画素）に対してフィルタ処理を行わせて、近傍画素の画素データ（つまり階調値）を変更させる（図３２のＳ３０２、図３３Ａ及び図３３Ｂ）。そして、スキャナドライバは、コンピュータ３に、フィルタ処理後の近傍画素に基づいて、注目画素の画素データ（つまり階調値）を変更させる（図３２のＳ３０３、図３３Ｃ左上図及び右上図）。
これにより、注目画素に対してメディアンフィルタ処理を行う際に、ホコリ画素をホコリ画素で置換する可能性を低くできる（図３３Ｃ左上図及び右上図）。

（１０）前述のコンピュータ３は、不図示であるが、ＣＰＵ等の演算処理部と、メモリ等の記憶部とを備えている。そして、コンピュータ３のＣＰＵは、メモリに記憶された元画像（ディジタル画像）から注目画素を決定する（図３２のＳ３０１）。そして、コンピュータ３のＣＰＵは、注目画素を決定した後に、注目画素の近傍画素（注目画素の周囲にある周囲画素）に対してフィルタ処理を行って、近傍画素の画素データ（つまり階調値）を変更する（図３２のＳ３０２、図３３Ａ及び図３３Ｂ）。そして、コンピュータ３のＣＰＵは、フィルタ処理後の近傍画素に基づいて、注目画素の画素データ（つまり階調値）を変更する（図３２のＳ３０３、図３３Ｃ左上図及び右上図）。
これにより、注目画素に対してメディアンフィルタ処理を行う際に、ホコリ画素をホコリ画素で置換する可能性を低くできる（図３３Ｃ左上図及び右上図）。これにより、前述のコンピュータ３は、画像処理装置として機能する。

複合装置の全体斜視図である。 複合装置の構成のブロック図である。 プリンタ部の説明図である。 スキャナ部の説明図である。 パネル部の説明図である。 フィルムホルダの格納場所の説明図である。 フィルムを読み取るためにセットする様子の説明図である。 スキャナドライバのユーザインターフェイスの説明図である。 Ｍ×Ｎ画素からなる画像の説明図である。 元画像データの示す元画像の一例である。 一様領域と非一様領域の説明図である。 ホコリ検出処理のフロー図である。 エッジ処理のフロー図である。 図１４Ａは、ｘ方向の勾配の算出に用いられるソーベルフィルタの説明図である。図１４Ｂは、ｙ方向の勾配の算出に用いられるソーベルフィルタの説明図である。 図１５Ａ〜図１５Ｃは、輝度画像と、エッジ画像との関係の説明図である。図中の升目は画素を示している。 図１０の画像のエッジ画像である。 図１７Ａ〜図１７Ｃは、膨張処理前の画像と、膨張処理後の画像との関係の説明図である。 図１８Ａ〜図１８Ｃは、侵食処理前の画像と、侵食処理後の画像との関係の説明図である。 図１９Ａ〜図１９Ｃは、エッジ画像と、侵食処理後の画像との関係の説明図である。 図２０Ａ〜図２０Ｃは、侵食処理後の画像と、輝度画像との関係の説明図である。 図１６のエッジ画像に対して膨張処理し更に侵食処理した結果の加工画像である。 ラベリング処理の説明図である。 孤立点の抽出のフロー図である。 白画素及びこの白画素を囲む矩形領域の説明図である。 図２１の加工画像から孤立点を抽出した画像である。 Ｓ１６１において抽出される白画像の説明図である。 本実施形態のホコリ検出処理により検出されたホコリ画像の位置の説明図である。 図２８Ａは、図２７で示した領域の拡大画像である。図２８Ｂは、図２８Ａのホコリ画像に対してボカシ処理を行った結果の画像である。図２８Ｃは、図２８Ａのホコリ画像に対して本実施形態のホコリ除去処理を行った結果の画像である。 メディアンフィルタ処理を利用したホコリ除去処理のフロー図である。 メディアンフィルタを利用したホコリ除去処理の様子の説明図である。 メディアンフィルタを利用したホコリ除去処理の問題点の説明図である。 本実施形態のホコリ除去処理のフロー図である。 本実施形態のホコリ除去処理の様子の第１説明図である。 本実施形態のホコリ除去処理の様子の第２説明図である。 本実施形態のホコリ除去処理の様子の第３説明図である。 近傍画素にフィルタ処理を適用する順序の説明図である。 Ｓ３０１におけるホコリ画素の検索の様子の説明図である。

符号の説明

１ 複合装置、１Ａ 上部収容部、１Ｂ 下部収容部、３ コンピュータ、
１０ スキャナ部、１１ 上蓋、
１１２ 原稿マット、１１４ フィルムホルダ、１１６ 透過原稿用光源、
１２ 原稿台ガラス、
２０ プリンタ部、２１ キャリッジ、２２ 背面給紙口、２３ 前面給紙口、
２４ 排紙トレイ、２５ インクカートリッジカバー、２６ インクカートリッジ、
３０ カードリーダ部、
４０ パネル部、４１ 液晶ディスプレイ、４２ 電源ボタン、４３ 設定ボタン、
４４ ストップボタン、４５ モード選択ボタン、４６ カーソル操作ボタン群、
４７ スタートボタン、４７Ｃ カラーボタン、４７Ｂ モノクロボタン、
４５ モード選択ボタン、
６０ コントローラ、
９０ ＳＤＲＡＭ

Claims (9)

1. 元画像から欠陥画像を除去する画像処理方法であって、
   前記欠陥画像を構成する画素から注目画素を決定した後に、前記注目画素の周囲にある周囲画素に対してメディアンフィルタ処理を行って、前記周囲画素の階調値を変更し、
   前記メディアンフィルタ処理後の周囲画素を用いて前記注目画素に対してメディアンフィルタ処理を行って、前記注目画素の階調値を変更する
   ことを特徴とする画像処理方法。
2. 請求項１に記載の画像処理方法であって、
   複数の前記周囲画素に対して前記メディアンフィルタ処理を行う際に、所定の優先順序に従って、各周囲画素に対してメディアンフィルタ処理を行う
   ことを特徴とする画像処理方法。
3. 請求項２に記載の画像処理方法であって、
   前記優先順序は、前記注目画素を決定する際の検索順序に対応して、設定されている
   ことを特徴とする画像処理方法。
4. 請求項３に記載の画像処理方法であって、
   前記注目画素の周囲に第１周囲画素及び第２周囲画素があり、前記第１周囲画素に対して前記メディアンフィルタ処理を行う際に前記第２周囲画素が用いられ、前記第２周囲画素に対して前記メディアンフィルタ処理を行う際に前記第１周囲画素が用いられる場合であって、前記検索順序が前記第１周囲画素の方が前記第２周囲画素よりも早い場合、
   前記第１周囲画素に対してメディアンフィルタ処理を行って前記第１周囲画素の階調値を変更した後に、前記第２周囲画素に対してメディアンフィルタ処理を行って前記第２周囲画素の階調値を変更し、
   メディアンフィルタ処理後の前記第１周囲画素及び前記第２周囲画素に基づいて前記注目画素の階調値を変更する
   ことを特徴とする画像処理方法。
5. 請求項１〜４のいずれかに記載の画像処理方法であって、
   前記周囲画素に対する前記メディアンフィルタ処理の際に、前記周囲画素の周囲の欠陥画素以外の画素に基づいて、前記周囲画素の階調値を変更する
   ことを特徴とする画像処理方法。
6. 請求項１〜５のいずれかに記載の画像処理方法であって、
   前記注目画素を決定する前に、元画像に対してエッジ処理を行ってエッジ画像を取得し、前記エッジ画像に対して膨張処理を行った後に侵食処理を行った加工画像の中から、所定の大きさ以下の孤立点を検出し、前記孤立点に基づいて前記元画像における欠陥画素の位置を検出し、
   前記注目画素を決定する際に、前記欠陥画素の位置に基づいて、前記元画像から前記注目画素を決定する
   ことを特徴とする画像処理方法。
7. （１）元画像から欠陥画像を除去する画像処理方法であって、
   前記欠陥画像を構成する画素から注目画素を決定した後に、前記注目画素の周囲にある周囲画素に対してメディアンフィルタ処理を行って、前記周囲画素の階調値を変更し、
   前記メディアンフィルタ処理後の周囲画素を用いて前記注目画素に対してメディアンフィルタ処理を行って、前記注目画素の階調値を変更し、
   （２）複数の前記周囲画素に対して前記メディアンフィルタ処理を行う際に、所定の優先順序に従って、各周囲画素に対してメディアンフィルタ処理を行い、
   （３）前記優先順序は、前記注目画素を決定する際の検索順序に対応して、設定されており、
   （４）前記注目画素の周囲に第１周囲画素及び第２周囲画素があり、前記第１周囲画素に対して前記メディアンフィルタ処理を行う際に前記第２周囲画素が用いられ、前記第２周囲画素に対して前記メディアンフィルタ処理を行う際に前記第１周囲画素が用いられる場合であって、前記検索順序が前記第１周囲画素の方が前記第２周囲画素よりも早い場合、
   前記第１周囲画素に対してメディアンフィルタ処理を行って前記第１周囲画素の階調値を変更した後に、前記第２周囲画素に対してメディアンフィルタ処理を行って前記第２周囲画素の階調値を変更し、
   メディアンフィルタ処理後の前記第１周囲画素及び前記第２周囲画素に基づいて前記注目画素の階調値を変更し、
   （５）前記周囲画素に対する前記メディアンフィルタ処理の際に、前記周囲画素の周囲の欠陥画素以外の画素に基づいて、前記周囲画素の階調値を変更し、
   （６）前記注目画素を決定する前に、元画像に対してエッジ処理を行ってエッジ画像を取得し、前記エッジ画像に対して膨張処理を行った後に侵食処理を行った加工画像の中から、所定の大きさ以下の孤立点を検出し、前記孤立点に基づいて前記元画像における欠陥画素の位置を検出し、
   前記注目画素を決定する際に、前記欠陥画素の位置に基づいて、前記元画像から前記注目画素を決定する
   ことを特徴とする画像処理方法。
8. 画像処理装置に、元画像から欠陥画像を除去する画像処理を行わせるプログラムであって、
   前記画像処理装置に、
   前記欠陥画像を構成する画素から注目画素を決定させた後に、前記注目画素の周囲にある周囲画素に対してメディアンフィルタ処理を行わせて、前記周囲画素の階調値を変更させ、
   前記メディアンフィルタ処理後の周囲画素を用いて前記注目画素に対してメディアンフィルタ処理を行わせて、前記注目画素の階調値を変更させる
   ことを特徴とするプログラム。
9. 演算処理部と記憶部とを備え、元画像から欠陥画像を除去する画像処理を行う画像処理装置であって、
   前記演算処理部は、前記記憶部に記憶されたディジタル画像の中の前記欠陥画像を構成する画素から注目画素を決定した後に、前記注目画素の周囲にある周囲画素に対してメディアンフィルタ処理を行って、前記周囲画素の階調値を変更し、
   前記演算処理部は、前記メディアンフィルタ処理後の前記周囲画素を用いて前記注目画素に対してメディアンフィルタ処理を行って、前記注目画素の階調値を変更する
   ことを特徴とする画像処理装置。