JPWO2005022901A1 - 撮像系診断装置、撮像系診断プログラム、撮像系診断プログラム製品、および撮像装置 - Google Patents

撮像系診断装置、撮像系診断プログラム、撮像系診断プログラム製品、および撮像装置 Download PDF

Info

Publication number
JPWO2005022901A1
JPWO2005022901A1 JP2005513438A JP2005513438A JPWO2005022901A1 JP WO2005022901 A1 JPWO2005022901 A1 JP WO2005022901A1 JP 2005513438 A JP2005513438 A JP 2005513438A JP 2005513438 A JP2005513438 A JP 2005513438A JP WO2005022901 A1 JPWO2005022901 A1 JP WO2005022901A1
Authority
JP
Japan
Prior art keywords
image
imaging
unit
monitoring
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005513438A
Other languages
English (en)
Other versions
JP4196124B2 (ja
Inventor
石賀 健一
健一 石賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2005022901A1 publication Critical patent/JPWO2005022901A1/ja
Application granted granted Critical
Publication of JP4196124B2 publication Critical patent/JP4196124B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

撮像系診断装置は、画像を取得する画像取得部と、画像取得部により取得した画像に基づいて、光路途中に含まれる異物による画素の欠陥情報を作成し、作成した欠陥情報から画像中に占める欠陥画素の面積率を算出して光路途中に含まれる異物の量を監視し、欠陥画素の面積率が所定値を超えたとき、撮影者に対しその旨の警告通知を行う監視部とを備える。

Description

本発明は、電子カメラ等が好適に利用されるための撮像系診断装置、撮像系診断プログラム、撮像系診断プログラム製品、および撮像装置に関する。
従来、複写機、ファクシミリ、スキャナー等のOCR(Optical Character Reader)の分野では、原稿読み取り部の汚れの状態を診断する方法が知られている。例えば特許文献1には、原稿の搬送開始前に背景の反射光レベルを読み取り2値化し、黒と認識された画素数が所定値以上であるとき汚れが付着しているものと判定している。また、特許文献2では、シェーディング補正をする時に基準白レベルを提供するシェーディング補正版に対し、読み取った時の出力値が所定値以下になる画素が存在すると判定されれば、補正板の汚れ付着の予告表示または警告表示を行っている。さらに、光路途中の汚れ部の検出と共に汚れた場所の圧縮空気による物理的な清掃の方法が特許文献3に開示されている。
特開昭63−221766号公報 特開平4−271663号公報 特開平11−27475号公報
しかしながら、これらはいずれもOCR装置での使用環境に適した対策法が示されているに過ぎず、近年急速に拡大しつつある電子カメラの実態に即したものとはいえない。すなわち、OCR装置は一様な平行光線を照射するため、ゴミ影は光学系の影響を受けず常に同じように現れ、汚れを比較的容易に診断しやすい。また、OCR装置では1〜2個程度のゴミを対象とするのが通常である。他方、電子カメラは可変光学系のため、ゴミの写り込み方は光学条件により変化し、かつ、ゴミの数が非常に多いなど問題となるゴミの状況も変わってくるという問題が生じている。
本発明は、電子カメラの使用においてゴミの付着状況を好適に診断する装置を提供する。
本発明の第1の態様によると、撮像系診断装置は、可変な絞りを有する光学系を通して、所定の絞り値よりも絞り込んだ状態の絞り値で一様面を撮影した画像を取得する画像取得部と、前記画像に基づいて、光路途中に含まれる異物を監視する監視部とを備える。
本発明の第2の態様によると、撮像系診断装置は、光学系を通して、非合焦状態で撮影された画像を取得する画像取得部と、画像に基づいて、光路途中に含まれる異物を監視する監視部とを備える。
本発明の第3の態様によると、第1、2の態様のいずれかの撮像系診断装置において、監視部は、光路途中に含まれる異物の量を監視するのが好ましい。
本発明の第4の態様によると、第3の態様の撮像系診断装置において、監視部は、画像取得部により取得した画像に基づいて異物による画素の欠陥情報を作成し、作成した欠陥情報から画像中に占める欠陥画素の面積率を算出して、異物の量を監視するのが好ましい。
本発明の第5の態様によると、第4の態様の撮像系診断装置において、監視部は、欠陥画素の面積率が所定値を超えたとき、撮影者に対しその旨の警告通知を行うのが好ましい。
本発明の第6の態様によると、撮像系診断装置は、画像を取得する画像取得部と、画像取得部により取得した画像に基づいて、光路途中に含まれる異物による画素の欠陥情報を作成し、作成した欠陥情報から画像中に占める欠陥画素の面積率を算出して光路途中に含まれる異物の量を監視し、欠陥画素の面積率が所定値を超えたとき、撮影者に対しその旨の警告通知を行う監視部とを備える。
本発明の第7の態様によると、第5または6の態様の撮像系診断装置において、警告通知は、異物の物理的な清掃を勧告する旨の警告であるのが好ましい。
本発明の第8の態様によると、第1〜7の態様のいずれかの撮像系診断装置において、監視部は、異物を複数の種類に分類して監視するのが好ましい。
本発明の第9の態様によると、第5または6の態様の撮像系診断装置において、監視部は、画像取得部により取得した画像を構成する各画素において、着目画素の値と該着目画素を含む所定範囲内の複数の画素の値の平均値との相対比を算出し、該相対比に基づいて画像内の欠陥情報を作成し、欠陥情報に基づいて異物の量を監視するのが好ましい。
本発明の第10の態様によると、第9の態様の撮像系診断装置において、監視部は、相対比を1とは異なる複数の閾値と比較し、相対比が閾値より1から離れる側の値である場合の画素の面積率を複数の閾値ごとに算出し、算出した面積率が所定の面積率を超えたか否かを複数の閾値ごとに判定するのが好ましい。
本発明の第11の態様によると、第10の態様の撮像系診断装置において、監視部は、複数の閾値に対して算出された面積率の何れかが所定の面積率を超えているとき、撮影者に対して警告通知を行うのが好ましい。
本発明の第12の態様によると、第11の態様の撮像系診断装置において、監視部は、相対比と比較する閾値が1に比べて小さく設定されているほど、所定の面積率を小さく設定するのが好ましい。
本発明の第13の態様によると、第1の態様の撮像系診断装置において、所定の絞り値よりも絞り込んだ状態の絞り値は、実質的に最も絞り込んだ状態の絞り値であるのが好ましい。
本発明の第14の態様によると、撮像装置は、可変な絞りを有する光学系を通して被写体を撮像する撮像部と、光学系から撮像部にかけての光路途中の異物を監視する異物監視モードを設定するモード設定部と、異物監視モードが設定されているとき、光学系の絞りを所定の絞り値よりも絞り込んだ状態の絞り値に制御する絞り制御部と、異物監視モードが設定されているとき、光学系が所定の絞り値よりも絞り込んだ状態の絞り値で撮像部により撮像された画像に基づき、異物を監視する監視部とを備える。
本発明の第15の態様によると、第14の態様の撮像装置において、所定の絞り値よりも絞り込んだ状態の絞り値は、実質的に最も絞り込んだ状態の絞り値であるのが好ましい。
本発明の第16の態様によると、撮像装置は、光学系を通して被写体を撮像する撮像部と、光学系から撮像部にかけての光路途中の異物を監視する異物監視モードを設定するモード設定部と、異物監視モードが設定されているとき、撮影者に対して至近被写体の撮像を指示する指示部と、異物監視モードが設定されているとき、光学系の焦点を無限遠に設定する焦点制御部と、異物監視モードが設定されているとき、光学系の焦点が無限遠に設定された状態で撮像部により至近被写体を撮像して取得された画像に基づき、異物を監視する監視部とを備える。
本発明の第17の態様によると、光学系の焦点を自動制御する焦点制御部と、光学系を通して被写体を撮像する撮像部と、光学系から前記撮像部にかけての光路途中の異物を監視する異物監視モードを設定するモード設定部と、異物監視モードが設定されているとき、撮像部により撮像された画像に基づき、異物を監視する監視部とを備える撮像装置は、焦点制御部は、異物監視モードが設定されているとき、光学系の焦点を合焦状態から非合焦状態に設定し、監視部は、光学系の焦点が非合焦状態に設定された状態で撮像部により撮像された画像に基づき、異物を監視する。
本発明の第18の態様によると、第15〜17の態様のいずれかの撮像装置において、監視部は、光路途中に含まれる異物の量を監視するのが好ましい。
本発明の第19の態様によると、撮像系診断プログラムは、第1〜13の態様のいずれかの撮像系診断装置の機能をコンピュータに実行させる。
本発明の第20の態様によると、撮像系診断プログラム製品は、第19の態様のプログラムを有する。
画質の品位を大きく損ねかねない状況のゴミ蓄積量を好適に評価して、物理的清掃を促す診断を行うことが可能となり、ユーザーは自分でその診断を行う手間を省けると共に、知らない間にみだりに画質の低下を招いているような危険も排除することができる。
交換レンズ方式の電子カメラの構成を示す図である。 電子カメラのブロック図とパーソナルコンピュータ(PC)および周辺装置を示す図である。 撮像面に付着したゴミを監視し、ゴミ付着量を診断する処理のフローチャートである。 輝度面に対して局所的規格化処理を施した様子を示す図である。 透過率マップのヒストグラムを示す図である。 ゴミ蓄積量監視処理を示すフローチャートである。 ゴミの大きさによる分類を表す図である。 第2の実施の形態における非合焦画像の撮影処理を示すフローチャートである。 第3の実施の形態における非合焦画像の撮影処理を示すフローチャートである。 第4の実施の形態における非合焦画像の撮影処理を示すフローチャートである。 比較的大きなゴミについて、F値変換により透過率が変換される様子を示す図である。 プログラムを、CD−ROMなどの記録媒体やインターネットなどのデータ信号を通じて提供する様子を示す図である。
−第1の実施の形態−
電子カメラでは、図1に示されるように撮像素子前部の光学フィルタ面上に通常使用環境において多数のゴミが付着しているのが普通である。ゴミの種類としては小さいゴミから大きなゴミまで種々あり、小さいゴミに至っては数百から数千個レベルのゴミが付着している。また、特に交換レンズ系の一眼レフカメラでは、刻一刻と付着状況が変わっていき、放置すれば相当な個数のゴミが蓄積されていく。一般に、小さなゴミは透過率が大きく、一個当たりの占有面積は小さいのに対し、大きなゴミは透過率も小さく一個当たりの専有面積も大きい。
これらのゴミの写り込み方は、撮影時の絞り値に大きく依存し、開放側ほどぼけて薄く広く広がり、小さなゴミは消滅して見えない。また、絞った状態にすると全てのゴミがくっきりと鮮明に浮かび上がってくる。図11に比較的大きなゴミのF値依存性を示す。これらの実験結果に基づいて、以下に撮像面に付着したゴミを適切に監視(モニター)して、汚れを診断する方法を述べる。
(電子カメラおよびパーソナルコンピュータの構成)
図1は、交換レンズ方式の一眼レフ電子スチルカメラ(以下、電子カメラと言う)の構成を示す図である。電子カメラ1は、カメラ本体2とマウント式交換レンズからなる可変光学系3を有する。可変光学系3は、内部にレンズ4と絞り5を有する。レンズ4は複数の光学レンズ群から構成されるが、図では代表して1枚のレンズで表し、そのレンズ4の位置を主瞳位置と言う(以下、単に瞳位置と言う)。可変光学系3は、ズームレンズであってもよい。瞳位置は、レンズ種やズームレンズのズーム位置によって決まる値である。焦点距離によって変わることもある。
カメラ本体2は、シャッター6、光学フィルターやカバーガラスなどの光学部品7、撮像素子8を有する。可変光学系3は、カメラ本体2のマウント部9に対して着脱可能である。また、可変光学系3は、マウント部9を介して、瞳位置に関する情報、絞り値に関する情報等の光学的パラメータを電子カメラ1の制御部17(図2)に送信する。絞り値は、例えばF2.8〜F22まで変化する。
符号10は、撮像素子8前部の光学部品7の表面に付着したゴミを示す。以上のような可変な光学系に対して、撮像面に付着したゴミの量を診断し、ユーザーに対して清掃を促す手法を以下に示す。
図2は、電子カメラ1のブロック図とPC(パーソナルコンピュータ)31および周辺装置を示す図である。電子カメラ1は、可変光学系3、光学部品7、シャッター6(図2では図示省略)、撮像素子8、アナログ信号処理部12、A/D変換部13、タイミング制御部14、画像処理部15、操作部16、制御部17、メモリ18、圧縮/伸長部19、表示画像生成部20、モニタ21、メモリカード用インタフェース部22、外部インタフェース部23を備える。
撮像素子8は、可変光学系3を通して被写体を撮像し、撮像された被写体像に対応する画像信号(撮像信号)を出力する。撮像素子8は、複数の画素から構成される矩形形状の撮像領域を有し、各画素に蓄積された電荷に対応するアナログ信号である画像信号を、画素単位で順次、アナログ信号処理部12に出力する。撮像素子8は、例えば単板式カラーCCDなどで構成される。アナログ信号処理部12は、内部にCDS(相関2重サンプリング)回路や、AGC(オートゲインコントロール)回路などを有し、入力された画像信号に対して所定のアナログ処理を行う。A/D変換部13は、アナログ信号処理部12で処理されたアナログ信号をデジタル信号に変換する。タイミング制御部14は、制御部17により制御され、撮像素子8、アナログ信号処理部12、A/D変換部13、画像処理部15の各動作のタイミングを制御する。
メモリカード用インタフェース部22は、メモリカード(カード状のリムーバブルメモリ)30とのインタフェースをとる。外部インタフェース部23は、所定のケーブルや無線伝送路を介してPC31等の外部装置とのインタフェースをとる。操作部16は、レリーズボタンやモード切り換え用の選択ボタン等に相当する。モニタ21は、各種メニューを表示したり、撮像素子8で撮像した被写体像やメモリカードに格納された画像データに基づく再生画像を表示したりする。操作部16の出力は制御部17に接続され、モニタ21には表示画像生成部20の出力が接続される。画像処理部15は、例えば、画像処理専用の1チップ・マイクロプロセッサで構成される。
A/D変換部13、画像処理部15、制御部17、メモリ18、圧縮/伸長部19、表示画像生成部20、メモリカード用インタフェース部22、外部インタフェース部23は、バス24を介して相互に接続されている。
PC31には、モニタ32やプリンタ33等が接続されており、CD−ROM34に記録されたアプリケーションプログラムが予めインストールされている。また、PC31は、不図示のCPU、メモリ、ハードディスクの他に、メモリカード30とのインタフェースをとるメモリカード用インタフェース部(不図示)や所定のケーブルや無線伝送路を介して電子カメラ1等の外部装置とのインタフェースをとる外部インタフェース部(不図示)を備える。
図2のような構成の電子カメラ1において、操作部16を介し、操作者によって撮影モードが選択されてレリーズボタンが押されると、制御部17は、タイミング制御部14を介して、撮像素子8、アナログ信号処理部12、A/D変換部13に対するタイミング制御を行う。撮像素子8は、可変光学系3により撮像領域に結像された光学像に対応する画像信号を生成する。その画像信号は、アナログ信号処理部12で所定のアナログ信号処理が行われ、アナログ処理後画像信号としてA/D変換部13へ出力される。A/D変換部13では、アナログ処理後の画像信号をディジタル化し、画像データとして、画像処理部15に供給する。
本実施の形態の電子カメラ1では、撮像素子8において、単板式カラー撮像素子の最も代表的なR(赤)、G(緑)、B(青)のカラーフィルタがベイア配列されている場合を例にとり、画像処理部15に供給される画像データはRGB表色系で示されるものとする。画像データを構成する各々の画素には、RGBの何れか1つの色成分の色情報が存在する。ここで、撮像素子8を構成する1つの光電変換素子を画素と言うが、この画素に対応した画像データの1単位も画素と言う。また、画像も複数の画素から構成される概念である。
画像処理部15は、このような画像データに対し、補間、階調変換や輪郭強調などの画像処理を行う。このような画像処理が完了した画像データは、必要に応じて、圧縮/伸長部19で所定の圧縮処理が施され、メモリカード用インタフェース部22を介してメモリカード30に記録される。画像処理が完了した画像データは、圧縮処理を施さずにメモリカード30に記録してもよい。
画像処理が完了した画像データは、補間処理が完了し、各画素にはRGBのすべての色成分の色情報が存在するものとする。そして、この画像データを基に、以下に説明する手順で電子カメラ1のメモリ18に格納されたプログラムを実行することによりゴミ付着量の判定が行われる。なお、メモリカード30を介してPC31に提供し、PC内に格納されているプログラムにおいてゴミ付着量を判定することも可能である。この場合、外部インターフェース23および所定のケーブルや無線伝送路を介してPC31に提供してもよい。以下、本実施の形態においては、カメラ内部のプログラムにより処理を行うものとする。
(ゴミの監視処理)
図3に基づいて、撮像面に付着したゴミを監視し、ゴミ付着量を診断する処理について説明する。図3は撮影した基準画像を元に撮像面等に付着したゴミ付着量を診断し、ゴミの蓄積量が通常使用における限度を超えた場合に、ユーザーに対して通知を行う処理のフローチャートである。
1)基準画像の撮影
ステップS1にて電子カメラ1に「ゴミ診断モード(異物監視モード)」が設定されているか否かを判断する。ゴミ診断モードとは、電子カメラ1のゴミ診断を行うときに設定するモードであって、ユーザーが以下に説明する基準画像の撮影を行う際に設定するモードである。このゴミ診断モードが設定されると、電子カメラ1は基準画像の撮影を行うために必要な電子カメラ1の設定を自動で行い、かつ、ユーザーに対して基準画像撮影の指示を出す。この指示はモニタ21にメッセージを表示する方法や音声によって指示を行う方法が考えられる。
ステップS1にてゴミ診断モードの設定がされていると判断されるとステップS10に進み、基準画像の撮影を行う。本実施の形態では、ユーザーが定期的に(月1回程度)一様な被写体を撮影してゴミ付着状況を調べるための基準画像を得ることを想定する。基準画像を撮影する際には、可変光学系3に用意された可変な範囲の中で絞りを自動的に所定の絞り値よりも絞り込んだ状態にして撮影する。所定の絞り値よりも絞り込んだ状態とは、最も絞り込んだ絞り値であることが望ましく、これによりあらゆるゴミが最も鮮明に写り込んだ情報を得ることができ、正確なゴミ付着量の判定を可能とする。なお、最も絞り込んだ絞り値は、標準的なレンズでは例えばF22程度である。また、F11程度まで絞り込んであれば、およそ適切なゴミ診断が可能なレベルとなる。ここで最も絞り込んだ絞り値に設定する操作はユーザーが手動で行ってもよい。ただし、基準画像は、非現実的な完全に一様な白基準データではなく、現実的な青空、一様に近い壁面、グレーチャート、無地の紙面などを撮影して代用するものとする。この場合の基準データは、レンズの周辺減光や被写体のグラデーション、撮像素子のシェーディングなどが含まれていてもよい。基準データは、実際に身近な場所で容易に撮影できる状況で取得できる場合を想定しており、厳密な一様性は要求せず、画像処理側のアルゴリズムで一様なものに変換する。
2)輝度面の生成
次に、ステップS20において輝度面の生成を行う。基準画像データの各画素[i,j]について、次の式(1)を使用して、RGB信号から輝度信号を生成する。[i,j]は画素の位置を示す。
Y[i,j]=(R[i,j]+2*G[i,j]+B[i,j])/4...(1)
RGB各面で個別に解析することも可能であるが、基本的にゴミ影の影響は信号の減衰を生じるのみで、色成分に関係ない。従って、ここでは全ての情報を有効に使いつつ、ランダムノイズの影響を低減させることが可能な輝度成分への変換を行っている。また、そうすることにより、RGB3面から輝度成分単面だけの解析で済み、高速化が図れる。輝度成分生成比率は上記に限らず、R:G:B=0.3:0.6:0.1等であってもよい。
3)透過率マップの生成(ゲインマップ抽出)
ステップS30では、以下の処理からなる透過率マップの生成(ゲインマップ抽出)を行う。
3−1)局所的規格化処理(ゲイン抽出処理)
基準画像データは、上述したように必ずしも完全に一様なものでない。従って、生成した輝度面も完全に一様ではない。このような輝度面に対して、局所的な画素値の規格化(正規化)処理を行って、各画素の透過率信号T[i,j]を、次式(2)を使用して算出する。すなわち、着目画素[i,j]の値とこの画素を含む局所範囲の画素平均値との相対比を各々の画素についてとる。これにより一様面データに含まれるグラデーション、シェーディング等の不均一性はアルゴリズム的に問題なく排除され、肝心のゴミ影による透過率の低下のみを抽出することができる。このようにして求めた画像全面の透過率を透過率マップ(ゲインマップ)と言う。透過率マップは、基準画像の欠陥情報を示すものである。なお、画素値とは、各画素における色成分の色信号(色情報)や輝度信号(輝度情報)の値である。例えば、1バイトで表される場合、0〜255の値を取る。
Figure 2005022901
ここで、局所平均を取る範囲(2a+1)x(2b+1)画素は、最大に想定されるゴミ径より大きめにとる。理想的には面積的にゴミ影よりも3倍程度以上の広さを取れば、正確な透過率データが得られる。aは着目画素[i,j]を中心に左右に広がる画素数、bは着目画素[i,j]を中心に上下に広がる画素数を示す。例えば、撮像素子8の画素ピッチを12umとし、撮像面とゴミ付着面との距離を1.5mmとすると、絞り値F22のとき、巨大なゴミの直径は15画素程度、絞り値F4のとき、巨大なゴミの直径は40画素程度となる。従って、a=40、b=40とし、局所平均を取る範囲は81×81画素範囲のように設定するとよい。また、数百万画素クラスの撮像素子であれば、101×101画素の固定でもよい。これらは一例であり、他の画素数による画素範囲であってもよい。
ゴミ影は絞り値に大きく依存し、小さなゴミは絞りを開けるとすぐに消滅するが、大きなゴミは絞りを開放側にしても影は薄くなりながらも大きな面積を占めることがある。撮像素子の画素ピッチ幅にもよるが、開放側で数十画素に渡って丸いゴミ影ができる場合があり、そのときは非常に広い範囲で局所平均をとる必要性が出る。そのため、処理を高速化する場合は、間引いた画素で代表して処理しても問題ない。
この(2a+1)x(2b+1)画素の範囲で相対比を演算する処理を、局所的規格化処理(ゲイン抽出処理)と呼ぶ。(2a+1)x(2b+1)画素の範囲で相対化演算するフィルタのことを、ゲイン抽出カーネルと呼んでもよい。図4は、輝度面に対して局所的規格化処理を施した様子を示す図である。図4(a)は、輝度面内のある横方向に並ぶ画素の輝度信号を示す図である。符号41と符号42は、ゴミにより輝度信号が低下していることを示す。図4(b)は、図4(a)の輝度信号に対して、上述した局所的規格化処理を施して得られた図である。すなわち、局所的な範囲で画素値の規格化処理を行ったものである。符号43、44は、図4(a)の符号41、42に対応し、ゴミが存在する個所の透過率を示す。このように、一様面データに含まれるグラデーション、シェーディング等の不均一性は排除され、ゴミ影による透過率の低下のみを抽出することができる。これにより、ゴミの位置と透過率の程度が同時に分かる。
透過率マップのローパス処理は選択可能としてもよいが、大部分で効果があるのでこの処理を入れておくのが好ましい。透過率信号T[i,j]には、輝度信号の量子論的揺らぎに伴うランダムノイズが含まれているため、透過率が1に近いレベルで微妙にゴミ影の影響が残っている領域は、そのランダム性のため以下に続く3−3)の閾値判定を行うと、斑にゴミ影を抽出することがある。それを防ぐため、次式(3)によるローパスフィルタによりゴミ影の集団化を行うとやや見栄えがよくなる。
T[i,j]={4*T[i,j]
+2*(T[i−1,j]+T[i+1,j]+T[i,j−1]+T[i,j+1])
+1*(T[i−1,j−1]+T[i−1,j+1]+T[i+1,j−1]+T[i+1,j+1])}/16 ...(3)
3−2)透過率マップの統計解析
前述の透過率マップに含まれるゴミ情報とランダムノイズを区別するため、前述の局所的規格化処理により得られた透過率マップの画像全面について、平均値Mを次式(4)により求め、標準偏差σを次式(5)により求める統計解析を行う。なお、Nx,Nyは、x方向、y方向の総画素数を表す。
Figure 2005022901
Figure 2005022901
3−3)閾値判定
基本的に透過率マップに占めるゴミ信号の面積的な割合は十分に小さく、3−2)で統計解析した結果は、透過率信号の量子論的揺らぎに伴うランダムノイズ(ショットノイズ)を評価していると考えられる。図4における符号45部分を拡大した符号46は、この細かいランダムノイズがある様子を示している。透過率マップのヒストグラムをとると、平均値M(Mはほぼ1に近い値)を中心に標準偏差σの正規分布した形となる。図5は、透過率マップのヒストグラムを示す図である。この揺らぎの範囲はゴミ影による透過率の変化を受けていないと考えられるため、強制的に透過率を1に設定してよい。すなわち、次の条件(6)(7)により閾値判定を行う。
if |T[i,j]−M|≦3σ then T[i,j]=1 ...(6)
else T[i,j]=T[i,j]...(7)
正規分布するランダムデータは、±3σの範囲を集めれば99.7%になるので、ほぼ正確にランダムノイズの影響を除外することができる。±3σから外れる透過率は、ほとんど統計的な誤差では説明できない異常な信号であり、ゴミ影による透過率の低下による現象を表していると考えられる。この異常部分は、ゴミ影の場合、通常1より小さな値となる。
しかし、割合は少ないが1より大きな値を示すものもある。これはゴミ影の影響ではなく、オプティカルローパスフィルタ等の脈理(屈折率の不均一)で生じた欠陥が入射光を強めあったり弱めあったりする干渉縞を起こした場合などに見られる現象である。これにより、光路途中に含まれるゴミ以外の光学部材の欠陥検出にもこの方法は利用することができる。また、撮像素子内の画素欠陥の影響もこの手法で判別可能である。ゴミは、撮像素子8に近い方がボケずに残りやすいが、撮影レンズ上のゴミが相当ボケて写り込んだ場合でも精度よく判別可能である。
なお、ゴミ影のみを対象とする場合は、以下の条件(8)(9)(10)により閾値判定するとよい。
if |T[i,j]−M|≦3σ then T[i,j]=1 ...(8)
else if T[i,j]>1 then T[i,j]=1 ...(9)
else T[i,j]=T[i,j]...(10)
判定に使う平均値Mは常に1に近い値をとるため、1に置き換えてもよい。
このようにして、欠陥の画素位置を表すマップ情報(T=1か否かで判断)と、欠陥の度合いを表す透過率情報の2種類の欠陥情報が同時に得られることになる。なお、上述の透過率マップは局所的な相対ゲインを表していることからゲインマップと呼んでもよい。
通常、ゴミ等の欠陥検出は、エッジ検出用の微分フィルタで行う。しかし、光路途中のゴミを対象とする場合、光学的にぼけるため非常に周辺とのコントラストが低いゴミ影となって現れる。このような場合、微分フィルタでは非常に感度が悪くほとんど検知できないことが多い。しかし、上記説明したように、透過率の統計的性質を用いた判定法を用いると、非常に高感度のゴミ検出が可能となる。
4)ゴミ量の監視
ステップS40において、図6に示すフローチャートに従ってゴミ蓄積量の監視を行う。上記で高感度に検出された透過率マップを使って、ゴミの影響を受けた画素の数を計数し、総画素数に対する面積率を算出する。このとき、透過率でゴミの種類を分類し、各々について面積率を算定する。ここでは付着しているゴミの大きさに応じて図7に示す4種類のゴミに分別を行う。小さなゴミから大きなゴミまでを含む全てのゴミの分類を第1分類ゴミ7aとし、第1分類ゴミ7aが起因となって影響を受けていると考えられる画素の数をN1とする。第1分類ゴミ7aから非常に小さいゴミを除いたゴミの分類を第2分類ゴミ7bとし、第2分類ゴミ7bが起因となって影響を受けていると考えられる画素の数をN2とする。第2分類ゴミ7bから小さいゴミを除いたゴミの分類を第3分類ゴミ7cとし、第3分類ゴミ7cが起因となって影響を受けていると考えられる画素の数をN3とする。そして、大きいゴミのみを含む分類を第4分類ゴミ7dとし、第4分類ゴミ7dが起因となって影響を受けていると考えられる画素の数をN4とする。透過率の低下が小さいほど小さなゴミと考えられるので、以下に示す閾値の設定が1に近づくほど小さなゴミまでを含むように分類できる。
4−1)初期化
図6のステップS110において、各分類のゴミの影響を受けた画素の数をN1=0、N2=0、N3=0、N4=0と初期化する。
4−2)ゴミの画素数の算出
ステップS120において、以下の(11)(12)(13)(14)の条件に基づく透過率に対する閾値の判断を行い、ステップS120の判断に従って(11)(12)(13)(14)の式に示す通り各分類ごとのゴミの画素数N1(ステップS130)、N2(ステップS140)、N3(ステップS150)、N4(ステップS160)を算出する。ここで、透過率に対する閾値は、たとえばth1=0.95、th2=0.75、th3=0.50、th4=0.25などと設定する。このように閾値を設定してゴミの量を数えることによって、ゴミの大きさによって分類した第1分類ゴミ7a、第2分類ゴミ7b、第3分類ゴミ7c、第4分類ゴミ7dに対応したN1,N2、N3、N4を算出することができる。
if T[i,j]<th1 then N1=N1+1 ...(11)(第1分類ゴミ)
if T[i,j]<th2 then N2=N2+1 ...(12)(第2分類ゴミ)
if T[i,j]<th3 then N3=N3+1 ...(13)(第3分類ゴミ)
if T[i,j]<th4 then N4=N4+1 ...(14)(第4分類ゴミ)
なお、ここで閾値th1、th2、th3、th4を1より大きな値とし、それらの閾値よりも大きな値、すなわち1より離れる側の値の透過率を検出することで、図5で説明したとおり、脈理等の影響を受けた画素の数を算出することができ、光路途中に含まれるゴミ以外の光学部材の欠陥検出も行うことができる。
4−3)面積率への変換
上記で算出したN1,N2,N3、N4に基づいて、ステップS170において、各分類ゴミの画素数から面積率への変換を行う。第1分類ゴミの面積率をR1、第2分類ゴミの面積率をR2、第3分類ゴミの面積率をR3、第4分類ゴミの面積率をR4とし、次式(15)(16)(17)(18)により、各分類ごとの面積率を算出する。
R1=N1/(総画素数) ...(15)
R2=N2/(総画素数) ...(16)
R3=N3/(総画素数) ...(17)
R4=N4/(総画素数) ...(18)
このようにして、複数種類のゴミに分別してゴミの量を監視することができる。R4は極めて大きなゴミのみが付着している蓄積量を表し、R1は小さなゴミから大きなゴミまで、付着している全てのゴミの蓄積量を表していると考えられる。
5)清掃時期の通知
ステップS170で算出した各分類ゴミごとのゴミの蓄積量に対して、通常使用において問題となる限度を超える場合に、その通知をユーザーに対して行う。ステップS180では、次式(19)(20)の条件に基づく判断を行う。
if (R1>rate_th1 OR R2>rate_th2 OR R3>rate_th3 OR R4>rate_th4)
then 警告ON ...(19)
else 警告OFF ...(20)
上記の判定の結果、ゴミの蓄積量が条件を満たしていればステップS190においてユーザーに対して警告をする(以下、警告ON)決定を行い、ゴミの蓄積量が条件を満たしていない場合はステップS200にて警告を行わない(以下、警告OFF)決定を行う。
ここで、例えば、rate_th1は0.1%のオーダーの値、rate_th4は0.01〜0.001%のオーダーの値で、rate_th2とrate_th3はその中間的な値を設定するとよい。すなわち第1分類ゴミ側の面積率に対する閾値の方を第4分類側ゴミ側の面積率に対する閾値より大きくする。これは、基準画像は最小の絞り値で撮影したが、小さなゴミは絞りが少し開放側に寄るだけで消滅する可能性があるためである。すなわち、基準画像内にゴミとして現れた極めて小さなゴミは、通常使用において絞りを最小よりも開放側にして撮影した場合には、その影響は問題となりにくいため、これを考慮に入れて判定を行うためである。
ステップS190にて、警告ONの決定がされた場合は、図3のステップS60にてユーザーに対してゴミの除去を促す警告が行われる。ここで、警告が発せられた場合は、物理的なゴミ除去を行わなければ電子カメラの出力画像としてはかなりの画質低下を免れないことを意味する。警告の方法は電子カメラ1に警告ランプを設け、その警告ランプを点滅させても良いし、モニタ21に清掃を促すメッセージを表示するようにしても良い。あるいは、音声による警告を行っても良い。
以上のように、第1の実施の形態では、基準画像を基にゴミの蓄積量を算出しているが、基準画像の一様面の撮影には厳密な均一性を要求しないので、比較的手軽に実現することが可能となる。更に、従来のゴミ検出法に比べ、格段に感度のよい検出が可能となる。
−第2の実施の形態−
第2の実施の形態では、第1の実施の形態で使用した一様面を撮影して得られる基準画像に代わって、ピントを非合焦点に合わせて撮影した画像(以下、非合焦画像)を使用することによってゴミの蓄積量を算出し、ゴミの蓄積量が通常使用において問題となる限度を超える場合に必要に応じてユーザーへの通知を行う方法について説明する。
(電子カメラおよびパーソナルコンピュータの構成)
電子カメラ1および画像処理装置としてのPC31の構成を図2に基づいて説明する。なお、第1の実施の形態と共通する箇所については、その説明を省略する。
電子カメラ1は、不図示のオートフォーカス制御部を有する。オートフォーカス制御部は、制御部17によって制御され、被写体までの距離・焦点位置を検出し、それに基づいて焦点を自動で合わせるように可変光学系3を制御する。電子カメラでは一般的に被写体までの距離・焦点位置を検出するために、不図示のフォーカスレンズ(合焦光学系)を前後に動かしてコントラストの高い位置を求め、その位置を合焦点と判断する方法をとっている。これにより求めた合焦点にピントが合うように可変光学系3を制御することにより、合焦画像を得ることができる。なお、上記説明したコントラストの高い位置を合焦点と判断する方法は一例であり、その他のオートフォーカス機構であってもよい。
本実施の形態においては、ユーザーに対して至近の対象物を撮影するよう指示を出すと同時に、上記オートフォーカス制御部により、オートフォーカスされた位置、ないしは合焦点が存在しない場合は、合焦により近づく側の位置から逆の非合焦となる位置、すなわち合焦側の位置から逆側に位置する無限遠側にフォーカスレンズの位置を移動制御し、非合焦画像を得る。
(ゴミの監視処理)
図8に基づいて、撮像面に付着したゴミを監視し、ゴミ付着量を診断する処理について説明する。図8は撮影した非合焦画像を元に撮像面に付着したゴミ付着量を診断し、ゴミの蓄積量が通常使用における限度を超えた場合に、ユーザーに対して通知を行う処理のフローチャートである。以下の処理は、電子カメラ1のメモリ18に格納されたプログラムを実行することにより行われる。
1)非合焦画像の撮影
ステップS210でゴミ診断モードか否かの判断がされると、以下の手順にて非合焦画像の撮影が行われる。ここで一般的には、非合焦画像とはオートフォーカスで合焦より反対側に焦点を合わせて撮影した画像、ないしは合焦点の存在しない最短撮影距離より至近の被写体を撮影した画像のことである。これにより周囲に一様な被写体がない場合においても、第1の実施の形態における基準画像に相当するボケ画像を得ることができる。非合焦画像を撮影する際には、上記基準画像撮影時と同様に可変光学系3に用意された可変な範囲の中で最も絞り込んだ状態で撮影するものとする。最も絞り込んだ絞り値は、標準的なレンズでは例えばF22程度である。これによりあらゆるゴミが最も鮮明に写り込んだ情報を得ることができ、正確なゴミ付着量の判定を可能とする。
ステップS220にて電子カメラ1はユーザーに対して至近の対象物を撮影するよう指示を出す。ここでユーザへの指示の出し方としては、モニタ21にメッセージを表示する方法や音声によって指示を行う方法が考えられる。また、ステップS210で非合焦画像の撮影が行われると判断されるためには、ユーザーが非合焦画像の撮影を電子カメラ1に指示する必要がある。これには「ゴミ診断モード」あるいは「非合焦画像撮影モード」などをメニュー画面を利用して電子カメラ1にセットする。ユーザーがこれらのモードを起動することにより非合焦画像の撮影が行われると判断可能とすることができる。
ここでいう至近の対象物には、安全のため最短撮影距離より至近にある被写体を利用する。最短撮影距離とはそれ以上至近に寄りすぎると、合焦点が存在しない距離のことを指し、レンズによってその値は異なる。一般には20cm程度以上のものが多いため、2cmから10cm程度の至近被写体を撮影すれば、広角レンズといえども確実に基準画像に相当する非合焦画像にふさわしいボケ画像を得ることができる。
ステップS230にて電子カメラ1はオートフォーカス制御部によりオートフォーカスを無限遠に自動設定する。これにより、ステップS220でユーザーに対して至近の対象物を撮影するよう指示を出してあるため、通常であれば非合焦であり、かつ被写体とは反対方向に焦点制御することにより、さらにボケた画像、すなわち非合焦画像の撮影が可能となる。そして、ステップS240にて非合焦画像の撮影を行う。
以上の手順にて得た非合焦画像を基に、ゴミの付着量の検出およびユーザーへの清掃時期通知を行う。非合焦画像は上述した通り第1の実施の形態における基準画像に相当する画像であるため、以降の処理は第1の実施の形態における処理内容と同一である。すなわち、ステップS20の輝度面生成、ステップS30の透過率マップの生成、ステップS40のゴミ付着量の監視、ステップS50の清掃時期通知の判断、ステップS60の清掃時期の通知を第1の実施の形態と同様に行うことにより、ゴミの付着量の検出を行い、ユーザーへの清掃時期通知を行うことができる。
以上のように、第2の実施の形態では、非合焦画像を基にゴミの蓄積量を算出しているため、周囲に一様な被写体がない場合においても、第1の実施の形態における基準画像に相当するボケ画像を得ることができ、ユーザーは場所を選ばずゴミ検出を行うことができる。更に、第1の実施の形態と同様に、従来のゴミ検出法に比べ、格段に感度のよい検出が可能となる。
−第3の実施の形態−
第2の実施の形態においては、ユーザーに対して至近の対象物を撮影するよう指示を出すと同時に、非合焦の方向すなわち無限遠へオートフォーカスを調整し非合焦画像を得た。しかし至近の対象物を撮影するように指示したにも関わらず、撮影者が遠方にある対象物を撮影した場合には合焦となってしまい、ゴミの付着量を監視するための非合焦画像の撮影が困難となる。このような場合に対応すべく、第3の実施の形態においては、無限遠にオートフォーカスを調整したにも関わらず合焦となってしまった場合には、オートフォーカス制御部は無限遠とは逆の方向、すなわち近接(最短撮影距離)側へオートフォーカスを設定し、自動的に非合焦画像を得るべく制御を行う方法について説明する。
(電子カメラおよびパーソナルコンピュータの構成)
電子カメラ1および画像処理装置としてのPC31の構成については、第2の実施の形態と共通するため、その説明を省略する。
本実施の形態においては、上記オートフォーカス制御部により、オートフォーカスされた位置から逆の非合焦となる位置、すなわちオートフォーカスの位置から逆側に位置する無限遠側あるいは最短撮影距離側にフォーカスレンズの位置を移動制御し、非合焦画像を得る。
(ゴミの監視処理)
図9に基づいて、撮像面に付着したゴミを監視し、ゴミ付着量を診断する処理について説明する。図9は撮影した非合焦画像を元に撮像面に付着したゴミ付着量を診断し、ゴミの蓄積量が通常使用における限度を超えた場合に、ユーザーに対して通知を行う処理のフローチャートである。以下の処理は、電子カメラ1のメモリ18に格納されたプログラムを実行することにより行われる。
1)非合焦画像の撮影
ステップS310でゴミ診断モードか否かの判断がされると、以下の手順にて非合焦画像の撮影が行われる。なお、本実施の形態においても、第1、第2の実施の形態同様、非合焦画像を撮影する際には、可変光学系3に用意された可変な範囲の中で最も絞り込んだ状態で撮影するものとする。
ステップS320にて電子カメラ1はユーザーに対して至近の対象物を撮影するよう指示を出す。これは第2の実施の形態における図8のステップS220の処理と同様のため、説明は省略する。
ステップS330にて電子カメラ1はオートフォーカス制御部によりオートフォーカスを無限遠に自動設定する。これにより、ステップS320でユーザーに対して至近の対象物を撮影するよう指示を出してあるため、通常であれば非合焦であり、かつ被写体とは反対方向に焦点制御することによりさらにボケた画像の撮影が可能となる。
ステップS330の結果、ステップS340にて合焦点なしと判断された場合は、非合焦画像の撮影が可能であるためステップS370にて非合焦画像の撮影を行う。これに対し、ステップS340にて合焦点ありと判定された場合、すなわち非合焦の方向へオートフォーカスを調整したにも関わらず合焦となってしまった場合は、ゴミの付着量を監視するための非合焦画像の撮影が不可能となる。これは、至近の対象物を撮影するように指示したにも関わらず、ユーザーが遠方にある対象物を撮影した場合に起こり得る。
この時はステップS350へ進み、電子カメラ1はオートフォーカス制御部によりオートフォーカスを無限遠とは逆の方向、すなわち近接(最短撮影距離)側へ自動設定する。この結果、ステップS360で合焦点なしと判断されれば、非合焦画像の撮影が可能であるためステップS370へ進み非合焦画像の撮影を行う。もしこれでも合焦となってしまう場合には、ステップS320へ戻り、再度ユーザーに対して至近の対象物を撮影するよう指示を出し、処理をやり直す。ここで電子カメラ1は非合焦画像が撮影できなかった旨をユーザーに通知し、取り直しの際のステップS320においては前回とは別の至近の対象物を撮影するよう、ユーザーへ指示するべく、指示メッセージの内容を変更しても良い。
以上の手順にて得た非合焦画像を基に、ゴミの付着量の検出およびユーザーへの清掃時期通知を行う。非合焦画像は上述した通り第1の実施の形態における基準画像に相当する画像であるため、以降の処理は第1の実施の形態における処理内容と同一である。すなわち、ステップS20の輝度面生成、ステップS30の透過率マップの生成、ステップS40のゴミ付着量の監視、ステップS50の清掃時期通知の判断、ステップS60の清掃時期の通知を第1の実施の形態と同様に行うことにより、ゴミの付着量の検出を行い、ユーザーへの清掃時期通知を行うことができる。
以上のように、第3の実施の形態では、無限遠にオートフォーカスを調整したにも関わらず合焦となってしまった場合には、オートフォーカス制御部は無限遠とは逆の方向、すなわち近接(最短撮影距離)側へオートフォーカスを設定し、自動的に非合焦画像を得るべく制御を行っているため、ユーザーに誤操作があった場合にも自動的に非合焦画像を得ることができる。
−第4の実施の形態−
第2、第3の実施の形態においては、非合焦画像を撮影するためにまずユーザーに対して至近の対象物を撮影するよう指示を出していた。しかし、電子カメラ1に接続されている可変光学系3が望遠レンズや接写用マイクロレンズの場合は、撮影する対象物までの距離に関係なくオートフォーカスの合焦点と正反対方向の端部にフォーカス位置を制御するだけで、十分に非合焦画像にふさわしい画像を得ることができる。このためユーザーに対して至近の対象物を撮影するよう指示する必要はない。この点を考慮して、第4の実施の形態においては、接続されている可変光学系3の種類によっては、電子カメラ1はユーザーに至近の対象物の撮影する指示を行わず、自動で非合焦画像を得るようコントロールする方法について説明する。
(電子カメラおよびパーソナルコンピュータの構成)
電子カメラ1および画像処理装置としてのPC31の構成については、第2の実施の形態と共通するため、その説明を省略する。
本実施の形態においては、ユーザーに対して撮影する対象物の指示を出すことなく、上記オートフォーカス制御部により、オートフォーカスされた位置から逆の非合焦となる位置、すなわちオートフォーカスの位置から逆側に位置する無限遠側あるいは最短撮影距離側にフォーカスレンズの位置を移動制御し、非合焦画像を得る。
(ゴミの監視処理)
図10に基づいて、撮像面に付着したゴミを監視し、ゴミ付着量を診断する処理について説明する。図10は撮影した非合焦画像を元に撮像面に付着したゴミ付着量を診断し、ゴミの蓄積量が通常使用における限度を超えた場合に、ユーザーに対して通知を行う処理のフローチャートである。以下の処理は、電子カメラ1のメモリ18に格納されたプログラムを実行することにより行われる。
1)非合焦画像の撮影
ステップS410でゴミ診断モードか否かの判断がされると、以下の手順にて非合焦画像の撮影が行われる。なお、本実施の形態においても、第1、第2、第3の実施の形態同様、非合焦画像を撮影する際には、可変光学系3に用意された可変な範囲の中で最も絞り込んだ状態で撮影するものとする。
ステップS420にて、電子カメラ1に接続されている可変光学系3が望遠レンズや接写用マイクロレンズかの判断を行う。これは、接続されたレンズの種類が可変光学系3からカメラ本体2のマウント部9を介して電子カメラ1の制御部17に送信され、判断される。ステップS420にて、電子カメラ1に接続されている可変光学系3が望遠レンズ、あるいは接写用マイクロレンズでないと判断された場合は、ステップS430へ進む。この場合は、第2、第3の実施の形態と同様に、ユーザーに対して至近の対象物を撮影するよう指示が必要となる。ここで、ステップS430の処理は、第3の実施の形態における図9のステップS320〜ステップS360と同じため、説明を省略する。ステップS420にて、電子カメラ1に接続されている可変光学系3が望遠レンズ、あるいは接写用マイクロレンズであると判断された場合は、ステップS440へ進み、以下の処理を行う。
ステップS440において、可変光学系3はオートフォーカスの合焦点と正反対方向の端部にフォーカス位置を制御する。これは、上述した通り、電子カメラ1に接続されている可変光学系3が望遠レンズ、あるいは接写用マイクロレンズである場合には、撮影する対象物までの距離に関係なくオートフォーカスの合焦点と正反対方向の端部にフォーカス位置を制御するだけで、十分に非合焦画像にふさわしい画像を得ることができるためである。これにより、非合焦画像の撮影が可能となるため、ステップS450において、非合焦画像の撮影を行う。以上より、本自身の形態においては、ユーザーに対して至近の対象物を撮影するよう指示することなく、非合焦画像を得ることができる。
以上の手順にて得た非合焦画像を基に、ゴミの付着量の検出およびユーザーへの清掃時期通知を行う。非合焦画像は上述した通り第1の実施の形態における基準画像に相当する画像であるため、以降の処理は第1の実施の形態における処理内容と同一である。すなわち、ステップS20の輝度面生成、ステップS30の透過率マップの生成、ステップS40のゴミ付着量の監視、ステップS50の清掃時期通知の判断、ステップS60の清掃時期の通知を第1の実施の形態と同様に行うことにより、ゴミの付着量の検出を行い、ユーザーへの清掃時期通知を行うことができる。
以上のように、第4の実施の形態では、電子カメラ1に接続されている可変光学系3が望遠レンズや接写用マイクロレンズの場合は、撮影する対象物までの距離に関係なくオートフォーカスの合焦点と正反対方向の端部にフォーカス位置を制御することとした。このため、非合焦画像を撮影する際にユーザーに対して至近の対象物を撮影するよう指示する必要はなく、ユーザーにとってより手軽なゴミ検出を実現することが可能である。なお、本実施の形態による発明は、電子カメラ1に接続されている可変光学系3が望遠レンズや接写用マイクロレンズの場合に最も効果的であるが、その他標準的なレンズについても適用可能である。
−実施の形態の変形例−
なお、上記第1の実施の形態における「1)基準画像の撮影」、および第2〜第4の実施の形態における「1)非合焦画像の撮影」を電子カメラ1で行った後、撮影した画像をPC31へ取り込み、上記2)〜5)の処理をPC側で行うようにしてもよい。この場合電子カメラ1で撮影された基準画像あるいは非合焦画像は、メモリカード30を介してPC31に提供される。あるいは、外部インターフェース23および所定のケーブルや無線伝送路を介してPC31に提供されることになる。
基準画像あるいは非合焦画像を取り込んだPC31は、撮像系診断装置として機能し、あらかじめインストールされている撮像系診断プログラムによって第1〜第4の実施の形態共通の2)〜4)の処理を行う。そしてその結果を基に第1〜第4の実施の形態共通の5)の処理によって、ゴミの蓄積量が通常使用において問題となる限度を超えていると判断された場合は、モニタ32に当該画像を撮影した電子カメラ31の清掃を促すメッセージを表示する。これにより画像をPC31に取り込んだ後でもPC31上においてもゴミ蓄積量の診断を行うことができる。
PC31で実行するプログラムは、CD−ROMなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。図12はその様子を示す図である。PC31は、CD−ROM34を介してプログラムの提供を受ける。また、PC31は通信回線401との接続機能を有する。コンピュータ402は上記プログラムを提供するサーバーコンピュータであり、ハードディスク403などの記録媒体にプログラムを格納する。通信回線401は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ402はハードディスク403を使用してプログラムを読み出し、通信回線401を介してプログラムをPC31に送信する。すなわち、プログラムをデータ信号として搬送波にのせて、通信回線401を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。
以上、第1〜第4の実施の形態におけるゴミ付着量の診断においては、基準画像、非合焦画像の撮影を行い、それを基に診断を行うことによって、手軽にゴミ付着量の診断を行うことが可能となる。更に、従来のゴミ検出法に比べ、格段に感度のよい検出が可能となる。
また、ゴミの付着量に従ってユーザーへの清掃時期の通知を行うことによって、電子カメラの使用において画質の品位を大きく損ねかねない状況のゴミ付着量を好適に診断して物理的清掃を促すことにより、知らないうちに画質の低下を招いているという危険を排除することができる。
なお、上記第1の実施の形態では、透過率マップを作成するのに、撮影者が一様に近いと考える基準画像を撮影して、その撮影した基準画像に局所的規格処理等を施して透過率マップを作成していた。しかし、撮影者が一様に近いと考える基準画像に小さな模様等がある場合もある。これは、基本的に被写体をボカして撮影することで対処できる。例えば、紙をレンズの最短撮影距離よりも至近位置において撮影したりすればよい。たとえ、小さな模様があっても(2a+1)x(2b+1)サイズのゲイン抽出カーネルより広い範囲でゆるやかに変化する像にボケれば十分に目的を達成することのできる一様に近い基準画像になり得る。
また、上記実施の形態では、ベイア配列のRGB表色系の例を説明したが、最終的に補間処理がなされるものであれば、カラーフィルタの配置方法には全く依存しないことは言うまでもない。また、他の表色系(例えば補色表色系)であっても同様である。
また、上記実施の形態では、交換レンズ方式の一眼レフ電子スチルカメラの例を説明したが、必ずしもこの内容に限定する必要はない。非交換レンズ方式のカメラにも本発明は適用できる。瞳位置や絞り値は、適宜公知な手法で取得すればよい。
また、上記実施の形態では、電子スチルカメラ1の例を説明したが、必ずしもこの内容に限定する必要はない。本発明は、動画を扱うビデオカメラにも適用できる。また、カメラつき携帯電話にも適用できる。さらに、コピー機やスキャナー等にも適用できる。すなわち、撮像素子を使用して撮像するあらゆる撮像装置に対して、本発明を適用することができる。
また、上記実施の形態では、電子カメラ1で撮影した画像データを電子カメラ1あるいはPC(パソコン)31で処理してゴミの付着量を判定する例を説明したが、必ずしもこの内容に限定する必要はない。プリンターや投影装置などにそのようなプログラムを備えてもよい。すなわち、画像データを扱うあらゆる装置に、本発明は適用することができる。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願2003年第307354号(2003年8月29日出願)

Claims (20)

  1. 撮像系診断装置であって、
    可変な絞りを有する光学系を通して、所定の絞り値よりも絞り込んだ状態の絞り値で一様面を撮影した画像を取得する画像取得部と、
    前記画像に基づいて、光路途中に含まれる異物を監視する監視部とを備える。
  2. 撮像系診断装置であって、
    光学系を通して、非合焦状態で撮影された画像を取得する画像取得部と、
    前記画像に基づいて、光路途中に含まれる異物を監視する監視部とを備える。
  3. 請求項1、2のいずれかに記載の撮像系診断装置において、
    前記監視部は、光路途中に含まれる前記異物の量を監視する。
  4. 請求項3に記載の撮像系診断装置において、
    前記監視部は、前記画像取得部により取得した画像に基づいて異物による画素の欠陥情報を作成し、前記作成した欠陥情報から画像中に占める欠陥画素の面積率を算出して、異物の量を監視する。
  5. 請求項4に記載の撮像系診断装置において、
    前記監視部は、前記欠陥画素の面積率が所定値を超えたとき、撮影者に対しその旨の警告通知を行う。
  6. 撮像系診断装置であって、
    画像を取得する画像取得部と、
    前記画像取得部により取得した画像に基づいて、光路途中に含まれる異物による画素の欠陥情報を作成し、前記作成した欠陥情報から画像中に占める欠陥画素の面積率を算出して前記光路途中に含まれる異物の量を監視し、前記欠陥画素の面積率が所定値を超えたとき、撮影者に対しその旨の警告通知を行う監視部とを備える。
  7. 請求項5または6に記載の撮像系診断装置において、
    前記警告通知は、異物の物理的な清掃を勧告する旨の警告である。
  8. 請求項1〜7のいずれか一項に記載の撮像系診断装置において、
    前記監視部は、前記異物を複数の種類に分類して監視する。
  9. 請求項5または6に記載の撮像系診断装置において、
    前記監視部は、前記画像取得部により取得した画像を構成する各画素において、着目画素の値と該着目画素を含む所定範囲内の複数の画素の値の平均値との相対比を算出し、該相対比に基づいて前記画像内の欠陥情報を作成し、前記欠陥情報に基づいて異物の量を監視する。
  10. 請求項9に記載の撮像系診断装置において、
    前記監視部は、前記相対比を1とは異なる複数の閾値と比較し、相対比が閾値より1から離れる側の値である場合の画素の面積率を複数の閾値ごとに算出し、前記算出した面積率が所定の面積率を超えたか否かを前記複数の閾値ごとに判定する。
  11. 請求項10に記載の撮像系診断装置において、
    前記監視部は、前記複数の閾値に対して算出された面積率の何れかが所定の面積率を超えているとき、撮影者に対して警告通知を行う。
  12. 請求項11に記載の撮像系診断装置において、
    前記監視部は、前記相対比と比較する閾値が1に比べて小さく設定されているほど、前記所定の面積率を小さく設定する。
  13. 請求項1に記載の撮像系診断装置において、
    前記所定の絞り値よりも絞り込んだ状態の絞り値は、実質的に最も絞り込んだ状態の絞り値である。
  14. 撮像装置であって、
    可変な絞りを有する光学系を通して被写体を撮像する撮像部と、
    前記光学系から前記撮像部にかけての光路途中の異物を監視する異物監視モードを設定するモード設定部と、
    前記異物監視モードが設定されているとき、前記光学系の絞りを所定の絞り値よりも絞り込んだ状態の絞り値に制御する絞り制御部と、
    前記異物監視モードが設定されているとき、前記光学系が所定の絞り値よりも絞り込んだ状態の絞り値で前記撮像部により撮像された画像に基づき、前記異物を監視する監視部とを備える。
  15. 請求項14に記載の撮像装置において、
    前記所定の絞り値よりも絞り込んだ状態の絞り値は、実質的に最も絞り込んだ状態の絞り値である。
  16. 撮像装置であって、
    光学系を通して被写体を撮像する撮像部と、
    前記光学系から前記撮像部にかけての光路途中の異物を監視する異物監視モードを設定するモード設定部と、
    前記異物監視モードが設定されているとき、撮影者に対して至近被写体の撮像を指示する指示部と、
    前記異物監視モードが設定されているとき、前記光学系の焦点を無限遠に設定する焦点制御部と、
    前記異物監視モードが設定されているとき、前記光学系の焦点が無限遠に設定された状態で前記撮像部により至近被写体を撮像して取得された画像に基づき、前記異物を監視する監視部とを備える。
  17. 光学系の焦点を自動制御する焦点制御部と、
    前記光学系を通して被写体を撮像する撮像部と、
    前記光学系から前記撮像部にかけての光路途中の異物を監視する異物監視モードを設定するモード設定部と、
    前記異物監視モードが設定されているとき、前記撮像部により撮像された画像に基づき、前記異物を監視する監視部とを備える撮像装置であって、
    前記焦点制御部は、前記異物監視モードが設定されているとき、前記光学系の焦点を合焦状態から非合焦状態に設定し、
    前記監視部は、前記光学系の焦点が非合焦状態に設定された状態で前記撮像部により撮像された画像に基づき、前記異物を監視する。
  18. 請求項15〜17のいずれか一項に記載の撮像装置において、
    前記監視部は、光路途中に含まれる前記異物の量を監視する。
  19. 撮像系診断プログラムであって、
    請求項1〜13のいずれか一項に記載の撮像系診断装置の機能をコンピュータに実行させる。
  20. 撮像系診断プログラム製品であって、
    請求項19に記載のプログラムを有する。
JP2005513438A 2003-08-29 2004-08-25 撮像系診断装置、撮像系診断プログラム、撮像系診断プログラム製品、および撮像装置 Expired - Fee Related JP4196124B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2003307354 2003-08-29
JP2003307354 2003-08-29
PCT/JP2004/012168 WO2005022901A1 (ja) 2003-08-29 2004-08-25 撮像系診断装置、撮像系診断プログラム、撮像系診断プログラム製品、および撮像装置

Publications (2)

Publication Number Publication Date
JPWO2005022901A1 true JPWO2005022901A1 (ja) 2007-11-01
JP4196124B2 JP4196124B2 (ja) 2008-12-17

Family

ID=34269437

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005513438A Expired - Fee Related JP4196124B2 (ja) 2003-08-29 2004-08-25 撮像系診断装置、撮像系診断プログラム、撮像系診断プログラム製品、および撮像装置

Country Status (4)

Country Link
US (2) US7598991B2 (ja)
EP (2) EP1667434A4 (ja)
JP (1) JP4196124B2 (ja)
WO (1) WO2005022901A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4640108B2 (ja) * 2005-10-25 2011-03-02 株式会社ニコン カメラ
JP4695571B2 (ja) * 2006-09-14 2011-06-08 三星電子株式会社 撮像装置および撮像方法
US7817874B2 (en) * 2006-12-06 2010-10-19 Micron Technology, Inc. Image sensor occlusion localization and correction apparatus, systems, and methods
EP2018047A1 (en) * 2007-06-15 2009-01-21 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Method for contamination detection in a TOF range camera
US8103121B2 (en) 2007-08-31 2012-01-24 Adobe Systems Incorporated Systems and methods for determination of a camera imperfection for an image
US8109442B2 (en) 2008-12-23 2012-02-07 Gtech Corporation Optical reader quality factor
JP2011078047A (ja) * 2009-10-02 2011-04-14 Sanyo Electric Co Ltd 撮像装置
DE102009049203B4 (de) * 2009-10-13 2016-10-13 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Diagnoseeinheit für eine elektronische Kamera und Kamerasystem
JP5683099B2 (ja) * 2009-12-18 2015-03-11 キヤノン株式会社 画像読取装置、画像読取装置の制御方法、およびプログラム
TW201326799A (zh) * 2011-12-21 2013-07-01 Hon Hai Prec Ind Co Ltd 相機模組污點測試系統及其測試方法
US9313379B2 (en) * 2012-09-24 2016-04-12 Illinois State Toll Highway Authority Camera washing system
US9076363B2 (en) * 2013-01-07 2015-07-07 Apple Inc. Parallel sensing configuration covers spectrum and colorimetric quantities with spatial resolution
EP3023962B1 (en) * 2013-07-18 2020-08-19 Clarion Co., Ltd. Vehicle-mounted device
WO2015104915A1 (ja) * 2014-01-10 2015-07-16 日立オートモティブシステムズ株式会社 車載カメラ画像処理装置
JP6472307B2 (ja) * 2014-04-17 2019-02-20 キヤノン株式会社 撮像装置
JP2017121679A (ja) * 2016-01-06 2017-07-13 ファナック株式会社 ワイヤ放電加工機
JP7319597B2 (ja) * 2020-09-23 2023-08-02 トヨタ自動車株式会社 車両運転支援装置
US11496728B2 (en) * 2020-12-15 2022-11-08 Waymo Llc Aperture health monitoring mode
CN113963321B (zh) * 2021-10-27 2023-08-04 阿波罗智联(北京)科技有限公司 图像处理方法、装置、电子设备和介质
WO2023077426A1 (en) * 2021-11-05 2023-05-11 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing device, imaging device, and program
WO2023112259A1 (ja) * 2021-12-16 2023-06-22 株式会社Fuji 画像処理装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63221766A (ja) 1987-03-11 1988-09-14 Canon Inc 画像読取装置
JPH04271663A (ja) 1991-02-27 1992-09-28 Tokyo Electric Co Ltd イメージスキャナー
JPH087332A (ja) * 1994-06-16 1996-01-12 Olympus Optical Co Ltd 情報記録媒体及び読取装置
JPH0951459A (ja) 1995-08-03 1997-02-18 Sanyo Electric Co Ltd ビデオカメラ
US6125213A (en) 1997-02-17 2000-09-26 Canon Kabushiki Kaisha Image processing method, an image processing apparatus, and a storage medium readable by a computer
JP3785520B2 (ja) * 1997-03-19 2006-06-14 コニカミノルタホールディングス株式会社 電子カメラ
JPH1127475A (ja) 1997-07-01 1999-01-29 Sharp Corp 画像読取方法および装置
US6529618B1 (en) * 1998-09-04 2003-03-04 Konica Corporation Radiation image processing apparatus
US6625318B1 (en) * 1998-11-13 2003-09-23 Yap-Peng Tan Robust sequential approach in detecting defective pixels within an image sensor
JP2000217039A (ja) * 1999-01-21 2000-08-04 Sanyo Electric Co Ltd 点欠陥検出方法および点欠陥画素値補正方法
JP3461482B2 (ja) 1999-02-24 2003-10-27 オリンパス光学工業株式会社 デジタルカメラ及びデジタルカメラのゴミ位置検出方法
US7215372B2 (en) * 2002-05-17 2007-05-08 Olympus Corporation Optical apparatus having dust off function
JP4167401B2 (ja) * 2001-01-12 2008-10-15 富士フイルム株式会社 ディジタル・カメラおよびその動作制御方法
JP2002374445A (ja) * 2001-06-12 2002-12-26 Nikon Corp 電子カメラ
JP4574075B2 (ja) * 2001-07-10 2010-11-04 キヤノン株式会社 異物付着判定装置及び異物付着判定方法
JP2003209749A (ja) * 2002-01-11 2003-07-25 Olympus Optical Co Ltd 撮像装置
US7492408B2 (en) * 2002-05-17 2009-02-17 Olympus Corporation Electronic imaging apparatus with anti-dust function
JP2003338926A (ja) 2002-05-21 2003-11-28 Canon Inc 画像処理方法及び画像処理装置
JP2004112010A (ja) 2002-09-13 2004-04-08 Canon Inc 画像読み取り装置及び該装置の制御プログラム
JP3849636B2 (ja) * 2002-11-19 2006-11-22 コニカミノルタフォトイメージング株式会社 撮像装置
EP2461576B1 (en) 2002-12-27 2016-05-11 Nikon Corporation Image processing apparatus and image processing program
JP4466017B2 (ja) * 2002-12-27 2010-05-26 株式会社ニコン 画像処理装置および画像処理プログラム

Also Published As

Publication number Publication date
US7598991B2 (en) 2009-10-06
EP1667434A1 (en) 2006-06-07
WO2005022901A1 (ja) 2005-03-10
JP4196124B2 (ja) 2008-12-17
US8098305B2 (en) 2012-01-17
US20060146178A1 (en) 2006-07-06
EP2448245A2 (en) 2012-05-02
EP1667434A4 (en) 2009-11-18
EP2448245A3 (en) 2015-07-22
US20090316002A1 (en) 2009-12-24

Similar Documents

Publication Publication Date Title
JP4196124B2 (ja) 撮像系診断装置、撮像系診断プログラム、撮像系診断プログラム製品、および撮像装置
JP4186699B2 (ja) 撮像装置および画像処理装置
US8208043B2 (en) Lens cleaning warning system and method
US7991241B2 (en) Image processing apparatus, control method therefor, and program
EP1583356B1 (en) Image processing device and image processing program
JP5596138B2 (ja) 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム
TWI511546B (zh) 灰塵檢測系統及數位相機
JP4466015B2 (ja) 画像処理装置および画像処理プログラム
JP5237978B2 (ja) 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
JPH07151946A (ja) カメラ
EP2324458A1 (en) System and method to generate depth data using edge detection
US8576306B2 (en) Image sensing apparatus, image processing apparatus, control method, and computer-readable medium
JP4419479B2 (ja) 画像処理装置および画像処理プログラム
JP4466017B2 (ja) 画像処理装置および画像処理プログラム
JP4695571B2 (ja) 撮像装置および撮像方法
JP4438363B2 (ja) 画像処理装置および画像処理プログラム
JP6426323B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP4466016B2 (ja) 画像処理装置および画像処理プログラム
KR100252159B1 (ko) 디지털스틸카메라
JP4587717B2 (ja) デジタルカメラ
JP2002290811A (ja) 撮像装置及び画像処理方法及び画像処理プログラム及び情報記録媒体
JP2982073B2 (ja) カメラの制御装置
JPH07154660A (ja) カメラ

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080804

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080902

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080915

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141010

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141010

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141010

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees