JPWO2005022901A1 - 撮像系診断装置、撮像系診断プログラム、撮像系診断プログラム製品、および撮像装置 - Google Patents
撮像系診断装置、撮像系診断プログラム、撮像系診断プログラム製品、および撮像装置 Download PDFInfo
- Publication number
- JPWO2005022901A1 JPWO2005022901A1 JP2005513438A JP2005513438A JPWO2005022901A1 JP WO2005022901 A1 JPWO2005022901 A1 JP WO2005022901A1 JP 2005513438 A JP2005513438 A JP 2005513438A JP 2005513438 A JP2005513438 A JP 2005513438A JP WO2005022901 A1 JPWO2005022901 A1 JP WO2005022901A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- unit
- monitoring
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 99
- 230000003287 optical effect Effects 0.000 claims abstract description 95
- 238000012544 monitoring process Methods 0.000 claims abstract description 72
- 230000007547 defect Effects 0.000 claims abstract description 22
- 230000002950 deficient Effects 0.000 claims abstract description 10
- 238000004140 cleaning Methods 0.000 claims description 20
- 239000000463 material Substances 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 abstract description 3
- 239000000428 dust Substances 0.000 description 138
- 238000012545 processing Methods 0.000 description 61
- 238000000034 method Methods 0.000 description 47
- 239000010813 municipal solid waste Substances 0.000 description 43
- 238000002834 transmittance Methods 0.000 description 40
- 230000008569 process Effects 0.000 description 21
- 238000003745 diagnosis Methods 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000010606 normalization Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000009825 accumulation Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 5
- 238000012015 optical character recognition Methods 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 230000006837 decompression Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000011514 reflex Effects 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 206010040925 Skin striae Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000003705 background correction Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000035699 permeability Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明の第2の態様によると、撮像系診断装置は、光学系を通して、非合焦状態で撮影された画像を取得する画像取得部と、画像に基づいて、光路途中に含まれる異物を監視する監視部とを備える。
本発明の第3の態様によると、第1、2の態様のいずれかの撮像系診断装置において、監視部は、光路途中に含まれる異物の量を監視するのが好ましい。
本発明の第4の態様によると、第3の態様の撮像系診断装置において、監視部は、画像取得部により取得した画像に基づいて異物による画素の欠陥情報を作成し、作成した欠陥情報から画像中に占める欠陥画素の面積率を算出して、異物の量を監視するのが好ましい。
本発明の第5の態様によると、第4の態様の撮像系診断装置において、監視部は、欠陥画素の面積率が所定値を超えたとき、撮影者に対しその旨の警告通知を行うのが好ましい。
本発明の第6の態様によると、撮像系診断装置は、画像を取得する画像取得部と、画像取得部により取得した画像に基づいて、光路途中に含まれる異物による画素の欠陥情報を作成し、作成した欠陥情報から画像中に占める欠陥画素の面積率を算出して光路途中に含まれる異物の量を監視し、欠陥画素の面積率が所定値を超えたとき、撮影者に対しその旨の警告通知を行う監視部とを備える。
本発明の第7の態様によると、第5または6の態様の撮像系診断装置において、警告通知は、異物の物理的な清掃を勧告する旨の警告であるのが好ましい。
本発明の第8の態様によると、第1〜7の態様のいずれかの撮像系診断装置において、監視部は、異物を複数の種類に分類して監視するのが好ましい。
本発明の第9の態様によると、第5または6の態様の撮像系診断装置において、監視部は、画像取得部により取得した画像を構成する各画素において、着目画素の値と該着目画素を含む所定範囲内の複数の画素の値の平均値との相対比を算出し、該相対比に基づいて画像内の欠陥情報を作成し、欠陥情報に基づいて異物の量を監視するのが好ましい。
本発明の第10の態様によると、第9の態様の撮像系診断装置において、監視部は、相対比を1とは異なる複数の閾値と比較し、相対比が閾値より1から離れる側の値である場合の画素の面積率を複数の閾値ごとに算出し、算出した面積率が所定の面積率を超えたか否かを複数の閾値ごとに判定するのが好ましい。
本発明の第11の態様によると、第10の態様の撮像系診断装置において、監視部は、複数の閾値に対して算出された面積率の何れかが所定の面積率を超えているとき、撮影者に対して警告通知を行うのが好ましい。
本発明の第12の態様によると、第11の態様の撮像系診断装置において、監視部は、相対比と比較する閾値が1に比べて小さく設定されているほど、所定の面積率を小さく設定するのが好ましい。
本発明の第13の態様によると、第1の態様の撮像系診断装置において、所定の絞り値よりも絞り込んだ状態の絞り値は、実質的に最も絞り込んだ状態の絞り値であるのが好ましい。
本発明の第14の態様によると、撮像装置は、可変な絞りを有する光学系を通して被写体を撮像する撮像部と、光学系から撮像部にかけての光路途中の異物を監視する異物監視モードを設定するモード設定部と、異物監視モードが設定されているとき、光学系の絞りを所定の絞り値よりも絞り込んだ状態の絞り値に制御する絞り制御部と、異物監視モードが設定されているとき、光学系が所定の絞り値よりも絞り込んだ状態の絞り値で撮像部により撮像された画像に基づき、異物を監視する監視部とを備える。
本発明の第15の態様によると、第14の態様の撮像装置において、所定の絞り値よりも絞り込んだ状態の絞り値は、実質的に最も絞り込んだ状態の絞り値であるのが好ましい。
本発明の第16の態様によると、撮像装置は、光学系を通して被写体を撮像する撮像部と、光学系から撮像部にかけての光路途中の異物を監視する異物監視モードを設定するモード設定部と、異物監視モードが設定されているとき、撮影者に対して至近被写体の撮像を指示する指示部と、異物監視モードが設定されているとき、光学系の焦点を無限遠に設定する焦点制御部と、異物監視モードが設定されているとき、光学系の焦点が無限遠に設定された状態で撮像部により至近被写体を撮像して取得された画像に基づき、異物を監視する監視部とを備える。
本発明の第17の態様によると、光学系の焦点を自動制御する焦点制御部と、光学系を通して被写体を撮像する撮像部と、光学系から前記撮像部にかけての光路途中の異物を監視する異物監視モードを設定するモード設定部と、異物監視モードが設定されているとき、撮像部により撮像された画像に基づき、異物を監視する監視部とを備える撮像装置は、焦点制御部は、異物監視モードが設定されているとき、光学系の焦点を合焦状態から非合焦状態に設定し、監視部は、光学系の焦点が非合焦状態に設定された状態で撮像部により撮像された画像に基づき、異物を監視する。
本発明の第18の態様によると、第15〜17の態様のいずれかの撮像装置において、監視部は、光路途中に含まれる異物の量を監視するのが好ましい。
本発明の第19の態様によると、撮像系診断プログラムは、第1〜13の態様のいずれかの撮像系診断装置の機能をコンピュータに実行させる。
本発明の第20の態様によると、撮像系診断プログラム製品は、第19の態様のプログラムを有する。
電子カメラでは、図1に示されるように撮像素子前部の光学フィルタ面上に通常使用環境において多数のゴミが付着しているのが普通である。ゴミの種類としては小さいゴミから大きなゴミまで種々あり、小さいゴミに至っては数百から数千個レベルのゴミが付着している。また、特に交換レンズ系の一眼レフカメラでは、刻一刻と付着状況が変わっていき、放置すれば相当な個数のゴミが蓄積されていく。一般に、小さなゴミは透過率が大きく、一個当たりの占有面積は小さいのに対し、大きなゴミは透過率も小さく一個当たりの専有面積も大きい。
図1は、交換レンズ方式の一眼レフ電子スチルカメラ(以下、電子カメラと言う)の構成を示す図である。電子カメラ1は、カメラ本体2とマウント式交換レンズからなる可変光学系3を有する。可変光学系3は、内部にレンズ4と絞り5を有する。レンズ4は複数の光学レンズ群から構成されるが、図では代表して1枚のレンズで表し、そのレンズ4の位置を主瞳位置と言う(以下、単に瞳位置と言う)。可変光学系3は、ズームレンズであってもよい。瞳位置は、レンズ種やズームレンズのズーム位置によって決まる値である。焦点距離によって変わることもある。
図3に基づいて、撮像面に付着したゴミを監視し、ゴミ付着量を診断する処理について説明する。図3は撮影した基準画像を元に撮像面等に付着したゴミ付着量を診断し、ゴミの蓄積量が通常使用における限度を超えた場合に、ユーザーに対して通知を行う処理のフローチャートである。
ステップS1にて電子カメラ1に「ゴミ診断モード(異物監視モード)」が設定されているか否かを判断する。ゴミ診断モードとは、電子カメラ1のゴミ診断を行うときに設定するモードであって、ユーザーが以下に説明する基準画像の撮影を行う際に設定するモードである。このゴミ診断モードが設定されると、電子カメラ1は基準画像の撮影を行うために必要な電子カメラ1の設定を自動で行い、かつ、ユーザーに対して基準画像撮影の指示を出す。この指示はモニタ21にメッセージを表示する方法や音声によって指示を行う方法が考えられる。
次に、ステップS20において輝度面の生成を行う。基準画像データの各画素[i,j]について、次の式(1)を使用して、RGB信号から輝度信号を生成する。[i,j]は画素の位置を示す。
Y[i,j]=(R[i,j]+2*G[i,j]+B[i,j])/4...(1)
RGB各面で個別に解析することも可能であるが、基本的にゴミ影の影響は信号の減衰を生じるのみで、色成分に関係ない。従って、ここでは全ての情報を有効に使いつつ、ランダムノイズの影響を低減させることが可能な輝度成分への変換を行っている。また、そうすることにより、RGB3面から輝度成分単面だけの解析で済み、高速化が図れる。輝度成分生成比率は上記に限らず、R:G:B=0.3:0.6:0.1等であってもよい。
ステップS30では、以下の処理からなる透過率マップの生成(ゲインマップ抽出)を行う。
基準画像データは、上述したように必ずしも完全に一様なものでない。従って、生成した輝度面も完全に一様ではない。このような輝度面に対して、局所的な画素値の規格化(正規化)処理を行って、各画素の透過率信号T[i,j]を、次式(2)を使用して算出する。すなわち、着目画素[i,j]の値とこの画素を含む局所範囲の画素平均値との相対比を各々の画素についてとる。これにより一様面データに含まれるグラデーション、シェーディング等の不均一性はアルゴリズム的に問題なく排除され、肝心のゴミ影による透過率の低下のみを抽出することができる。このようにして求めた画像全面の透過率を透過率マップ(ゲインマップ)と言う。透過率マップは、基準画像の欠陥情報を示すものである。なお、画素値とは、各画素における色成分の色信号(色情報)や輝度信号(輝度情報)の値である。例えば、1バイトで表される場合、0〜255の値を取る。
T[i,j]={4*T[i,j]
+2*(T[i−1,j]+T[i+1,j]+T[i,j−1]+T[i,j+1])
+1*(T[i−1,j−1]+T[i−1,j+1]+T[i+1,j−1]+T[i+1,j+1])}/16 ...(3)
前述の透過率マップに含まれるゴミ情報とランダムノイズを区別するため、前述の局所的規格化処理により得られた透過率マップの画像全面について、平均値Mを次式(4)により求め、標準偏差σを次式(5)により求める統計解析を行う。なお、Nx,Nyは、x方向、y方向の総画素数を表す。
基本的に透過率マップに占めるゴミ信号の面積的な割合は十分に小さく、3−2)で統計解析した結果は、透過率信号の量子論的揺らぎに伴うランダムノイズ(ショットノイズ)を評価していると考えられる。図4における符号45部分を拡大した符号46は、この細かいランダムノイズがある様子を示している。透過率マップのヒストグラムをとると、平均値M(Mはほぼ1に近い値)を中心に標準偏差σの正規分布した形となる。図5は、透過率マップのヒストグラムを示す図である。この揺らぎの範囲はゴミ影による透過率の変化を受けていないと考えられるため、強制的に透過率を1に設定してよい。すなわち、次の条件(6)(7)により閾値判定を行う。
if |T[i,j]−M|≦3σ then T[i,j]=1 ...(6)
else T[i,j]=T[i,j]...(7)
if |T[i,j]−M|≦3σ then T[i,j]=1 ...(8)
else if T[i,j]>1 then T[i,j]=1 ...(9)
else T[i,j]=T[i,j]...(10)
判定に使う平均値Mは常に1に近い値をとるため、1に置き換えてもよい。
ステップS40において、図6に示すフローチャートに従ってゴミ蓄積量の監視を行う。上記で高感度に検出された透過率マップを使って、ゴミの影響を受けた画素の数を計数し、総画素数に対する面積率を算出する。このとき、透過率でゴミの種類を分類し、各々について面積率を算定する。ここでは付着しているゴミの大きさに応じて図7に示す4種類のゴミに分別を行う。小さなゴミから大きなゴミまでを含む全てのゴミの分類を第1分類ゴミ7aとし、第1分類ゴミ7aが起因となって影響を受けていると考えられる画素の数をN1とする。第1分類ゴミ7aから非常に小さいゴミを除いたゴミの分類を第2分類ゴミ7bとし、第2分類ゴミ7bが起因となって影響を受けていると考えられる画素の数をN2とする。第2分類ゴミ7bから小さいゴミを除いたゴミの分類を第3分類ゴミ7cとし、第3分類ゴミ7cが起因となって影響を受けていると考えられる画素の数をN3とする。そして、大きいゴミのみを含む分類を第4分類ゴミ7dとし、第4分類ゴミ7dが起因となって影響を受けていると考えられる画素の数をN4とする。透過率の低下が小さいほど小さなゴミと考えられるので、以下に示す閾値の設定が1に近づくほど小さなゴミまでを含むように分類できる。
図6のステップS110において、各分類のゴミの影響を受けた画素の数をN1=0、N2=0、N3=0、N4=0と初期化する。
ステップS120において、以下の(11)(12)(13)(14)の条件に基づく透過率に対する閾値の判断を行い、ステップS120の判断に従って(11)(12)(13)(14)の式に示す通り各分類ごとのゴミの画素数N1(ステップS130)、N2(ステップS140)、N3(ステップS150)、N4(ステップS160)を算出する。ここで、透過率に対する閾値は、たとえばth1=0.95、th2=0.75、th3=0.50、th4=0.25などと設定する。このように閾値を設定してゴミの量を数えることによって、ゴミの大きさによって分類した第1分類ゴミ7a、第2分類ゴミ7b、第3分類ゴミ7c、第4分類ゴミ7dに対応したN1,N2、N3、N4を算出することができる。
if T[i,j]<th1 then N1=N1+1 ...(11)(第1分類ゴミ)
if T[i,j]<th2 then N2=N2+1 ...(12)(第2分類ゴミ)
if T[i,j]<th3 then N3=N3+1 ...(13)(第3分類ゴミ)
if T[i,j]<th4 then N4=N4+1 ...(14)(第4分類ゴミ)
なお、ここで閾値th1、th2、th3、th4を1より大きな値とし、それらの閾値よりも大きな値、すなわち1より離れる側の値の透過率を検出することで、図5で説明したとおり、脈理等の影響を受けた画素の数を算出することができ、光路途中に含まれるゴミ以外の光学部材の欠陥検出も行うことができる。
上記で算出したN1,N2,N3、N4に基づいて、ステップS170において、各分類ゴミの画素数から面積率への変換を行う。第1分類ゴミの面積率をR1、第2分類ゴミの面積率をR2、第3分類ゴミの面積率をR3、第4分類ゴミの面積率をR4とし、次式(15)(16)(17)(18)により、各分類ごとの面積率を算出する。
R1=N1/(総画素数) ...(15)
R2=N2/(総画素数) ...(16)
R3=N3/(総画素数) ...(17)
R4=N4/(総画素数) ...(18)
このようにして、複数種類のゴミに分別してゴミの量を監視することができる。R4は極めて大きなゴミのみが付着している蓄積量を表し、R1は小さなゴミから大きなゴミまで、付着している全てのゴミの蓄積量を表していると考えられる。
ステップS170で算出した各分類ゴミごとのゴミの蓄積量に対して、通常使用において問題となる限度を超える場合に、その通知をユーザーに対して行う。ステップS180では、次式(19)(20)の条件に基づく判断を行う。
if (R1>rate_th1 OR R2>rate_th2 OR R3>rate_th3 OR R4>rate_th4)
then 警告ON ...(19)
else 警告OFF ...(20)
上記の判定の結果、ゴミの蓄積量が条件を満たしていればステップS190においてユーザーに対して警告をする(以下、警告ON)決定を行い、ゴミの蓄積量が条件を満たしていない場合はステップS200にて警告を行わない(以下、警告OFF)決定を行う。
第2の実施の形態では、第1の実施の形態で使用した一様面を撮影して得られる基準画像に代わって、ピントを非合焦点に合わせて撮影した画像(以下、非合焦画像)を使用することによってゴミの蓄積量を算出し、ゴミの蓄積量が通常使用において問題となる限度を超える場合に必要に応じてユーザーへの通知を行う方法について説明する。
電子カメラ1および画像処理装置としてのPC31の構成を図2に基づいて説明する。なお、第1の実施の形態と共通する箇所については、その説明を省略する。
図8に基づいて、撮像面に付着したゴミを監視し、ゴミ付着量を診断する処理について説明する。図8は撮影した非合焦画像を元に撮像面に付着したゴミ付着量を診断し、ゴミの蓄積量が通常使用における限度を超えた場合に、ユーザーに対して通知を行う処理のフローチャートである。以下の処理は、電子カメラ1のメモリ18に格納されたプログラムを実行することにより行われる。
ステップS210でゴミ診断モードか否かの判断がされると、以下の手順にて非合焦画像の撮影が行われる。ここで一般的には、非合焦画像とはオートフォーカスで合焦より反対側に焦点を合わせて撮影した画像、ないしは合焦点の存在しない最短撮影距離より至近の被写体を撮影した画像のことである。これにより周囲に一様な被写体がない場合においても、第1の実施の形態における基準画像に相当するボケ画像を得ることができる。非合焦画像を撮影する際には、上記基準画像撮影時と同様に可変光学系3に用意された可変な範囲の中で最も絞り込んだ状態で撮影するものとする。最も絞り込んだ絞り値は、標準的なレンズでは例えばF22程度である。これによりあらゆるゴミが最も鮮明に写り込んだ情報を得ることができ、正確なゴミ付着量の判定を可能とする。
第2の実施の形態においては、ユーザーに対して至近の対象物を撮影するよう指示を出すと同時に、非合焦の方向すなわち無限遠へオートフォーカスを調整し非合焦画像を得た。しかし至近の対象物を撮影するように指示したにも関わらず、撮影者が遠方にある対象物を撮影した場合には合焦となってしまい、ゴミの付着量を監視するための非合焦画像の撮影が困難となる。このような場合に対応すべく、第3の実施の形態においては、無限遠にオートフォーカスを調整したにも関わらず合焦となってしまった場合には、オートフォーカス制御部は無限遠とは逆の方向、すなわち近接(最短撮影距離)側へオートフォーカスを設定し、自動的に非合焦画像を得るべく制御を行う方法について説明する。
電子カメラ1および画像処理装置としてのPC31の構成については、第2の実施の形態と共通するため、その説明を省略する。
図9に基づいて、撮像面に付着したゴミを監視し、ゴミ付着量を診断する処理について説明する。図9は撮影した非合焦画像を元に撮像面に付着したゴミ付着量を診断し、ゴミの蓄積量が通常使用における限度を超えた場合に、ユーザーに対して通知を行う処理のフローチャートである。以下の処理は、電子カメラ1のメモリ18に格納されたプログラムを実行することにより行われる。
ステップS310でゴミ診断モードか否かの判断がされると、以下の手順にて非合焦画像の撮影が行われる。なお、本実施の形態においても、第1、第2の実施の形態同様、非合焦画像を撮影する際には、可変光学系3に用意された可変な範囲の中で最も絞り込んだ状態で撮影するものとする。
第2、第3の実施の形態においては、非合焦画像を撮影するためにまずユーザーに対して至近の対象物を撮影するよう指示を出していた。しかし、電子カメラ1に接続されている可変光学系3が望遠レンズや接写用マイクロレンズの場合は、撮影する対象物までの距離に関係なくオートフォーカスの合焦点と正反対方向の端部にフォーカス位置を制御するだけで、十分に非合焦画像にふさわしい画像を得ることができる。このためユーザーに対して至近の対象物を撮影するよう指示する必要はない。この点を考慮して、第4の実施の形態においては、接続されている可変光学系3の種類によっては、電子カメラ1はユーザーに至近の対象物の撮影する指示を行わず、自動で非合焦画像を得るようコントロールする方法について説明する。
電子カメラ1および画像処理装置としてのPC31の構成については、第2の実施の形態と共通するため、その説明を省略する。
図10に基づいて、撮像面に付着したゴミを監視し、ゴミ付着量を診断する処理について説明する。図10は撮影した非合焦画像を元に撮像面に付着したゴミ付着量を診断し、ゴミの蓄積量が通常使用における限度を超えた場合に、ユーザーに対して通知を行う処理のフローチャートである。以下の処理は、電子カメラ1のメモリ18に格納されたプログラムを実行することにより行われる。
ステップS410でゴミ診断モードか否かの判断がされると、以下の手順にて非合焦画像の撮影が行われる。なお、本実施の形態においても、第1、第2、第3の実施の形態同様、非合焦画像を撮影する際には、可変光学系3に用意された可変な範囲の中で最も絞り込んだ状態で撮影するものとする。
なお、上記第1の実施の形態における「1)基準画像の撮影」、および第2〜第4の実施の形態における「1)非合焦画像の撮影」を電子カメラ1で行った後、撮影した画像をPC31へ取り込み、上記2)〜5)の処理をPC側で行うようにしてもよい。この場合電子カメラ1で撮影された基準画像あるいは非合焦画像は、メモリカード30を介してPC31に提供される。あるいは、外部インターフェース23および所定のケーブルや無線伝送路を介してPC31に提供されることになる。
日本国特許出願2003年第307354号(2003年8月29日出願)
Claims (20)
- 撮像系診断装置であって、
可変な絞りを有する光学系を通して、所定の絞り値よりも絞り込んだ状態の絞り値で一様面を撮影した画像を取得する画像取得部と、
前記画像に基づいて、光路途中に含まれる異物を監視する監視部とを備える。 - 撮像系診断装置であって、
光学系を通して、非合焦状態で撮影された画像を取得する画像取得部と、
前記画像に基づいて、光路途中に含まれる異物を監視する監視部とを備える。 - 請求項1、2のいずれかに記載の撮像系診断装置において、
前記監視部は、光路途中に含まれる前記異物の量を監視する。 - 請求項3に記載の撮像系診断装置において、
前記監視部は、前記画像取得部により取得した画像に基づいて異物による画素の欠陥情報を作成し、前記作成した欠陥情報から画像中に占める欠陥画素の面積率を算出して、異物の量を監視する。 - 請求項4に記載の撮像系診断装置において、
前記監視部は、前記欠陥画素の面積率が所定値を超えたとき、撮影者に対しその旨の警告通知を行う。 - 撮像系診断装置であって、
画像を取得する画像取得部と、
前記画像取得部により取得した画像に基づいて、光路途中に含まれる異物による画素の欠陥情報を作成し、前記作成した欠陥情報から画像中に占める欠陥画素の面積率を算出して前記光路途中に含まれる異物の量を監視し、前記欠陥画素の面積率が所定値を超えたとき、撮影者に対しその旨の警告通知を行う監視部とを備える。 - 請求項5または6に記載の撮像系診断装置において、
前記警告通知は、異物の物理的な清掃を勧告する旨の警告である。 - 請求項1〜7のいずれか一項に記載の撮像系診断装置において、
前記監視部は、前記異物を複数の種類に分類して監視する。 - 請求項5または6に記載の撮像系診断装置において、
前記監視部は、前記画像取得部により取得した画像を構成する各画素において、着目画素の値と該着目画素を含む所定範囲内の複数の画素の値の平均値との相対比を算出し、該相対比に基づいて前記画像内の欠陥情報を作成し、前記欠陥情報に基づいて異物の量を監視する。 - 請求項9に記載の撮像系診断装置において、
前記監視部は、前記相対比を1とは異なる複数の閾値と比較し、相対比が閾値より1から離れる側の値である場合の画素の面積率を複数の閾値ごとに算出し、前記算出した面積率が所定の面積率を超えたか否かを前記複数の閾値ごとに判定する。 - 請求項10に記載の撮像系診断装置において、
前記監視部は、前記複数の閾値に対して算出された面積率の何れかが所定の面積率を超えているとき、撮影者に対して警告通知を行う。 - 請求項11に記載の撮像系診断装置において、
前記監視部は、前記相対比と比較する閾値が1に比べて小さく設定されているほど、前記所定の面積率を小さく設定する。 - 請求項1に記載の撮像系診断装置において、
前記所定の絞り値よりも絞り込んだ状態の絞り値は、実質的に最も絞り込んだ状態の絞り値である。 - 撮像装置であって、
可変な絞りを有する光学系を通して被写体を撮像する撮像部と、
前記光学系から前記撮像部にかけての光路途中の異物を監視する異物監視モードを設定するモード設定部と、
前記異物監視モードが設定されているとき、前記光学系の絞りを所定の絞り値よりも絞り込んだ状態の絞り値に制御する絞り制御部と、
前記異物監視モードが設定されているとき、前記光学系が所定の絞り値よりも絞り込んだ状態の絞り値で前記撮像部により撮像された画像に基づき、前記異物を監視する監視部とを備える。 - 請求項14に記載の撮像装置において、
前記所定の絞り値よりも絞り込んだ状態の絞り値は、実質的に最も絞り込んだ状態の絞り値である。 - 撮像装置であって、
光学系を通して被写体を撮像する撮像部と、
前記光学系から前記撮像部にかけての光路途中の異物を監視する異物監視モードを設定するモード設定部と、
前記異物監視モードが設定されているとき、撮影者に対して至近被写体の撮像を指示する指示部と、
前記異物監視モードが設定されているとき、前記光学系の焦点を無限遠に設定する焦点制御部と、
前記異物監視モードが設定されているとき、前記光学系の焦点が無限遠に設定された状態で前記撮像部により至近被写体を撮像して取得された画像に基づき、前記異物を監視する監視部とを備える。 - 光学系の焦点を自動制御する焦点制御部と、
前記光学系を通して被写体を撮像する撮像部と、
前記光学系から前記撮像部にかけての光路途中の異物を監視する異物監視モードを設定するモード設定部と、
前記異物監視モードが設定されているとき、前記撮像部により撮像された画像に基づき、前記異物を監視する監視部とを備える撮像装置であって、
前記焦点制御部は、前記異物監視モードが設定されているとき、前記光学系の焦点を合焦状態から非合焦状態に設定し、
前記監視部は、前記光学系の焦点が非合焦状態に設定された状態で前記撮像部により撮像された画像に基づき、前記異物を監視する。 - 請求項15〜17のいずれか一項に記載の撮像装置において、
前記監視部は、光路途中に含まれる前記異物の量を監視する。 - 撮像系診断プログラムであって、
請求項1〜13のいずれか一項に記載の撮像系診断装置の機能をコンピュータに実行させる。 - 撮像系診断プログラム製品であって、
請求項19に記載のプログラムを有する。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003307354 | 2003-08-29 | ||
JP2003307354 | 2003-08-29 | ||
PCT/JP2004/012168 WO2005022901A1 (ja) | 2003-08-29 | 2004-08-25 | 撮像系診断装置、撮像系診断プログラム、撮像系診断プログラム製品、および撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2005022901A1 true JPWO2005022901A1 (ja) | 2007-11-01 |
JP4196124B2 JP4196124B2 (ja) | 2008-12-17 |
Family
ID=34269437
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005513438A Expired - Fee Related JP4196124B2 (ja) | 2003-08-29 | 2004-08-25 | 撮像系診断装置、撮像系診断プログラム、撮像系診断プログラム製品、および撮像装置 |
Country Status (4)
Country | Link |
---|---|
US (2) | US7598991B2 (ja) |
EP (2) | EP1667434A4 (ja) |
JP (1) | JP4196124B2 (ja) |
WO (1) | WO2005022901A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4640108B2 (ja) * | 2005-10-25 | 2011-03-02 | 株式会社ニコン | カメラ |
JP4695571B2 (ja) * | 2006-09-14 | 2011-06-08 | 三星電子株式会社 | 撮像装置および撮像方法 |
US7817874B2 (en) * | 2006-12-06 | 2010-10-19 | Micron Technology, Inc. | Image sensor occlusion localization and correction apparatus, systems, and methods |
EP2018047A1 (en) * | 2007-06-15 | 2009-01-21 | IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. | Method for contamination detection in a TOF range camera |
US8103121B2 (en) | 2007-08-31 | 2012-01-24 | Adobe Systems Incorporated | Systems and methods for determination of a camera imperfection for an image |
US8109442B2 (en) | 2008-12-23 | 2012-02-07 | Gtech Corporation | Optical reader quality factor |
JP2011078047A (ja) * | 2009-10-02 | 2011-04-14 | Sanyo Electric Co Ltd | 撮像装置 |
DE102009049203B4 (de) * | 2009-10-13 | 2016-10-13 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Diagnoseeinheit für eine elektronische Kamera und Kamerasystem |
JP5683099B2 (ja) * | 2009-12-18 | 2015-03-11 | キヤノン株式会社 | 画像読取装置、画像読取装置の制御方法、およびプログラム |
TW201326799A (zh) * | 2011-12-21 | 2013-07-01 | Hon Hai Prec Ind Co Ltd | 相機模組污點測試系統及其測試方法 |
US9313379B2 (en) * | 2012-09-24 | 2016-04-12 | Illinois State Toll Highway Authority | Camera washing system |
US9076363B2 (en) * | 2013-01-07 | 2015-07-07 | Apple Inc. | Parallel sensing configuration covers spectrum and colorimetric quantities with spatial resolution |
EP3023962B1 (en) * | 2013-07-18 | 2020-08-19 | Clarion Co., Ltd. | Vehicle-mounted device |
WO2015104915A1 (ja) * | 2014-01-10 | 2015-07-16 | 日立オートモティブシステムズ株式会社 | 車載カメラ画像処理装置 |
JP6472307B2 (ja) * | 2014-04-17 | 2019-02-20 | キヤノン株式会社 | 撮像装置 |
JP2017121679A (ja) * | 2016-01-06 | 2017-07-13 | ファナック株式会社 | ワイヤ放電加工機 |
JP7319597B2 (ja) * | 2020-09-23 | 2023-08-02 | トヨタ自動車株式会社 | 車両運転支援装置 |
US11496728B2 (en) * | 2020-12-15 | 2022-11-08 | Waymo Llc | Aperture health monitoring mode |
CN113963321B (zh) * | 2021-10-27 | 2023-08-04 | 阿波罗智联(北京)科技有限公司 | 图像处理方法、装置、电子设备和介质 |
WO2023077426A1 (en) * | 2021-11-05 | 2023-05-11 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image processing device, imaging device, and program |
WO2023112259A1 (ja) * | 2021-12-16 | 2023-06-22 | 株式会社Fuji | 画像処理装置 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63221766A (ja) | 1987-03-11 | 1988-09-14 | Canon Inc | 画像読取装置 |
JPH04271663A (ja) | 1991-02-27 | 1992-09-28 | Tokyo Electric Co Ltd | イメージスキャナー |
JPH087332A (ja) * | 1994-06-16 | 1996-01-12 | Olympus Optical Co Ltd | 情報記録媒体及び読取装置 |
JPH0951459A (ja) | 1995-08-03 | 1997-02-18 | Sanyo Electric Co Ltd | ビデオカメラ |
US6125213A (en) | 1997-02-17 | 2000-09-26 | Canon Kabushiki Kaisha | Image processing method, an image processing apparatus, and a storage medium readable by a computer |
JP3785520B2 (ja) * | 1997-03-19 | 2006-06-14 | コニカミノルタホールディングス株式会社 | 電子カメラ |
JPH1127475A (ja) | 1997-07-01 | 1999-01-29 | Sharp Corp | 画像読取方法および装置 |
US6529618B1 (en) * | 1998-09-04 | 2003-03-04 | Konica Corporation | Radiation image processing apparatus |
US6625318B1 (en) * | 1998-11-13 | 2003-09-23 | Yap-Peng Tan | Robust sequential approach in detecting defective pixels within an image sensor |
JP2000217039A (ja) * | 1999-01-21 | 2000-08-04 | Sanyo Electric Co Ltd | 点欠陥検出方法および点欠陥画素値補正方法 |
JP3461482B2 (ja) | 1999-02-24 | 2003-10-27 | オリンパス光学工業株式会社 | デジタルカメラ及びデジタルカメラのゴミ位置検出方法 |
US7215372B2 (en) * | 2002-05-17 | 2007-05-08 | Olympus Corporation | Optical apparatus having dust off function |
JP4167401B2 (ja) * | 2001-01-12 | 2008-10-15 | 富士フイルム株式会社 | ディジタル・カメラおよびその動作制御方法 |
JP2002374445A (ja) * | 2001-06-12 | 2002-12-26 | Nikon Corp | 電子カメラ |
JP4574075B2 (ja) * | 2001-07-10 | 2010-11-04 | キヤノン株式会社 | 異物付着判定装置及び異物付着判定方法 |
JP2003209749A (ja) * | 2002-01-11 | 2003-07-25 | Olympus Optical Co Ltd | 撮像装置 |
US7492408B2 (en) * | 2002-05-17 | 2009-02-17 | Olympus Corporation | Electronic imaging apparatus with anti-dust function |
JP2003338926A (ja) | 2002-05-21 | 2003-11-28 | Canon Inc | 画像処理方法及び画像処理装置 |
JP2004112010A (ja) | 2002-09-13 | 2004-04-08 | Canon Inc | 画像読み取り装置及び該装置の制御プログラム |
JP3849636B2 (ja) * | 2002-11-19 | 2006-11-22 | コニカミノルタフォトイメージング株式会社 | 撮像装置 |
EP2461576B1 (en) | 2002-12-27 | 2016-05-11 | Nikon Corporation | Image processing apparatus and image processing program |
JP4466017B2 (ja) * | 2002-12-27 | 2010-05-26 | 株式会社ニコン | 画像処理装置および画像処理プログラム |
-
2004
- 2004-08-25 JP JP2005513438A patent/JP4196124B2/ja not_active Expired - Fee Related
- 2004-08-25 EP EP04772129A patent/EP1667434A4/en not_active Ceased
- 2004-08-25 EP EP12151692.6A patent/EP2448245A3/en not_active Withdrawn
- 2004-08-25 WO PCT/JP2004/012168 patent/WO2005022901A1/ja active Application Filing
-
2006
- 2006-02-27 US US11/362,235 patent/US7598991B2/en not_active Expired - Fee Related
-
2009
- 2009-08-28 US US12/461,946 patent/US8098305B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US7598991B2 (en) | 2009-10-06 |
EP1667434A1 (en) | 2006-06-07 |
WO2005022901A1 (ja) | 2005-03-10 |
JP4196124B2 (ja) | 2008-12-17 |
US8098305B2 (en) | 2012-01-17 |
US20060146178A1 (en) | 2006-07-06 |
EP2448245A2 (en) | 2012-05-02 |
EP1667434A4 (en) | 2009-11-18 |
EP2448245A3 (en) | 2015-07-22 |
US20090316002A1 (en) | 2009-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4196124B2 (ja) | 撮像系診断装置、撮像系診断プログラム、撮像系診断プログラム製品、および撮像装置 | |
JP4186699B2 (ja) | 撮像装置および画像処理装置 | |
US8208043B2 (en) | Lens cleaning warning system and method | |
US7991241B2 (en) | Image processing apparatus, control method therefor, and program | |
EP1583356B1 (en) | Image processing device and image processing program | |
JP5596138B2 (ja) | 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム | |
TWI511546B (zh) | 灰塵檢測系統及數位相機 | |
JP4466015B2 (ja) | 画像処理装置および画像処理プログラム | |
JP5237978B2 (ja) | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 | |
JPH07151946A (ja) | カメラ | |
EP2324458A1 (en) | System and method to generate depth data using edge detection | |
US8576306B2 (en) | Image sensing apparatus, image processing apparatus, control method, and computer-readable medium | |
JP4419479B2 (ja) | 画像処理装置および画像処理プログラム | |
JP4466017B2 (ja) | 画像処理装置および画像処理プログラム | |
JP4695571B2 (ja) | 撮像装置および撮像方法 | |
JP4438363B2 (ja) | 画像処理装置および画像処理プログラム | |
JP6426323B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP4466016B2 (ja) | 画像処理装置および画像処理プログラム | |
KR100252159B1 (ko) | 디지털스틸카메라 | |
JP4587717B2 (ja) | デジタルカメラ | |
JP2002290811A (ja) | 撮像装置及び画像処理方法及び画像処理プログラム及び情報記録媒体 | |
JP2982073B2 (ja) | カメラの制御装置 | |
JPH07154660A (ja) | カメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080610 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080804 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080804 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080902 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080915 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141010 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141010 Year of fee payment: 6 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141010 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |