JPWO2018198916A1 - 画像処理装置、画像処理方法及び記憶媒体 - Google Patents

画像処理装置、画像処理方法及び記憶媒体 Download PDF

Info

Publication number
JPWO2018198916A1
JPWO2018198916A1 JP2019514430A JP2019514430A JPWO2018198916A1 JP WO2018198916 A1 JPWO2018198916 A1 JP WO2018198916A1 JP 2019514430 A JP2019514430 A JP 2019514430A JP 2019514430 A JP2019514430 A JP 2019514430A JP WO2018198916 A1 JPWO2018198916 A1 JP WO2018198916A1
Authority
JP
Japan
Prior art keywords
pixels
abnormal pixel
pixel
abnormal
output signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019514430A
Other languages
English (en)
Other versions
JP6838651B2 (ja
Inventor
晨暉 黄
晨暉 黄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2018198916A1 publication Critical patent/JPWO2018198916A1/ja
Application granted granted Critical
Publication of JP6838651B2 publication Critical patent/JP6838651B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

異常画素の検出精度を向上させる。画像処理装置100は、複数の画素から第1の方法に従って異常画素を特定する第1特定部110と、前記複数の画素のうち第1特定部110により特定された異常画素を除外した画素から、前記第1の方法と異なる第2の方法に従って第2の異常画素を特定する第2特定部120とを含む。

Description

本発明は、画像処理装置等に関する。
イメージセンサには、製造工程等に起因するさまざまな要因によって欠陥が生じる場合がある。例えば、イメージセンサを構成するセンサ素子には、半導体メサの傷や表面の歪みといった構造的要因や、回路間の接合断裂、素子間の接合短絡といった電気的要因による欠陥が生じ得る。
センサ素子の欠陥は、出力結果である画素に異常を生じさせる可能性がある。ここでいう異常は、本来出力されるべき輝度値よりも特異的に明るく又は暗くなったり、入射光又はその強度変化に対して応答しなかったりすることを意味する。説明の便宜上、以下においては、このような異常が生じる画素のことを「異常画素」、異常画素でない画素のことを「正常画素」という。
異常画素の検出に関連する技術の一例として、特許文献1〜3に記載された技術がある。特許文献1は、所定のパターンを被加工物上に投影する欠陥画素補償方法を開示している。特許文献2は、複数の判定方法に基づいて欠陥素子を判定する赤外線撮像装置を開示している。特許文献3は、固体撮像素子において発生した点滅欠陥画素を検出するための方法を開示している。
特表2005−510862号公報 特開2001−008100号公報 特許第3995511号公報
いくつかの場合に、正常画素と異常画素の区別が困難になる。例えば、1つのイメージセンサに異常画素が比較的多数生じるような場合には、正常画素と異常画素の区別が困難になる可能性がある。このような場合において、例えば特許文献3に開示された技術のように周辺画素を参照することによって画素の異常を検出すると、周辺画素にも異常画素が含まれるゆえに、検出の精度が低下するおそれがある。
本発明の例示的な目的は、異常画素の検出精度を向上させることにある。
一の態様において、複数の画素から第1の方法に従って異常画素を特定する第1の特定手段と、前記複数の画素のうち前記第1の特定手段により特定された異常画素を除外した画素から、前記第1の方法と異なる第2の方法に従って異常画素を特定する第2の特定手段とを含む画像処理装置が提供される。
別の態様において、複数の画素から第1の方法に従って第1の異常画素を特定し、前記複数の画素のうち前記第1の異常画素を除外した画素から、前記第1の方法と異なる第2の方法に従って第2の異常画素を特定する画像処理方法が提供される。
さらに別の態様において、コンピュータに、複数の画素から第1の方法に従って第1の異常画素を特定する処理と、前記複数の画素のうち前記第1の異常画素を除外した画素から、前記第1の方法と異なる第2の方法に従って第2の異常画素を特定する処理とを実行させるためのプログラムを記憶する記憶媒体が提供される。別の態様において、前述のプログラムが提供されてもよい。
本発明によれば、異常画素の検出精度が向上する。
図1は、画像処理装置の構成の一例を示すブロック図である。 図2は、画像処理装置の動作の一例を示すフローチャートである。 図3Aは、イメージセンサの出力特性(V)を示す度数分布の一例を示す。 図3Bは、イメージセンサの出力特性(ΔV/N)を示す度数分布の一例を示す。 図3Cは、イメージセンサの出力特性(V)を示す度数分布の別の例を示す。 図4は、画像処理装置の構成の別の例を示すブロック図である。 図5は、画像処理装置の構成のさらに別の例を示すブロック図である。 図6は、画像処理装置の動作の別の例を示すフローチャートである。 図7は、補正システムの構成の一例を示すブロック図である。 図8Aは、イメージセンサの出力特性(ΔV)を示す度数分布の一例を示す。 図8Bは、イメージセンサの出力特性(ΔV)を示す度数分布の別の例を示す。 図9は、異常画素を特定する手順を例示する。 図10は、異常画素の検出処理の一例を示すフローチャートである。 図11は、異常画素の補正処理の一例を示すフローチャートである。 図12Aは、画素の走査方法の一例を示す。 図12Bは、画素の走査方法の別の例を示す。 図12Cは、画素の走査方法のさらに別の例を示す。 図13は、コンピュータ装置のハードウェア構成の一例を示すブロック図である。
[第1実施形態]
図1は、一実施形態に係る画像処理装置100の構成を示すブロック図である。画像処理装置100は、少なくとも第1特定部110と第2特定部120とを含んで構成される。画像処理装置100は、必要に応じて他の構成を含んでもよい。
画像処理装置100は、複数の画素から正常画素を検出する。ここでいう複数の画素は、ある画像を構成する。複数の画素は、イメージセンサを構成する複数のセンサ素子からの出力に相当する。イメージセンサは、例えば、所定の規則で平面的に配置された複数のセンサ素子を有する。なお、イメージセンサは、可視光と不可視光(赤外線等)のいずれに感度を有するものであってもよい。ただし、以下においては、説明の便宜上、イメージセンサは可視光センサであるとする。
ここでいう異常画素は、正常画素でない画素を意味する。正常画素は、その出力が所定の基準を満たす画素を意味する。したがって、異常画素は、その出力が所定の基準を満たさない画素であるともいえる。なお、ここでいう異常画素は、欠陥画素(defective pixel(s))、不良画素(bad pixel(s))、欠損画素(本来あるべき情報が欠損した画素)と言い換えてもよい。
第1特定部110及び第2特定部120は、異常画素を特定する。第1特定部110及び第2特定部120は、異常画素の特定方法が異なる。説明の便宜上、以下においては、第1特定部110が用いる特定方法を「第1の方法」といい、第2特定部120が用いる特定方法を「第2の方法」という。第1の方法及び第2の方法は、必ずしも特定の方法に限定されない。第1の方法及び第2の方法は、方法自体は周知であってもよい。
また、説明の便宜上、以下においては、第1特定部110により特定される異常画素を「第1の異常画素」、第2特定部120により特定される異常画素を「第2の異常画素」ともいう。第1特定部110及び第2特定部120は、いずれも異常画素を特定する点においては共通するが、異常の判断基準(すなわち特定方法)が異なるといえる。したがって、ここでいう第1の異常画素及び第2の異常画素も、異常の判断基準が異なるだけであり、異常画素である点においては共通している。なお、第1の異常画素及び第2の異常画素は、いずれも1以上(典型的には複数)ある。
いくつかの場合において、第1特定部110及び第2特定部120は、異常画素を統計的に特定する。例えば、第1特定部110は、複数の画素の特性を所定の変量(以下「第1の変量」ともいう。)で表した場合の度数分布に基づいて第1の異常画素を特定する。
また、第2特定部120は、複数の画素の特性を第1の変量と異なる変量(以下「第2の変量」ともいう。)で表した場合の度数分布に基づいて第2の異常画素を特定する。第1の変量及び第2の変量は、例えば、第1の変量を用いた度数分布の方が第2の変量を用いた度数分布よりも正常画素と異常画素の区別が容易になるように選択される。
また、第1特定部110及び第2特定部120は、異常画素を段階的に特定するように構成される。具体的には、第2特定部120は、第1特定部110により第1の方法に従って異常画素が特定された後、第2の方法に従って、異常画素をさらに特定する。
より詳細には、第2特定部120は、画像処理装置100に入力される複数の画素のうち、第1の異常画素を除外した画素から第2の異常画素を特定する。したがって、正常画素は、画像処理装置100に入力される複数の画素のうち、第1特定部110に第1の異常画素であると特定されず、かつ第2特定部120にも第2の異常画素であると特定されなかった画素である。
例えば、画像処理装置100に入力される画素の総数をM、第1特定部110により特定された第1の異常画素の数をm1、第2特定部120により特定された第2の異常画素の数をm2とする。この場合、第2特定部120は、(M−m1)個の正常画素から第2の異常画素を特定する。また、異常画素の総数は(m1+m2)個であり、正常画素の総数は(M−m1−m2)個である。
画像処理装置100の構成は、以上のとおりである。この構成のもと、画像処理装置100は、入力される複数の画素から異常画素を検出する。換言すれば、画像処理装置100は、入力される複数の画素を正常画素と異常画素に区別する。画像処理装置100は、以下の動作によって異常画素を検出する。
図2は、画像処理装置100の動作を示すフローチャートである。ステップS11において、第1特定部110は、第1の方法に従って、入力された複数の画素から第1の異常画素を特定する。ステップS12において、第2特定部120は、入力された複数の画素のうちステップS11において特定された第1の異常画素を除外した画素から、第2の方法に従って第2の異常画素を特定する。
図3Aは、あるイメージセンサの出力特性を示す度数分布の一例を示す。この例において、出力信号Vは、所定の均一輝度の面光源を入射光とした場合の各画素の応答を意味する。出力信号Vは、画素値、輝度値などと言い換えてもよい。出力信号Vは、上述の第2の変量の一例に相当する。
入射光が均一であるゆえ、それぞれの画素は、理想的には同じ値を示すはずである。しかし、異常画素は、正常画素と異なる応答を示す。また、正常画素の出力信号であっても、実際には、ある値を最頻値として有限の範囲に分布する。このような理由により、出力信号Vは、さまざまな値を含んでいる。
また、異常画素の出力信号には、2通りの傾向が考えられる。第一に、異常画素は、正常画素よりも明るい(すなわち大きい)応答を示す可能性がある。このような異常のことを、以下においては「白色異常」ともいう。第二に、異常画素は、正常画素よりも暗い(すなわち小さい)応答を示す可能性がある。このような異常のことを、以下においては「黒色異常」ともいう。
これらの異常画素は、入射光に対して一応の応答は示すものの、その応答が正常でない画素である。このような異常画素は、正常画素と同様に、ある値を最頻値とした有限の範囲に分布する。そうすると、出力信号Vの度数分布には、3つのピークが現れる。すなわち、出力信号Vの度数分布は、複数の分布を含んだ多峰性分布(multimodal distribution)である。
なお、本実施形態でいう多峰性分布は、双峰性分布(bimodal distribution)を含むものとする。すなわち、ここでいう多峰性分布は、度数のピーク(極大値)を2以上含む分布である。換言すれば、ここでいう多峰性分布は、ピークが現れる分布のうち単峰性分布(unimodal distribution)以外の分布を意味する、ともいえる。
ここで、画像に占める異常画素の比率が少ない場合、正常画素の分布の山と異常画素の分布の山は、オーバーラップ(重複)しない。しかし、画像に占める異常画素の比率が多くなると、正常画素の分布の山と異常画素の分布の山とがオーバーラップするようになる。ここにおいて、「正常画素(又は異常画素)の分布の山」は、正常画素と異常画素とを区別できると仮定した場合における、正常画素(又は異常画素)のみの度数分布を意味する。また、正常画素の分布の山と異常画素の分布の山とがオーバーラップする状態は、正常画素の分布範囲と異常画素の分布範囲とが重なりを有する状態ともいえる。
図3Aの例のように、正常画素の分布の山と異常画素の分布の山とがオーバーラップし、1つの分布曲線で表されるようになると、出力信号Vの度数分布のみに基づいて正常画素と異常画素とを区別することが極めて困難になる。図3Aのようにオーバーラップが生じている場合、出力信号Vに対していかなる閾値を設定しても、異常画素を正常画素が含まれないように抽出することができない。
図3Bは、図3Aにおいて例示されたイメージセンサの出力特性を別の変量で表した場合の度数分布の一例を示す。この例において、変量は、ΔV/Nで表される。ここにおいて、ΔVは、輝度が異なる2つの面光源のそれぞれを入射光とした場合の応答の差分を意味する。また、Nは、イメージセンサを構成する各センサ素子に対して所定時間に渡って所定の均一輝度の入射光を入射した場合の応答の最大値と最小値の差分、すなわちセンサ素子のノイズ(雑音)を意味する。ΔV/Nは、上述の第1の変量の一例に相当する。
正常画素の場合、差分ΔVは、入射光の輝度差に応じた一定の値を示す。これに対し、異常画素の場合、差分ΔVは、正常画素と異なる値を示す。例えば、異常画素は、入射光の輝度によらず一定の応答を示したり、正常画素よりも差分が小さい応答を示したりする可能性がある。このような場合、異常画素の差分ΔVは、正常画素の差分ΔVよりも小さくなる。
また、ノイズNは、正常画素であれば小さい。一方、異常画素は、いくつかの場合において、応答にばらつきを生じる。このような異常画素のノイズNは、正常画素よりも大きな値を示す。
したがって、異常画素において、差分ΔVは小さくなる傾向にあり、ノイズNは大きくなる傾向にある。ゆえに、ΔV/Nは、異常画素で小さく、正常画素で大きくなる傾向にある。そのため、ΔV/Nの度数分布は、図3Bに例示されるように、正常画素の分布曲線が右側(値が大きい側)に位置し、異常画素の分布曲線が左側(値が小さい側)に位置する。
ΔV/Nの度数分布は、出力信号Vの度数分布と同様に、多峰性分布である。しかし、ΔV/Nの度数分布は、出力信号Vの度数分布に比べ、オーバーラップが少ない。換言すれば、ΔV/Nの度数分布は、出力信号Vの度数分布に比べ、正常画素の分布の山と異常画素の分布の山との重なりが少ない。ゆえに、ΔV/Nの度数分布は、出力信号Vの度数分布に比べ、正常画素か異常画素かを区別できない画素の数が少ないといえる。
例えば、第1特定部110は、図3Bにおける閾値Th1を用いて正常画素と異常画素とを区別することができる。この場合、第2特定部120は、入力された複数の画素から第1特定部110により異常画素であると特定された画素を除外した画素を母集団として正常画素と異常画素とを区別する。
図3Cは、図3Aにおいて例示されたイメージセンサの出力信号Vの度数分布を示す。
この度数分布(実線)は、イメージセンサを構成する複数の画素のうち第1特定部110により異常画素であると特定された画素を除外した画素を母集団とした度数分布である点において、図3Aの度数分布(破線)と異なる。
第1特定部110により特定された第1の異常画素を除外した出力信号Vの度数分布は、正常画素の頻度は実質的に変化しないものの、異常画素の頻度が低下することにより、正常画素の分布の山と白色異常又は黒色異常の分布の山との重なりが元の度数分布(図3A)よりも少なくなる。したがって、第1特定部110により特定された第1の異常画素を除外した出力信号Vの度数分布は、元の度数分布よりも正常画素と異常画素の区別が容易になる。なお、ここでいう重なりが「少ない」状態とは、重なりがない状態を含み得る。
例えば、第2特定部120は、出力信号Vが閾値ThL以上閾値ThH以下の範囲にある画素を正常画素とし、そうでない画素を異常画素と特定することができる。この場合、出力信号Vが閾値ThL未満である画素は、黒色異常の画素である。また、出力信号Vが閾値ThHを超える画素は、白色異常の画素である。
以上のとおり、本実施形態の画像処理装置100は、異常画素を複数の方法で段階的に特定する構成を有する。この構成は、例えば、第1の方法を用いずに第2の方法のみを用いて異常画素を特定する場合と比較すると、正常画素と異常画素の区別を容易にすることを可能にする。したがって、画像処理装置100は、異常画素の検出精度を向上させることが可能である。
また、本実施形態において、異常画素を複数の方法に従って特定することは、異常画素を複数の判断基準に従って特定することを意味するともいえる。ゆえに、画像処理装置100によれば、単一の方法のみでは特定できない異常が生じる画素をも異常画素として検出することが可能である。
なお、本実施形態において、異常画素の段階的な特定は、上述のような2段階の特定に限定されない。すなわち、画像処理装置100は、m通り(ただし、mは2以上の整数)の特定方法に従って異常画素を段階的に特定するように構成されてもよい。
図4は、画像処理装置100の構成の他の例を示すブロック図である。画像処理装置100は、第1特定部110及び第2特定部120に加え、第3特定部130を含む。第3特定部130は、第1の方法及び第2の方法のいずれとも異なる第3の方法に従って異常画素を特定する。なお、画像処理装置100は、図1及び図4の構成に限定されず、異常画素の特定方法が異なるより多くの特定部を含んで構成されてもよい。
[第2実施形態]
図5は、別の実施形態に係る画像処理装置200の構成を示すブロック図である。画像処理装置200は、検出部210と、記憶部220と、補正部230とを含んで構成される。
なお、以降の実施形態(及び変形例)において、他の実施形態に既に記載されている用語は、特に断りがある場合を除き、当該他の実施形態における意味と同様の意味で用いられるものとする。また、このような用語に関する重複的な説明は、適宜省略される。
画像処理装置200は、第1実施形態の画像処理装置100と共通の構成を含む。より詳細には、検出部210は、第1特定部110と、第2特定部120とを含む。検出部210は、第1実施形態の画像処理装置100の一例に相当するともいえる。すなわち、検出部210は、所定のイメージセンサにおける異常画素を検出する。
また、検出部210は、イメージセンサにおける異常画素の位置を記録する。検出部210は、第1特定部110により特定された第1の異常画素の位置と、第2特定部120により特定された第2の異常画素の位置とを記録する。なお、検出部210は、異常画素の位置に代えて正常画素の位置を記録してもよい。なぜならば、イメージセンサにおける正常画素の位置が特定できれば、異常画素の位置も特定できるからである。
記憶部220は、異常画素の位置を示すデータを記憶する。イメージセンサを構成する各画素の位置は、例えば、所定の画素の位置を基準とした2次元直交座標系を用いて表すことができる。ここでいう基準の位置は、例えば、画像が長方形である場合であれば、長方形の頂点のいずれかに相当する。なお、記憶部220は、画像処理装置200に対して着脱可能に構成されたり、画像処理装置200とは別の記憶装置として構成されたりしてもよい。
補正部230は、異常画素の出力信号を補正する。補正部230は、異常画素の出力信号を、当該画素が正常画素であった場合に想定される出力信号に近付くように補正する。
具体的には、補正部230は、異常画素の出力信号を、当該画素の近傍の1以上の正常画素の出力信号に基づいて補正する。補正部230は、記憶部220に記憶されたデータを参照することによって、正常画素及び異常画素の位置を特定することができる。
ここでいう「近傍」の範囲は、特定の範囲に限定されない。換言すれば、ここでいう「近傍」の範囲は、可変である。いくつかの場合において、ここでいう「近傍」の範囲は、異常画素の周囲に存在する正常画素(又は異常画素)の数に依存する。例えば、異常画素の近傍の画素は、当該異常画素を基準として所定の規則に従って選択される。
図6は、画像処理装置200の動作を示すフローチャートである。ステップS21において、検出部210は、入力された複数の画素から異常画素を検出する。検出部210は、第1実施形態の画像処理装置100と同様の要領で異常画素を検出することができる。
すなわち、検出部210は、複数の方法を用いて段階的に異常画素を検出することができる。また、検出部210は、異常画素の位置を示すデータを記憶部220に記録する。
ステップS22において、補正部230は、異常画素の出力信号を補正する。補正部230は、記憶部220に記憶されたデータを参照することによって、補正対象の画素、すなわち異常画素を特定する。また、補正部230は、補正対象の異常画素の出力信号を、当該画素の近傍にある正常画素の出力信号に基づいて補正する。
以上のとおり、本実施形態の画像処理装置200は、第1実施形態の画像処理装置100と共通する構成を含む。したがって、画像処理装置200は、画像処理装置100と同様に、異常画素の検出精度を向上させることが可能である。
また、画像処理装置200は、検出された異常画素の出力信号を近傍の正常画素の出力信号に基づいて補正する構成を有する。この構成は、異常画素の出力信号の補正精度を向上させる。特に、この構成は、イメージセンサに対応する画像全体に対する異常画素の比率が比較的高い場合に、異常画素の出力信号をより精度良く補正することを可能にするといえる。
一般に、ある画素の出力信号を当該画素の近傍の画素の出力信号に基づいて補正する場合、ここでいう「近傍の画素」の位置や数は、あらかじめ決められている。しかし、画像全体に対する異常画素の比率が比較的高い場合には、異常画素の周辺に他の異常画素がある可能性が高い。異常画素の出力信号が他の異常画素の出力信号に基づいて補正されると、補正の精度が低下する。
一方、画像処理装置200は、記憶部220に記憶されたデータを参照することによって、正常画素と異常画素の位置を特定することができるため、ここでいう「近傍の画素」から異常画素を除外することが可能である。画像処理装置200は、このようにして正常画素の出力信号を選択的に参照して異常画素の出力信号を補正することにより、補正精度を向上させることが可能である。
[第3実施形態]
図7は、さらに別の実施形態に係る補正システム300の構成を示すブロック図である。補正システム300は、イメージセンサ310と、画像処理装置320とを含む。画像処理装置320は、検出部321と、記憶部322と、補正部323とを含む。
イメージセンサ310は、複数のセンサ素子を有し、入射光に応じた出力信号を画像処理装置320に供給する。イメージセンサ310からの出力は、複数の異常画素を含み得る。例えば、イメージセンサ310は、試作品のような、性能を評価する段階にある製品であってもよい。すなわち、イメージセンサ310は、異常画素がない(又は少ない)というよりも、むしろ異常画素がある(又は多い)ことが前提にあるともいえる。
画像処理装置320は、第2実施形態の画像処理装置200の一例に相当する。具体的には、検出部321、記憶部322及び補正部323は、検出部210、記憶部220及び補正部230と共通の構成を有する。ただし、検出部321、記憶部322及び補正部323の動作は、検出部210、記憶部220及び補正部230の動作と部分的に相違する。その相違点は、主として以下のとおりである。
検出部321は、3通りの特定方法のうち2以上の方法を用いて、異常画素を段階的に特定する。具体的には、検出部321は、S/N比に基づく方法と、差分ΔVに基づく方法と、出力信号Vに基づく方法とを用いて異常画素を特定することが可能である。ここでいうS/N比は、第1実施形態におけるΔV/Nに相当する。すなわち、S/N比は、輝度が異なる2つの面光源のそれぞれを入射光とした場合のイメージセンサ310の応答の差分を、イメージセンサ310のセンサ素子のノイズで除した値である。
図8Aは、イメージセンサの出力特性を、差分ΔVを変量として用いて表した場合の度数分布の一例を示す。正常画素は、2つの面光源の輝度差に応じた応答を示す。これに対し、異常画素は、入射光の輝度変化に対する応答性が正常画素よりも悪く、場合によっては輝度変化に応答しない(すなわち輝度が変化しても出力が変化しない)。そのため、異常画素の差分ΔVは、正常画素の差分ΔVよりも小さくなる傾向にあり、一部は負の値を示すこともある。ただし、異常画素の差分ΔV及び正常画素の差分ΔVは、一定のばらつきを生じるため、互いに異なる値を最頻値とした分布を示す。ゆえに、差分ΔVの度数分布も、出力信号V又はS/N比(すなわちΔV/N)の度数分布の度数分布と同様に、多峰性分布である。
図8Bは、差分ΔVの度数分布の別の例を示す。この例は、S/N比に基づく方法により特定された異常画素を除外した場合の度数分布を示している。したがって、図8Bの度数分布は、図8Aの度数分布に比べ、異常画素に起因する値の頻度が低下する。結果として、差分ΔVの度数分布は、複数の分布のオーバーラップが減少することにより、正常画素と異常画素の区別が容易になる。例えば、検出部321は、閾値Th2を用いて正常画素と異常画素とを区別することができる。
正常画素と異常画素の区別の容易性は、S/N比に基づく方法、差分ΔVに基づく方法、出力信号Vに基づく方法の順に高い。すなわち、S/N比に基づく方法は、これらの方法のうち、正常画素と異常画素の区別が最も容易な方法である。一方、出力信号Vに基づく方法は、これらの方法のうち、正常画素と異常画素の区別が最も困難な方法である。ここにおいて、正常画素と異常画素の区別が困難であることは、度数分布において正常画素の分布の山と異常画素の分布の山とに重なりが生じやすいことを意味する。
ある特定方法を用いて特定される異常画素と別の特定方法を用いて特定される異常画素とは、必ずしも同一ではない。例えば、異常画素には、S/N比に基づく方法では特定できるものの、差分ΔVに基づく方法では異常画素であると特定できないものが含まれ得る。同様に、異常画素には、差分ΔVに基づく方法では特定できるものの、出力信号Vに基づく方法では異常画素であると特定できないものが含まれ得る。したがって、検出部321は、複数の特定方法を併用することによって、異常画素の検出精度を向上させる。
図9は、検出部321が異常画素を特定する手順を例示する。検出部321は、上述の3通りの特定方法を全て用いる場合、S/N比に基づく方法、差分ΔVに基づく方法、出力信号Vに基づく方法の順に異常画素を特定する。換言すれば、検出部321は、正常画素と異常画素の区別が容易な方法から順番に適用して異常画素を特定する。この場合、S/N比に基づく方法は、第1実施形態における第1の方法の一例に相当する。差分ΔVに基づく方法は、第1実施形態における第2の方法の一例に相当する。出力信号Vに基づく方法は、第1実施形態における第3の方法の一例に相当する。
また、検出部321は、上述の3通りの特定方法のうち2つの方法を用いる場合、次のいずれかの順に異常画素を特定する。
(1)S/N比に基づく方法、出力信号Vに基づく方法の順
(2)差分ΔVに基づく方法、出力信号Vに基づく方法の順
(3)S/N比に基づく方法、差分ΔVに基づく方法の順
(1)又は(3)の場合のS/N比に基づく方法と、(2)の場合の差分ΔVに基づく方法は、第1実施形態における第1の方法の一例に相当する。また、(1)又は(2)の場合の出力信号Vに基づく方法と、(3)の場合の差分ΔVに基づく方法は、第1実施形態における第2の方法の一例に相当する。
図10は、異常画素の検出処理を示すフローチャートである。なお、検出部321は、この例においては、上述の3通りの特定方法の全てを用いて異常画素を検出する。ステップS301において、検出部321は、イメージセンサ310から出力信号V1、V2を取得する。出力信号V1、V2は、いずれも、イメージセンサ310に対して均一輝度の入射光を照射した場合の応答である。ただし、出力信号V1、V2は、入射光の輝度が異なる。
ここでは、出力信号V1が出力されるときの光源の方が高輝度であるとする。なお、このような入射光は、例えば、均一標準光源を用いて照射される。
ステップS302において、検出部321は、ステップS301において取得された出力信号V1、V2を用いて、差分VとS/N比(ΔV/N)とを算出する。差分ΔVは、出力信号V1から出力信号V2を減じた値であり、画素毎に算出される。なお、ノイズNは、検出処理の実行前にあらかじめ測定されていてもよい。
ステップS303において、検出部321は、S/N比に基づく方法に従って異常画素を特定する。ステップS304において、検出部321は、ステップS303において特定された異常画素をマスキングし、当該特定された異常画素の位置を記憶部322に記録する。ここでいうマスキングは、対象の画素を以降の処理において除外することを意味する。
なお、検出部321は、所定の座標系を用いて、異常画素の位置を記憶部322に記録する。以下においては、異常画素の位置は、2次元直交座標系のx成分及びy成分によって表されるものとする。また、イメージセンサ310は、センサ素子が矩形内に格子状に配置され、その矩形の辺がx軸及びy軸に平行であるとする。
ステップS305において、検出部321は、差分ΔVに基づく方法に従って異常画素を特定する。このとき、検出部321は、マスキングされた画素(すなわちステップS303において異常画素であると特定された画素)以外の画素の度数分布を算出する。そうすると、図8A、図8Bにおいて例示されたように、正常画素と異常画素の区別が容易になる。
ステップS306において、検出部321は、ステップS305において特定された異常画素をマスキングし、当該特定された異常画素の位置を記憶部322に記録する。なお、ステップS306の処理は、ステップS304の処理と同様に実行される。
ステップS307において、検出部321は、出力信号Vに基づく方法に従って異常画素を特定する。このとき、検出部321は、ステップS301において取得された出力信号V1、V2のいずれか一方を出力信号Vとして用いて度数分布を算出する。そうすると、図3A、図3Cにおいて例示されたように、正常画素と異常画素の区別が容易になる。ステップS308において、検出部321は、ステップS307において特定された異常画素の位置を記憶部322に記録する。
ステップS309において、検出部321は、正常画素の出力信号Vの平均値を算出する。より詳細には、検出部321は、出力信号Vの各画素のうち、ステップS304、S306及びS308において異常画素として記録された画素を除いた画素を正常画素であるとし、その出力信号Vの平均値を算出する。
ステップS310において、検出部321は、異常画素が白色異常と黒色異常のいずれであるかを記憶部322に記録する。このとき、検出部321は、異常画素の出力信号VをステップS309において算出された平均値と比較し、出力信号Vが平均値より大きい異常画素を白色異常とし、出力信号Vが平均値より小さい異常画素を黒色異常とする。
なお、ステップS309、S310は、異常画素の検出処理において必須ではない。ステップS309、S310を実行すると、異常画素が白色異常と黒色異常のいずれであるかを特定することが可能である。異常画素が白色異常と黒色異常のいずれであるかが特定できると、特定結果をイメージセンサ310の評価に利用することができる。
図11は、異常画素の補正処理を示すフローチャートである。補正部323は、検出処理の実行結果に基づいて、イメージセンサ310により撮像された画像を表す出力信号に対して以下の補正処理を実行する。
ステップS311において、補正部323は、異常画素のいずれかの座標を選択する。
補正部323は、記憶部322に記憶されたデータを参照することにより、異常画素の位置を示す座標を特定する。補正部323は、異常画素の座標を所定の順序(例えば、昇順又は降順)で特定していく。
ステップS312において、補正部323は、ステップS311において選択された座標が画像の隅(コーナー)に相当するか判断する。より詳細には、補正部323は、ステップS311において取得された座標が次のいずれかに該当するか判断する。すなわち、ここでいう隅とは、「x成分及びy成分が最小」、「x成分が最小かつy成分が最大」、「x成分が最大かつy成分が最小」、「x成分及びy成分が最大」のいずれかを満たす画素をいう。
ステップS311において選択された座標が画像の隅に相当する場合(S312:YES)、補正部323は、ステップS313を実行する。ステップS313において、補正部323は、第1の走査方法に従って異常画素の近傍の画素を走査する。
一方、ステップS311において選択された座標が画像の隅に相当しない場合(S312:NO)、補正部323は、ステップS314を実行する。ステップS314において、補正部323は、ステップS311において選択された座標が画像の縁に相当するか判断する。
より詳細には、補正部323は、ステップS311において取得された座標が次のいずれかに該当するか判断する。すなわち、ここでいう縁とは、隅に該当しない画素のうち、「x成分が最小」、「x成分が最大」、「y成分が最小」、「y成分が最大」のいずれかを満たす画素をいう。
ステップS311において選択された座標が画像の縁に相当する場合(S314:YES)、補正部323は、ステップS315を実行する。ステップS315において、補正部323は、第2の走査方法に従って異常画素の近傍の画素を走査する。
一方、ステップS311において選択された座標が画像の縁に相当しない場合(S314:NO)、補正部323は、ステップS316を実行する。ステップS316において、補正部323は、第3の走査方法に従って異常画素の近傍の画素を走査する。
図12A、図12B及び図12Cは、画素の走査方法の一例を示す。これらの図において、ハッチングされた画素は、補正対象の異常画素を示している。図12Aは、第1の走査方法を示す。図12Bは、第2の操作方法を示す。図12Cは、第3の操作方法を示す。
図12Aに例示されるように、異常画素が座標(0,0)にある場合、補正部323は、座標(1,0)、座標(1,1)、座標(0,1)、座標(2,0)、座標(2,1)、…といった順序で画素を走査する。補正部323は、所定数の正常画素をスキャンするまで、このように画素を1つずつ走査する。
また、図12Bに例示されるように、異常画素が座標(0,2)にある場合、補正部323は、座標(0,1)、座標(1,1)、座標(1,2)、座標(1,3)、座標(0,3)、座標(0,0)、座標(1,0)、…といった順序で画素を走査する。補正部323は、所定数の正常画素をスキャンするまで、このように画素を1つずつ走査する。
図12Cに例示されるように、異常画素が座標(2,2)にある場合、補正部323は、座標(2,1)、座標(3,1)、座標(3,2)、座標(3,3)、座標(2,3)、座標(1,3)、座標(1,2)、…といった順序で画素を走査する。補正部323は、所定数の正常画素をスキャンするまで、このように画素を1つずつ走査する。
ステップS317において、補正部323は、走査された画素が正常画素であるかを判断する。走査された画素が正常画素である場合(S317:YES)、補正部323は、ステップS318において当該画素の出力信号を取得する。また、ステップS319において、補正部323は、ステップS318において取得された出力信号を記憶部322に記録する。
一方、走査された画素が正常画素でない場合(S317:NO)、補正部323は、ステップS318、S319をスキップする。すなわち、この場合、補正部323は、出力信号の記録を行わない。
ステップS320において、補正部323は、走査された正常画素の数が所定の閾値(ここでは「n」とする。)に達したかを判断する。補正部323は、走査された正常画素の数をステップS318、S319の実行回数に基づいて判断することができる。走査された正常画素の数は、出力信号が記録された回数と等しい。
走査された正常画素の数がn未満である場合(S320:NO)、補正部323は、画素の走査を続行する。すなわち、補正部323は、走査する画素の位置をずらしながら、ステップS317以降の処理を繰り返す。この場合の画素の走査方法は、図12A〜図12Cに例示されたように、異常画素の座標に応じて異なり得る。
走査された正常画素の数がnに達した場合(S320:YES)、補正部323は、ステップS321において異常画素の補正値を算出する。ここにおいて、補正部323は、記憶部322に記憶されたn個の正常画素の出力信号に基づいて補正値を算出する。
補正値は、例えば、n個の正常画素の出力信号の平均値である。ただし、補正値の具体的な算出方法は、このような単純平均に限定されず、異常画素と正常画素との距離に応じた重み付き平均であってもよい。あるいは、補正部323は、異常画素が白色異常か黒色異常であるかで補正値の算出方法を異ならせてもよい。
ステップS322において、補正部323は、ステップS311において選択された座標にある異常画素の出力信号を補正する。例えば、補正部323は、異常画素の出力信号を、ステップS321において算出された補正値に置き換える。あるいは、補正部323は、異常画素の出力信号に対し、ステップS321において算出された補正値に応じた値を加算又は減算してもよい。
ステップS323において、補正部323は、全ての異常画素が補正されたか判断する。すなわち、補正部323は、記憶部322に記憶されている異常画素の全てに対して上述の補正が実行されたかを判断する。補正されていない異常画素がある場合(S323:NO)、補正部323は、ステップS311以降の処理を再度実行する。具体的には、補正部323は、ステップS311において未補正の異常画素の座標を選択し、ステップS312以降の処理を実行する。そして、全ての異常画素が補正された場合(S323:YES)、補正部323は、補正処理を終了する。
以上のとおり、本実施形態の補正システム300は、第1実施形態の画像処理装置100又は第2実施形態の画像処理装置200と共通する構成を含む。したがって、補正システム300は、画像処理装置100、200と同様に、異常画素の検出精度を向上させることが可能である。
また、補正システム300は、イメージセンサ310から検出された異常画素の出力信号を補正する構成を有する。補正システム300は、イメージセンサ310に異常画素がある場合においても、異常画素に起因する出力信号、すなわち本来の値と異なる出力信号を精度良く補正することができる。
[変形例]
上述された第1〜第3実施形態は、例えば、以下のような変形を適用することができる。これらの変形例は、必要に応じて適宜組み合わせることも可能である。
(1)上述したとおり、イメージセンサは、不可視光に感度を有するセンサであってもよい。例えば、イメージセンサは、赤外線を感知する赤外線センサであってもよい。
イメージセンサとして赤外線センサを用いる場合、S/N比は、NETD(Noise Equivalent Temperature Difference)に置き換えられる。ここにおいて、NETDは、N/(ΔV/T)で表すことができる。ただし、ΔTは、ΔVの算出に用いられる2通りの入射光の強度差(温度差)を表す。
NETDは、S/N比の逆数に比例する。したがって、NETDに基づく度数分布は、正常画素の分布曲線と異常画素の分布曲線とがS/N比に基づく度数分布(図3B参照)とは逆に位置する。NETDに基づく度数分布は、正常画素の分布曲線が異常画素の分布曲線よりも左側(値が小さい側)にシフトする。なお、NETDに基づく度数分布は、S/N比に基づく度数分布と同様に、差分ΔVに基づく度数分布や出力信号Vに基づく度数分布に比べ、正常画素の分布の山と異常画素の分布の山との重なりが少ないため、正常画素と異常画素の区別が容易である。
(2)本発明の実施形態に係る装置(画像処理装置100、200、320)の具体的なハードウェア構成は、さまざまなバリエーションが含まれ、特定の構成に限定されない。例えば、本発明の実施形態に係る装置は、ソフトウェアを用いて実現されてもよく、複数のハードウェアを用いて各種処理を分担するように構成されてもよい。
図13は、本発明の実施形態に係る装置を実現するコンピュータ装置400のハードウェア構成の一例を示すブロック図である。コンピュータ装置400は、CPU(Central Processing Unit)401と、ROM(Read Only Memory)402と、RAM(Random Access Memory)403と、記憶装置404と、ドライブ装置405と、通信インタフェース406と、入出力インタフェース407とを含んで構成される。
CPU401は、RAM403を用いてプログラム408を実行する。通信インタフェース406は、ネットワーク410を介して外部装置とデータをやり取りする。入出力インタフェース407は、周辺機器(入力装置、表示装置など)とデータをやり取りする。
通信インタフェース406及び入出力インタフェース407は、データを取得又は出力するための構成要素として機能することができる。
なお、プログラム408は、ROM402に記憶されていてもよい。また、プログラム408は、メモリカード等の記録媒体409に記録され、ドライブ装置405によって読み出されてもよいし、外部装置からネットワーク410を介して送信されてもよい。
本開示に係る装置は、図13に示される構成(又はその一部)によって実現され得る。
例えば、画像処理装置100の場合、第1特定部110及び第2特定部120は、CPU401、ROM402及びRAM403に対応する。また、画像処理装置200の場合、検出部210及び補正部230は、CPU401、ROM402及びRAM403に対応し、記憶部220は、RAM403又は記憶装置404に対応する。
なお、本発明の実施形態に係る装置の構成要素は、単一の回路(プロセッサ等)によって構成されてもよいし、複数の回路の組み合わせによって構成されてもよい。ここでいう回路(circuitry)は、専用又は汎用のいずれであってもよい。例えば、本開示に係る装置は、一部が専用のプロセッサによって実現され、他の部分が汎用のプロセッサによって実現されてもよい。
[付記]
本発明の一部又は全部は、以下の付記のようにも記載され得る。ただし、本発明は、必ずしもこの付記の態様に限定されない。
(付記1)
複数の画素から第1の方法に従って異常画素を特定する第1の特定手段と、
前記複数の画素のうち前記第1の特定手段により特定された異常画素を除外した画素から、前記第1の方法と異なる第2の方法に従って異常画素を特定する第2の特定手段と
を備える画像処理装置。
(付記2)
前記第1の方法は、前記複数の画素の特性を第1の変量で表した場合の度数分布に基づいて異常画素を特定し、
前記第2の方法は、前記複数の画素のうち前記第1の特定手段により特定された異常画素を除外した画素の特性を前記第1の変量と異なる第2の変量で表した場合の度数分布に基づいて異常画素を特定する
付記1に記載の画像処理装置。
(付記3)
前記複数の画素の特性を前記第1の変量で表した場合の度数分布と、前記複数の画素の特性を前記第2の変量で表した場合の度数分布とは、度数のピークを2以上有し、
前記複数の画素の特性を前記第1の変量で表した場合の度数分布は、前記複数の画素の特性を前記第2の変量で表した場合の度数分布よりも複数の分布の山の重なりが少ない
付記2に記載の画像処理装置。
(付記4)
前記第1の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
前記第2の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
付記1から付記3までのいずれか1項に記載の画像処理装置。
(付記5)
前記第1の方法は、前記複数の画素に対応する複数のセンサ素子に対して第1の強度で入射光が照射された場合の出力信号と第2の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定し、
前記第2の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
付記1から付記3までのいずれか1項に記載の画像処理装置。
(付記6)
前記第1の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
前記第2の方法は、前記複数の画素に対応する複数のセンサ素子に対して第1の強度で入射光が照射された場合の出力信号と第2の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定する
付記1から付記3までのいずれか1項に記載の画像処理装置。
(付記7)
前記第1の特定手段又は前記第2の特定手段により特定された異常画素の出力信号を、当該異常画素の近傍の異常画素でない画素の出力信号に基づいて補正する補正手段をさらに備える
付記1から付記6までのいずれか1項に記載の画像処理装置。
(付記8)
前記第1の特定手段又は前記第2の特定手段により特定された異常画素の位置を記憶する記憶手段をさらに含み、
前記補正手段は、前記記憶手段に記憶された前記位置に基づいて前記異常画素でない画素を特定する
付記7に記載の画像処理装置。
(付記9)
前記複数の画素のうち前記第1の特定手段又は前記第2の特定手段により特定された異常画素を除外した画素から、前記第1の方法及び前記第2の方法のいずれとも異なる第3の方法に従って異常画素を特定する第3の特定手段をさらに備える
付記1から付記8までのいずれか1項に記載の画像処理装置。
(付記10)
前記第1の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
前記第2の方法は、前記複数の画素に対応する複数のセンサ素子に対して第1の強度で入射光が照射された場合の出力信号と第2の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定し、
前記第3の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
付記9に記載の画像処理装置。
(付記11)
複数の画素から第1の方法に従って異常画素を特定し、
前記複数の画素のうち前記特定された異常画素を除外した画素から、前記第1の方法と異なる第2の方法に従って異常画素を特定する
画像処理方法。
(付記12)
前記第1の方法は、前記複数の画素の特性を第1の変量で表した場合の度数分布に基づいて異常画素を特定し、
前記第2の方法は、前記複数の画素のうち前記第1の方法により特定された異常画素を除外した画素の特性を前記第1の変量と異なる第2の変量で表した場合の度数分布に基づいて異常画素を特定する
付記11に記載の画像処理方法。
(付記13)
前記複数の画素の特性を前記第1の変量で表した場合の度数分布と、前記複数の画素の特性を前記第2の変量で表した場合の度数分布とは、度数のピークを2以上有し、
前記複数の画素の特性を前記第1の変量で表した場合の度数分布は、前記複数の画素の特性を前記第2の変量で表した場合の度数分布よりも複数の分布の山の重なりが少ない
付記12に記載の画像処理方法。
(付記14)
前記第1の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
前記第2の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
付記11から付記13までのいずれか1項に記載の画像処理方法。
(付記15)
前記第1の方法は、前記複数の画素に対応する複数のセンサ素子に対して第1の強度で入射光が照射された場合の出力信号と第2の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定し、
前記第2の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
付記11から付記13までのいずれか1項に記載の画像処理方法。
(付記16)
前記第1の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
前記第2の方法は、前記複数の画素に対応する複数のセンサ素子に対して第1の強度で入射光が照射された場合の出力信号と第2の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定する
付記11から付記13までのいずれか1項に記載の画像処理方法。
(付記17)
特定された異常画素の出力信号を、当該異常画素の近傍の異常画素でない画素の出力信号に基づいて補正する
付記11から付記16までのいずれか1項に記載の画像処理方法。
(付記18)
特定された異常画素の位置を記憶する記憶手段に記憶された前記位置に基づいて前記異常画素でない画素を特定する
付記17に記載の画像処理方法。
(付記19)
前記複数の画素のうち特定された異常画素を除外した画素から、前記第1の方法及び前記第2の方法のいずれとも異なる第3の方法に従って異常画素を特定する
付記11から付記18までのいずれか1項に記載の画像処理方法。
(付記20)
前記第1の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
前記第2の方法は、前記複数の画素に対応する複数のセンサ素子に対して第1の強度で入射光が照射された場合の出力信号と第2の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定し、
前記第3の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
付記19に記載の画像処理方法。
(付記21)
コンピュータに、
複数の画素から第1の方法に従って異常画素を特定する第1の特定処理と、
前記複数の画素のうち前記特定された異常画素を除外した画素から、前記第1の方法と異なる第2の方法に従って異常画素を特定する第2の特定処理と
を実行させるためのプログラムを記憶する記憶媒体。
(付記22)
前記第1の方法は、前記複数の画素の特性を第1の変量で表した場合の度数分布に基づいて異常画素を特定し、
前記第2の方法は、前記複数の画素のうち前記第1の特定処理により特定された異常画素を除外した画素の特性を前記第1の変量と異なる第2の変量で表した場合の度数分布に基づいて異常画素を特定する
付記21に記載の記憶媒体。
(付記23)
前記複数の画素の特性を前記第1の変量で表した場合の度数分布と、前記複数の画素の特性を前記第2の変量で表した場合の度数分布とは、度数のピークを2以上有し、
前記複数の画素の特性を前記第1の変量で表した場合の度数分布は、前記複数の画素の特性を前記第2の変量で表した場合の度数分布よりも複数の分布の山の重なりが少ない
付記22に記載の記憶媒体。
(付記24)
前記第1の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
前記第2の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
付記21から付記23までのいずれか1項に記載の記憶媒体。
(付記25)
前記第1の方法は、前記複数の画素に対応する複数のセンサ素子に対して第1の強度で入射光が照射された場合の出力信号と第2の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定し、
前記第2の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
付記21から付記23までのいずれか1項に記載の記憶媒体。
(付記26)
前記第1の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
前記第2の方法は、前記複数の画素に対応する複数のセンサ素子に対して第1の強度で入射光が照射された場合の出力信号と第2の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定する
付記21から付記23までのいずれか1項に記載の記憶媒体。
(付記27)
前記プログラムは、コンピュータに、
前記第1の特定処理又は前記第2の特定処理により特定された異常画素の出力信号を、当該異常画素の近傍の異常画素でない画素の出力信号に基づいて補正する補正処理をさらに実行させる
付記21から付記26までのいずれか1項に記載の記憶媒体。
(付記28)
前記補正処理は、前記第1の特定処理又は前記第2の特定処理により特定された異常画素の位置を記憶する記憶手段に記憶された前記位置に基づいて前記異常画素でない画素を特定する
付記27に記載の記憶媒体。
(付記29)
前記プログラムは、コンピュータに、
前記複数の画素のうち前記第1の特定処理又は前記第2の特定処理により特定された異常画素を除外した画素から、前記第1の方法及び前記第2の方法のいずれとも異なる第3の方法に従って異常画素を特定する第3の特定処理をさらに実行させる
付記21から付記28までのいずれか1項に記載の記憶媒体。
(付記30)
前記第1の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
前記第2の方法は、前記複数の画素に対応する複数のセンサ素子に対して第1の強度で入射光が照射された場合の出力信号と第2の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定し、
前記第3の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
付記29に記載の記憶媒体。
以上、本発明は、上述された実施形態及び変形例を模範的な例として説明された。しかし、本発明は、これらの実施形態及び変形例に限定されない。本発明は、本発明のスコープ内において、いわゆる当業者が把握し得るさまざまな変形又は応用を適用した実施の形態を含み得る。また、本発明は、本明細書に記載された事項を必要に応じて適宜に組み合わせ、又は置換した実施の形態を含み得る。例えば、特定の実施形態を用いて説明された事項は、矛盾を生じない範囲において、他の実施形態に対しても適用され得る。
この出願は、2017年4月24日に出願された日本出願特願2017−084927を基礎とする優先権を主張し、その開示の全てをここに取り込む。
100、200、320 画像処理装置
110 第1特定部
120 第2特定部
130 第3特定部
210、321 検出部
220、322 記憶部
230、323 補正部
300 補正システム
310 イメージセンサ
400 コンピュータ装置

Claims (30)

  1. 複数の画素から第1の方法に従って異常画素を特定する第1の特定手段と、
    前記複数の画素のうち前記第1の特定手段により特定された異常画素を除外した画素から、前記第1の方法と異なる第2の方法に従って異常画素を特定する第2の特定手段と
    を備える画像処理装置。
  2. 前記第1の方法は、前記複数の画素の特性を第1の変量で表した場合の度数分布に基づいて異常画素を特定し、
    前記第2の方法は、前記複数の画素のうち前記第1の特定手段により特定された異常画素を除外した画素の特性を前記第1の変量と異なる第2の変量で表した場合の度数分布に基づいて異常画素を特定する
    請求項1に記載の画像処理装置。
  3. 前記複数の画素の特性を前記第1の変量で表した場合の度数分布と、前記複数の画素の特性を前記第2の変量で表した場合の度数分布とは、度数のピークを2以上有し、
    前記複数の画素の特性を前記第1の変量で表した場合の度数分布は、前記複数の画素の特性を前記第2の変量で表した場合の度数分布よりも複数の分布の山の重なりが少ない
    請求項2に記載の画像処理装置。
  4. 前記第1の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
    前記第2の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
    請求項1から請求項3までのいずれか1項に記載の画像処理装置。
  5. 前記第1の方法は、前記複数の画素に対応する複数のセンサ素子に対して第1の強度で入射光が照射された場合の出力信号と第2の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定し、
    前記第2の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
    請求項1から請求項3までのいずれか1項に記載の画像処理装置。
  6. 前記第1の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
    前記第2の方法は、前記複数の画素に対応する複数のセンサ素子に対して第1の強度で入射光が照射された場合の出力信号と第2の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定する
    請求項1から請求項3までのいずれか1項に記載の画像処理装置。
  7. 前記第1の特定手段又は前記第2の特定手段により特定された異常画素の出力信号を、当該異常画素の近傍の異常画素でない画素の出力信号に基づいて補正する補正手段をさらに備える
    請求項1から請求項6までのいずれか1項に記載の画像処理装置。
  8. 前記第1の特定手段又は前記第2の特定手段により特定された異常画素の位置を記憶する記憶手段をさらに含み、
    前記補正手段は、前記記憶手段に記憶された前記位置に基づいて前記異常画素でない画素を特定する
    請求項7に記載の画像処理装置。
  9. 前記複数の画素のうち前記第1の特定手段又は前記第2の特定手段により特定された異常画素を除外した画素から、前記第1の方法及び前記第2の方法のいずれとも異なる第3の方法に従って異常画素を特定する第3の特定手段をさらに備える
    請求項1から請求項8までのいずれか1項に記載の画像処理装置。
  10. 前記第1の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
    前記第2の方法は、前記複数の画素に対応する複数のセンサ素子に対して第1の強度で入射光が照射された場合の出力信号と第2の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定し、
    前記第3の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
    請求項9に記載の画像処理装置。
  11. 複数の画素から第1の方法に従って異常画素を特定し、
    前記複数の画素のうち前記特定された異常画素を除外した画素から、前記第1の方法と異なる第2の方法に従って異常画素を特定する
    画像処理方法。
  12. 前記第1の方法は、前記複数の画素の特性を第1の変量で表した場合の度数分布に基づいて異常画素を特定し、
    前記第2の方法は、前記複数の画素のうち前記第1の方法により特定された異常画素を除外した画素の特性を前記第1の変量と異なる第2の変量で表した場合の度数分布に基づいて異常画素を特定する
    請求項11に記載の画像処理方法。
  13. 前記複数の画素の特性を前記第1の変量で表した場合の度数分布と、前記複数の画素の特性を前記第2の変量で表した場合の度数分布とは、度数のピークを2以上有し、
    前記複数の画素の特性を前記第1の変量で表した場合の度数分布は、前記複数の画素の特性を前記第2の変量で表した場合の度数分布よりも複数の分布の山の重なりが少ない
    請求項12に記載の画像処理方法。
  14. 前記第1の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
    前記第2の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
    請求項11から請求項13までのいずれか1項に記載の画像処理方法。
  15. 前記第1の方法は、前記複数の画素に対応する複数のセンサ素子に対して第1の強度で入射光が照射された場合の出力信号と第2の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定し、
    前記第2の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
    請求項11から請求項13までのいずれか1項に記載の画像処理方法。
  16. 前記第1の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
    前記第2の方法は、前記複数の画素に対応する複数のセンサ素子に対して第1の強度で入射光が照射された場合の出力信号と第2の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定する
    請求項11から請求項13までのいずれか1項に記載の画像処理方法。
  17. 特定された異常画素の出力信号を、当該異常画素の近傍の異常画素でない画素の出力信号に基づいて補正する
    請求項11から請求項16までのいずれか1項に記載の画像処理方法。
  18. 特定された異常画素の位置を記憶する記憶手段に記憶された前記位置に基づいて前記異常画素でない画素を特定する
    請求項17に記載の画像処理方法。
  19. 前記複数の画素のうち特定された異常画素を除外した画素から、前記第1の方法及び前記第2の方法のいずれとも異なる第3の方法に従って異常画素を特定する
    請求項11から請求項18までのいずれか1項に記載の画像処理方法。
  20. 前記第1の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
    前記第2の方法は、前記複数の画素に対応する複数のセンサ素子に対して第1の強度で入射光が照射された場合の出力信号と第2の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定し、
    前記第3の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
    請求項19に記載の画像処理方法。
  21. コンピュータに、
    複数の画素から第1の方法に従って異常画素を特定する第1の特定処理と、
    前記複数の画素のうち前記特定された異常画素を除外した画素から、前記第1の方法と異なる第2の方法に従って異常画素を特定する第2の特定処理と
    を実行させるためのプログラムを記憶する記憶媒体。
  22. 前記第1の方法は、前記複数の画素の特性を第1の変量で表した場合の度数分布に基づいて異常画素を特定し、
    前記第2の方法は、前記複数の画素のうち前記第1の特定処理により特定された異常画素を除外した画素の特性を前記第1の変量と異なる第2の変量で表した場合の度数分布に基づいて異常画素を特定する
    請求項21に記載の記憶媒体。
  23. 前記複数の画素の特性を前記第1の変量で表した場合の度数分布と、前記複数の画素の特性を前記第2の変量で表した場合の度数分布とは、度数のピークを2以上有し、
    前記複数の画素の特性を前記第1の変量で表した場合の度数分布は、前記複数の画素の特性を前記第2の変量で表した場合の度数分布よりも複数の分布の山の重なりが少ない
    請求項22に記載の記憶媒体。
  24. 前記第1の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
    前記第2の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
    請求項21から請求項23までのいずれか1項に記載の記憶媒体。
  25. 前記第1の方法は、前記複数の画素に対応する複数のセンサ素子に対して第1の強度で入射光が照射された場合の出力信号と第2の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定し、
    前記第2の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
    請求項21から請求項23までのいずれか1項に記載の記憶媒体。
  26. 前記第1の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
    前記第2の方法は、前記複数の画素に対応する複数のセンサ素子に対して第1の強度で入射光が照射された場合の出力信号と第2の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定する
    請求項21から請求項23までのいずれか1項に記載の記憶媒体。
  27. 前記プログラムは、コンピュータに、
    前記第1の特定処理又は前記第2の特定処理により特定された異常画素の出力信号を、当該異常画素の近傍の異常画素でない画素の出力信号に基づいて補正する補正処理をさらに実行させる
    請求項21から請求項26までのいずれか1項に記載の記憶媒体。
  28. 前記補正処理は、前記第1の特定処理又は前記第2の特定処理により特定された異常画素の位置を記憶する記憶手段に記憶された前記位置に基づいて前記異常画素でない画素を特定する
    請求項27に記載の記憶媒体。
  29. 前記プログラムは、コンピュータに、
    前記複数の画素のうち前記第1の特定処理又は前記第2の特定処理により特定された異常画素を除外した画素から、前記第1の方法及び前記第2の方法のいずれとも異なる第3の方法に従って異常画素を特定する第3の特定処理をさらに実行させる
    請求項21から請求項28までのいずれか1項に記載の記憶媒体。
  30. 前記第1の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
    前記第2の方法は、前記複数の画素に対応する複数のセンサ素子に対して第1の強度で入射光が照射された場合の出力信号と第2の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定し、
    前記第3の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
    請求項29に記載の記憶媒体。
JP2019514430A 2017-04-24 2018-04-19 画像処理装置、画像処理方法及びプログラム Active JP6838651B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017084927 2017-04-24
JP2017084927 2017-04-24
PCT/JP2018/016068 WO2018198916A1 (ja) 2017-04-24 2018-04-19 画像処理装置、画像処理方法及び記憶媒体

Publications (2)

Publication Number Publication Date
JPWO2018198916A1 true JPWO2018198916A1 (ja) 2020-02-27
JP6838651B2 JP6838651B2 (ja) 2021-03-03

Family

ID=63919096

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019514430A Active JP6838651B2 (ja) 2017-04-24 2018-04-19 画像処理装置、画像処理方法及びプログラム

Country Status (3)

Country Link
US (1) US11039096B2 (ja)
JP (1) JP6838651B2 (ja)
WO (1) WO2018198916A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7308609B2 (ja) * 2018-11-27 2023-07-14 キヤノン株式会社 放射線撮像装置、放射線撮像システム、放射線撮像装置の制御方法、および、プログラム
CN113012458A (zh) * 2021-02-07 2021-06-22 启迪云控(上海)汽车科技有限公司 一种多点位路侧感知目标的状态监控管理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005324015A (ja) * 2005-04-26 2005-11-24 Konica Minolta Holdings Inc 放射線画像処理方法および放射線画像処理装置
JP2008131273A (ja) * 2006-11-20 2008-06-05 Sony Corp 画像処理装置、画像処理方法、及びプログラム
JP2012070319A (ja) * 2010-09-27 2012-04-05 Mitsubishi Electric Corp 画像処理方法、画像処理装置及び画像処理プログラム
JP2014165777A (ja) * 2013-02-27 2014-09-08 Toshiba Corp X線画像検出装置およびその欠陥画素判定方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529618B1 (en) * 1998-09-04 2003-03-04 Konica Corporation Radiation image processing apparatus
JP3876400B2 (ja) 1999-06-23 2007-01-31 富士通株式会社 赤外線撮像装置及び素子欠陥補償方法
US6618185B2 (en) 2001-11-28 2003-09-09 Micronic Laser Systems Ab Defective pixel compensation method
JP3995511B2 (ja) 2002-04-05 2007-10-24 三菱電機株式会社 点滅欠陥検出方法、映像補正方法及び固体撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005324015A (ja) * 2005-04-26 2005-11-24 Konica Minolta Holdings Inc 放射線画像処理方法および放射線画像処理装置
JP2008131273A (ja) * 2006-11-20 2008-06-05 Sony Corp 画像処理装置、画像処理方法、及びプログラム
JP2012070319A (ja) * 2010-09-27 2012-04-05 Mitsubishi Electric Corp 画像処理方法、画像処理装置及び画像処理プログラム
JP2014165777A (ja) * 2013-02-27 2014-09-08 Toshiba Corp X線画像検出装置およびその欠陥画素判定方法

Also Published As

Publication number Publication date
US11039096B2 (en) 2021-06-15
JP6838651B2 (ja) 2021-03-03
US20200304739A1 (en) 2020-09-24
WO2018198916A1 (ja) 2018-11-01

Similar Documents

Publication Publication Date Title
JP4160258B2 (ja) 勾配ベースの局部輪郭線検出のための新しい知覚的しきい値決定
US10699400B2 (en) Image processing apparatus, image processing method, and storage medium
JP4776308B2 (ja) 画像欠陥検査装置、画像欠陥検査システム、欠陥分類装置及び画像欠陥検査方法
US10726539B2 (en) Image processing apparatus, image processing method and storage medium
US11386549B2 (en) Abnormality inspection device and abnormality inspection method
JP6115214B2 (ja) パターン処理装置、パターン処理方法、パターン処理プログラム
CN104520983A (zh) 用于半导体制造中的检验的嵌入噪声中的缺陷的检测
US10078907B2 (en) Distance measurement apparatus, distance measurement method, and storage medium
KR20090101356A (ko) 결함 검출 장치 및 결함 검출 방법
JP4243454B2 (ja) 明度補正方法及び選択的欠陥検出方法及びこれらを記録した記録媒体
US10109045B2 (en) Defect inspection apparatus for inspecting sheet-like inspection object, computer-implemented method for inspecting sheet-like inspection object, and defect inspection system for inspecting sheet-like inspection object
CN111866501B (zh) 一种摄像模组检测方法、装置、电子设备及介质
WO2019026457A1 (ja) 画像監視装置、画像監視方法、画像監視プログラムおよび記録媒体
JP2005172559A (ja) パネルの線欠陥検出方法及び装置
JP6838651B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4244046B2 (ja) 画像処理方法および画像処理装置
US7646892B2 (en) Image inspecting apparatus, image inspecting method, control program and computer-readable storage medium
JPH06308256A (ja) 雲霧検出方法
JP2018196426A (ja) 毛穴検出方法及び毛穴検出装置
JP2009017158A (ja) カメラ検査装置
US20230069744A1 (en) Method of operating assessment device assessing color distortion of image sensor
CN113242422B (zh) 一种摄像模组的测试方法、装置、设备、系统及介质
JP5846100B2 (ja) 表示装置の欠陥検査方法
JP6690316B2 (ja) シート状の被検査体の欠陥検査装置、欠陥検査方法及び欠陥検査システム
JP4230962B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191011

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210125

R150 Certificate of patent or registration of utility model

Ref document number: 6838651

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150