JP5458223B1 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP5458223B1 JP5458223B1 JP2013544603A JP2013544603A JP5458223B1 JP 5458223 B1 JP5458223 B1 JP 5458223B1 JP 2013544603 A JP2013544603 A JP 2013544603A JP 2013544603 A JP2013544603 A JP 2013544603A JP 5458223 B1 JP5458223 B1 JP 5458223B1
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- white
- correction
- signal
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 38
- 238000012937 correction Methods 0.000 claims abstract description 235
- 230000007547 defect Effects 0.000 claims description 111
- 238000012545 processing Methods 0.000 claims description 22
- 230000002950 deficient Effects 0.000 claims description 20
- 238000012546 transfer Methods 0.000 claims description 11
- 230000002159 abnormal effect Effects 0.000 description 30
- 238000006243 chemical reaction Methods 0.000 description 16
- 238000000034 method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 229920006395 saturated elastomer Polymers 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 238000005286 illumination Methods 0.000 description 6
- 238000003780 insertion Methods 0.000 description 6
- 230000037431 insertion Effects 0.000 description 6
- 230000003111 delayed effect Effects 0.000 description 5
- 230000008054 signal transmission Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 239000004020 conductor Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
また、撮像素子は、最近、ますます高画素化、微細化されており、撮像素子に欠陥を持つ画素或いはノイズを発生する画素を皆無に製造することは不可能に近い。
このため、画像処理によって、撮像素子の通常画素とは異なるが画素信号を発生する欠陥画素や固定パターンのノイズを補正する技術が多数提案されている。
例えば、第1の従来例としての日本国特開2003−116060号公報には、欠陥画素補正部は、その内部に事前の検査により入手した欠陥画素の位置情報を記録する欠陥位置記録ROMを有し、該欠陥位置記録ROMから特定できる欠陥画素の周囲画素から相関性が高い方向を求め、その方向に属する周囲画素を用いて欠陥画素の補正値を算出する。
このため、ケーブルによりアナログの画素信号の波形がなまるような場合にも、欠陥画素としての白傷画素に起因する画素信号を適切に補正できる撮像装置が望まれる。
本発明は上述した点に鑑みてなされたもので、撮像素子における白傷画素の後に読み出される画素に対する白傷画素による影響を適切に補正できる撮像装置を提供することを目的とする。
(第1の実施形態)
図1に示すように本発明の撮像装置を構成する第1の実施形態の内視鏡装置1は、内視鏡検査を行うための電子内視鏡(以下、単に内視鏡と略記)2と、この内視鏡2に対して照明光を供給する光源装置3と、内視鏡2の撮像素子等に対する信号処理(画像処理)を行う信号処理装置(画像処理装置)としてのプロセッサ4と、プロセッサ4により生成された映像信号を表示する表示装置としてのモニタ5とを有する。
内視鏡2は、患者の体腔内等に挿入される挿入部6と、この挿入部6の基端(後端)に設けられた操作部7と、この操作部7から延出されたケーブル部8とを有する。このケーブル部8の端部の光源コネクタ9bは、光源装置3に着脱自在に接続され、また信号コネクタ9aは、プロセッサ4に着脱自在に接続される。
また、図1のプロセッサ4には、図1に示す内視鏡2とはケーブル長等が異なる内視鏡を接続して使用することもできる。
上記内視鏡2における挿入部6、操作部7,ケーブル部8内には照明光を伝送するライトガイド11が挿通され、その基端は光源コネクタ9bに至る。ユーザは、この光源コネクタ9bを光源装置3に接続することにより、光源装置3内の光源ランプ12により発生した照明光がコンデンサレンズ13により集光されてライトガイド11の基端に入射される。
また、先端部14内にはCCD16と、図示しないCCDを駆動するタイミングジェネレータ(TG)と、該CCD16に対する信号成分の抽出を行うCDS回路17とを一つのパッケージ組み込んだシステムインチップ部(SIPと略記)18が配置してある。また、本実施形態に係る内視鏡2においては、例えば信号コネクタ9a内にアナログ・デジタル変換手段としてのA/D変換回路19aを内蔵したアナログフロントエンド(AFE)19が配置されている。
欠陥画素としての白傷又は白傷画素は、正常な光電変換機能を有せず、転送信号の印加に対して信号レベルが高い白に近い画素信号(白信号)を出力する。
この画素信号は、CCD駆動信号における一部の信号(リセット信号)をノイズとして含むため、CDS回路17は、画素信号中の信号成分を抽出して、ノイズを除去した画素信号を出力する。なお、CDS回路17は、CCD駆動信号から信号成分を抽出するためのサンプリング信号を生成し、該サンプリング信号を用いてノイズを除去した画素信号を生成する。
CDS回路17によってノイズが除去されたベースバンドのアナログの画素信号は、挿入部6、操作部7,ケーブル部8内の信号伝送路又は信号伝送線を形成するケーブル25を介してAFE19に入力される。このAFE19において、画素信号は、AFE19内のアンプで増幅された後、アナログ・デジタル変換手段又はアナログ・デジタル変換部としてのA/D変換回路19aによって、アナログの画素信号からデジタルの画素信号に変換される。
白傷補正回路22により白傷画素の補正が行われた画素信号は、画像処理回路23により標準的な映像信号に変換され、モニタ5に出力される。モニタ5の表示面には、CCD16により撮像された被写体の画像が内視鏡画像として表示される。
また、内視鏡2は、該内視鏡2に搭載されているCCD16において予め調べられた白傷画素の2次元位置(単に位置と略記)情報を格納した白傷位置情報記憶手段又は白傷位置情報記憶部としてのメモリ27を内蔵している。例えば図1の例では信号コネクタ9a内にメモリ27が設けられている。このメモリ27には、CCD16の水平及び垂直の画素数の情報も格納している。
後述するように、白傷補正回路22は、メモリ41内に格納された白傷画素アドレスを用いて、この白傷補正回路22に入力される画素信号のアドレスから白傷画素アドレスに一致する場合には白傷画素と判定し、一致しない場合には白傷画素でない通常画素と判定する。
例えば、CCD駆動信号がCCD16の水平方向のi番目及び垂直方向にj番目の画素P(i,j)を駆動するタイミングの時、ケーブル25の長さによる遅延量のため、AFE19を経て白傷補正回路22に実際に入力される画素信号が(水平方向に配置された画素を単位として)画素数n分だけ遅れる場合には、その画素数n分だけ遅れる情報がメモリ27に予め格納されている。つまり、CCD駆動信号が画素P(i,j)を駆動するタイミングの時、ケーブル25の長さによる遅延量のため、前記画素P(i,j)の画素信号が白傷補正回路22に実際に入力されるタイミングは、P(i+n,j)にずれる。
このため、SIP18から出力されるアナログの画素信号をケーブル25により伝送した場合、CCD自身の水平転送効率劣化や、ノイズ抑制のためのローパスフィルタや、ケーブル25を同軸ケーブルにした場合の長さの増大と共に、(内側導体と外側導体間の)容量が増大して容量性負荷が増大する等のために、白傷画素の画素信号もその波形が鈍り、白傷画素の画素信号と共に、この白傷画素の画素信号の後に(CCD駆動信号の印加により読み出されて)出力される所定の画素の画素信号がその影響を受ける。
この白傷補正回路22により補正された画素信号は、画像処理回路23を構成するOBクランプ回路31により、OB部の信号レベルがクランプされる。なお、OBはオプティカルブラックの略であり、OB部は、撮像素子としてのCCD16の撮像面の画素を光学的に遮光して、遮光された画素から出力される画素信号のレベルを、遮光されていない画素の画素信号の黒レベルとして用いる。このOBクランプ回路31から出力される画素信号は、ホワイトバランス回路33に入力され、ホワイトバランスの調整が行われる。つまり、白い被写体を撮像した場合のR,G,Bの画素信号のレベルが1:1:1となるようにホワイトバランス回路33内のアンプのゲインが調整される。
図3は図1及び図2の白傷補正回路22の構成を示す。
白傷補正回路22内のメモリ41は、メモリ27から読み出された白傷画素の位置情報としての白傷画素アドレスのデータと、CCD16及びCDS回路17を経て出力されたアナログの画素信号が、ケーブル25により伝送され、A/D変換された後、白傷補正回路22に実際に入力されるまでの時間遅延する遅延量(遅延時間)のデータとの情報を格納している。
CCD16により撮像され、CDS処理された画素信号はケーブル25により伝送され、AFE19内のA/D変換回路19aによりデジタルの画素信号となり、白傷補正回路22内の白傷画素補正回路42に入力されると共に、セレクタ43の一方の入力端saに入力される。白傷画素補正回路42は、白傷画素を補正した画素信号をセレクタ43の他方の入力端sbに出力する。また、メモリ41の白傷アドレスは、セレクタ43の2つの入力端sa,sbに入力される2つの画素信号の一方を選択して、セレクタ43から出力させるようにセレクタ43の切替(選択)を制御するのに用いられる。
具体的には、白傷補正回路22内に白傷画素が入力された場合には、白傷アドレスは白傷画素補正回路42により白傷補正がされた画素信号Pcorを選択して出力するようにセレクタ43の切替(選択)を制御し、白傷画素ではなく通常画素Pnが入力された場合にはこの通常画素Pnを選択して出力するようにセレクタ43の切替(選択)を制御する。
白傷補正回路22に入力された通常画素Pnは、セレクタ43を介して、次段の画像処理回路23に出力されると共に、白傷画素補正回路42に入力され、白傷周囲8画素における白傷画素Pwの右横に隣接する隣接画素(白傷の画素信号の1画素分後に出力される画素)Pwrを除外した白傷周囲7画素の画素信号は、白傷画素Pwの画素信号を補正するために用いられる。そして、白傷画素補正回路42内に設けた白傷周囲7画素回路44は、白傷画素Pwを補正する白傷補正値として上記白傷周囲7画素の画素信号の平均値Pavを算出して、平均値Pavを白傷画素Pwを補正する画素信号Pcorとしてセレクタ43に出力する。
従って、本実施形態の内視鏡装置1によれば、ケーブル25によりアナログの画素信号の波形がなまる場合にも欠陥画素としての白傷画素に起因する画素信号を適切に補正できる。
また、搭載された撮像素子としてのCCD16やケーブル25の長さ等が異なる内視鏡2を用いた場合にも、各内視鏡2に搭載された内視鏡情報記憶手段としてのメモリ27には、搭載されたCCD16に存在する白傷画素Pwの位置情報等が格納されているので、白傷画素に起因する画素信号を適切に補正できる。
次に本発明の第2の実施形態を説明する。第1の実施形態においては、主に白傷画素の画素信号がケーブル25によって鈍ることを考慮して、鈍った場合の白傷画素の画素信号に対する補正を行うようにしていた。
白傷画素による画素信号のようにステップ状に変化した場合、信号伝送路を形成するケーブル25のケーブル長等に依存して、ケーブル25により伝送される画素信号が減衰振動的に変化するリンギングが発生する場合がある。本明細書におけるリンギングは、白傷画素がステップ状に上に凸となる波形で発生した場合、以下に記載のようにその白傷画素の後に下に凸、つまり谷となる波形が現れる現象を指し、通常のパルスの立ち上がり部分と立ち下がり部分とでそれぞれ振動波形が発生するリンギングとは異なる。
このため、本実施形態においては、第1の実施形態において、さらに白傷画素のリンギングによる異常画素を補正するリンギング補正手段、換言すると谷状に下がる異常画素の画素値を加算により補正する加算補正手段を設けるようにしている。図5は本実施形態の内視鏡装置における撮像系部分の構成を示す。
図5に示す構成は、図2の構成において、白傷補正回路22の前段にリンギングによる異常画素を補正する加算補正手段としてのリンギング補正回路61を設けた構成である。白傷補正回路22の構成及び作用は、第1の実施形態において説明した内容と同じであるため、その説明を省略する。なお、白傷補正回路22が、その内部にリンギング補正回路61を備えた構成にしても良い。つまり、白傷補正手段がリンギングによる異常画素を補正するリンギング補正手段としてのリンギング補正回路61を備えた構成でも良い。
また、本実施形態においては、各内視鏡2に設けたメモリ27内に、上述した白傷画素Pwの位置情報等の他に、予め白傷画素Pwから(数えて)黒傷と呼ばれる異常画素が発生する画素の位置(画素数位置)の情報と、白傷画素Pwの画素信号値(レベル)に対する異常画素の画素信号値(レベル)として低下する信号値比(レベル比)又は割合等の情報とを補正パラメータとして格納する。
例えば、白傷画素PwからN番目の画素が異常画素又は補正対象の画素である場合には、メモリ27は、Nの情報を予め記憶している。
また、白傷画素Pwの画素信号値をVwとし、異常画素Paの谷状に低下する低下画素信号値がVaとなる場合には、メモリ27は、Va/(Vw−Va)=kとなる補正係数kの情報を予め記憶している。
そして、異常画素Paiの画素信号値Vaiに対して、(Vw−Vai)×kiを乗算した補正値を加算して、異常画素Paiの画素信号値Vaiを補正する(なお、異常画素Paiなどにおけるiを除去すると、1つの異常画素Paに対する補正となる)。
図6は、白傷画素Pwの画素信号とその白傷画素Pwの画素信号により異常画素Pa又はPaiが発生する概略の波形例を示している。なお、図6における(A)と(B)は、例えばケーブル長が異なる場合を示している。ケーブル長の他に、ケーブルの種類や、ケーブルの端部等もリンギングの発生に影響する。
上記CDS回路17の出力信号は、ケーブル25によって伝送されるが、リンギングにより白傷画素Pwの画素信号は、図6のケーブル伝送後の波形で示すようにその画素信号自体が段差状のパルス波形から山状に(鈍った)凸部の波形に変形すると共に、その白傷画素Pwの後に出力される画素部分側において谷状に凹部となる波形に変形する。つまり、白傷画素Pwにより、その白傷画素Pwに後続する画素の画素信号値は谷状に小さくなってしまう。
図6(A)のAFE後の波形においては、白傷画素Pwから2画素目に谷状に凹部となる異常画素Paが発生している。
一方、図6(B)のAFE後の波形においては、白傷画素Pwから2画素目と3画素目に谷状に凹部となる異常画素Pa1,Pa2が発生している。
このような異常画素Pa(Pa1、Pa2等)を補正するため、本実施形態においては、加算補正手段を構成するリンギング補正回路61は、入力されるデジタルの画素信号に対して異常画素Pai(なお、Paの並列表記を省略するが、Paiは、Paの場合も含むとする)に対する補正を行う。このリンギング補正回路61により補正がされた画素信号は、白傷補正回路22に入力され、上述したように、白傷画素Pwに対する補正がされて、画像処理回路23に出力される。
図7は、加算補正手段としてのリンギング補正回路61の詳細な構成を示す。このリンギング補正回路61は、入力される画素信号から、メモリ41の白傷画素Pwの位置情報を用いて白傷画素Pwの画素信号値Vwが入力されるタイミングにおいて、白傷画素Pwの画素信号値Vwと、補正係数kiとを乗算する乗算回路65と、乗算した補正値Vw×kiを保持(記憶)する補正値保持回路66を有する。この乗算回路65と、補正値保持回路66とにより白傷画素Pwの画素信号値Vwによる異常画素Paiの画素信号値Vaiを補正する補正値を算出して保持する補正値算出保持回路67を構成する。
また、このリンギング補正回路61は、白傷画素Pwの後に入力される異常画素Paiに対してその画素信号値Vaiと、上記補正値保持回路66により保持された補正値とを加算した補正を行い、セレクタ69を介して白傷補正回路22に出力する加算補正回路68を有する。なお、セレクタ69は、リンギング補正のON/OFFを行うスイッチ70により、OFFの場合には白傷画素Pwの画素信号値Vwを選択し、ONの場合には加算補正回路68により、補正値を加算した画素信号を選択して、白傷補正回路22に出力する。
この様な構成による本実施形態におけるリンギング補正回路61の動作を説明する。
上述したように、リンギング補正回路61には、図6で説明したAFE出力波形の画素信号が入力される。
リンギング補正回路61内の乗算回路65は、図6の最下段に示すように白傷画素Pwが入力されたタイミングでその画素信号値Vwと補正係数kiとを乗算して補正値Vw×kiを算出し、補正値保持回路66はその補正値Vw×kiを保持する。
なお、この白傷画素Pwの画素信号は、リンギング補正回路61を経由して、白傷補正回路22に入力される。
また、加算補正手段としての加算補正回路68は、図6(A)に示すように白傷画素Pw後に入力される異常画素Paの画素信号値Vaが入力されると、その画素信号値Vaに、補正値保持回路66により保持された補正値Vw×kiを加算して、出力する。つまり、加算補正回路68は、異常画素Paの画素信号値Vaが入力されると、補正された画素信号値Va+Vw×kiに補正して、白傷補正回路22に出力する。
また、図6(B)に示すように複数の異常画素Pa1,Pa2が発生する場合には、各異常画素Pa1,Pa2に対して、補正係数k1,k2を用いて、上記の補正と同様の補正を行う。
前述したように、白傷画素1つに対して1画素分後に出力される隣接画素(水平隣接画素)の画素信号を除いて、白傷補正値として上記白傷周囲7画素の画素信号の平均値Pavを算出することを説明したが、CCDにおいては転送方式の原理から、水平方向に関連性を持つため、該白傷画素の画素信号の1画素分前に出力される1画素についても白傷画素に対する影響を考慮するようにしても良い。
例えば、白傷画素の水平方向に(前後に)隣接する隣接画素2つを除いた白傷周囲6画素の画素信号の平均値を算出することが挙げられる。更に、補正係数をそれぞれに準備し、隣接画素2つを補正することも挙げられる。
このようにして、リンギング補正回路61から図6の最下段に示すように異常画素Pa、Pai(i=1,2)の画素信号値Vaiが補正された画素信号が白傷補正回路22側に出力され、白傷補正回路22は、上述したように白傷画素Pwに対する補正を行う。
このような構成及び作用を有する本実施形態によれば、第1の実施形態のようにケーブルによりアナログの画素信号の波形がなまる場合にも欠陥画素としての白傷画素に起因する画素信号を適切に補正できると共に、白傷によるリンギングによってその周囲に谷状に画素信号値を低下させる異常画素Paが発生した場合にも、その異常画素Paの画素信号値を適正な画素信号値に補正することができる。従って、本実施形態によれば、リンギングにより黒点状に画質が劣化する現象が発生した場合にも、その画質の劣化を軽減ないしは解消することができる。
この場合には、白傷補正回路22により白傷補正を行った場合にも、白傷補正を行う前の白傷画素Pwの画素信号値Vwを保持し、その画素信号値Vwを用いてリンギング補正回路61はリンギング補正を行うようにする。
白傷画素Pwが通常画素Pnに対して、まれに発生するような場合には、リンギング補正を白傷補正回路22の前に行う場合と後に行う場合との作用効果は殆ど同じである。
しかし、以下に説明するように、白傷画素Pwが近接(接近)して発生するような場合があり得る。このような場合を考慮すると、以下に説明するようにリンギング補正を行った後、白傷補正を行う方が、複雑化しない処理方法で簡単に補正することができる。
図8は、CCD16における複数の白傷画素Pw1,Pw2が接近して存在している部分を示す。図8のように複数の白傷画素Pw1,Pw2が水平方向に接近して存在する場合には、リンギングによる影響とケーブル25の鈍りによる影響が混在した状態となるため、例えば先に白傷補正回路22により白傷補正を行った場合には、リンギングによる影響を補正する際必要となる白傷画素Pwの画素信号値が補正されてしまう等、その影響を補正する処理方法が複雑化し簡単に補正し難くなる。
これに対して、上述したように先にリンギング補正回路61によってリンギングによる影響を除去(又は軽減)すると、残りは殆ど白傷画素Pwとケーブル伝送の鈍りに起因するものとなる。このため、残りの白傷画素Pwとケーブル伝送の鈍りによるものに対して、第1の実施形態のようにそれを除去するように補正を行えば良く、処理が複雑化することなく、簡単に補正ができる。
(第3の実施形態)
図9は、第3の実施形態における隣接画素補正回路71の構成を示す。本実施形態は、例えば第2の実施形態において、さらに白傷画素Pwに隣接する隣接画素Pwrに対する補正を行う隣接画素補正手段としての隣接画素補正回路71を設けたものである。
AFE19から出力される画素信号は、隣接画素補正回路71を構成する例えば3ラインメモリ72に入力され、垂直方向に3つの画素が隣接する関係を保つようにした3水平ライン分の画素信号が順次記憶される。そして、中央ラインの出力端から読み出される画素信号は、判定手段を形成する比較器73に入力されると共に、切り換え回路74の一方の入力端a及びリンギング回路61を経て入力端cに出力される。
比較器73は、上記画像信号と、閾値設定回路75により設定される閾値と比較し、比較結果により、上記切り換え回路74の信号切り換えを制御する。換言すると、比較器73は、閾値を用いて、上記画像信号が補正すべき範囲内は否かを判定する判定手段を形成する。
例えば第1の閾値は、暗電流(又は黒レベル)のレベルを判定する閾値に設定されており、第2の閾値は暗電流のレベルよりもさらに低い0に近いレベルを判定する閾値に設定されており、第3の閾値は以下に説明する平均値から所定割合以上に低下しているか否かを判定する閾値に設定されている。
一方、第3の閾値は、リンギングの影響よりも、白傷画素Pwがケーブル25による伝送の際の容量性負荷のために波形の鈍りが大きく、その鈍りが隣接画素Pwrまで及ぶような使用環境の場合を判定するためのものである。
そして、比較器73は、隣接画素Pwrの画像信号の信号値を、該隣接画素Pwrの垂直方向(上下方向)に隣接する(白傷画素Pwによるケーブル伝送に影響されない)垂直隣接画素影響の平均値Vavに所定の係数Cを乗じた第3の閾値とを比較することにより、白傷画素Pwによるケーブル伝送により影響されているか否かを判定する。
また、隣接画素補正回路71は、3ラインメモリ72から上記中央ラインの1ライン前の画素信号と、1ライン後の画素信号との平均値を算出する平均値算出回路79を有する。この平均値算出回路79は、隣接画素Pwrの1ライン前と後との垂直方向に隣接する2画素の画素信号の平均値Vavを算出して、切り換え回路74の他方の入力端bに出力すると共に、第3の閾値発生回路76cに出力する。
第3の閾値発生回路76cは、平均値Vavに所定割合の係数C(例えばC=0.7−0.8程度)を乗算して、第3の閾値を発生する。
一方、比較器73は、上記隣接画素Pwrの画素信号の信号値が閾値を超える比較結果の場合には、入力端aを選択するように切り換え、隣接画素Pwrの画素信号が切り換え回路74を経て白傷補正回路22に出力される。
このような構成及び動作をする本実施形態によれば、第2の実施形態の作用効果の他に、さらに隣接画素Pwrが白傷画素Pwによりリンギングやケーブル伝送による鈍りで本来の信号値からずれた値となるような場合においては、その垂直方向に隣接する隣接画素の平均値で置換する補正を行うため、良好な画質に補正できる。
上述した実施形態等を部分的に組み合わせる等して構成される実施形態も本発明に属する。また、図1においては、AFE19を信号コネクタ9a内に設けた例を示しているが、例えば内視鏡2の操作部7内等、他の場所に配置しても良い。また、AFE19やA/D変換回路19aをプロセッサ4内に配置しても良い。
一般的には飽和ザラと呼ばれる現象である。飽和ザラはモニタ5に見えないような構成になっていれば問題は無い。例えば、CCD16の画像信号の最大値が、十分に得られる場合、ダイナミックレンジが広いと考えられ、飽和ザラが出ない範囲でモニタ5に映るようにすればよい。通常は、飽和クリップという手段で、飽和ザラが出ない画像信号レベルで制限を掛ける。飽和クリップの閾値以上の画像信号を飽和クリップの閾値に置き換える。
なお、画像信号の最大値が十分であるか否かを判定する場合、CCD16の画像信号が線形である範囲で考えるべきである。線形であれば、受光した光量に比例して画像信号が得られ、適正な画像を作ることができる。
こうしたことから、CCD16の画像信号の最大値が十分でないことで、いくつかの画素では飽和クリップの閾値を下回る場合、飽和ザラがモニタ5に見えてしまう。
また、そのようなときには、モニタ5に表示するまでの画像処理におけるゲイン調整(ホワイトバランス調整を含む)やガンマ補正が影響して、飽和ザラが目立ってしまうこともある。
なお、こうした現象はCCD16の性能に強く依存する為、CCD16の特徴に応じて対応することが望ましい。その現象はCCD16の個体差ではなく、CCD16の種類(画素数の違いや、動作周波数の違い)に依存する。また、その現象がCCD16の種類によって変わることもあり、飽和ザラが縦方向に連続する特徴があるものと無いものがある。
このような課題に対して、メモリ27に、CCD16において飽和ザラを起こす(単に未飽和画素と略記)ような画素の位置を記憶させ、その位置情報を元に補間(補正)をすると良い。補間(補正)方法はこれまで述べてきたように、周囲の画素を用いた平均値を適用すればよい。その方法を図10により説明する。図10は補間(補正)対象となる(斜線で示す)未飽和画素及び未飽和画素に隣接する周辺の8画素(A〜H)を示す。なお、以下においては、画素I(I=A〜H)の画素値も簡略的にIにより示す。
この場合には、(A+C+2D+2E+F+H)÷8によって求まる。画素BとGの代わりに、画素DとEを用いることで、平均値が小さくならず、十分高い信号レベルで補間することができる。同様に、周囲の画素の中で平均値を求めるのに不適切な画素があれば、その代わりに適切な画素と置き換えることで、適切な補間が可能となる。
補間は、主に、CCD16により生じる未飽和画素の特徴に依存することとなる。従って、CCD16の種類によって、平均値の算出方法を変えればよい。
未飽和画素の補間方法では前記位置情報を用いたが、記憶容量は有限の為、効果的に補間することが望ましい。具体的には位置情報を用いた補間と位置情報を用いない補間を組み合わせることである。
具体的には、CCD16を製造して出荷する際の検査で対応することが望ましい。なぜなら、画像信号を正確に測定したり、CCD16へ適正な光を与えたりする必要があるから。
前記位置情報に基づく画素の位置では、画像信号が補間用閾値を超えた時に補間を実行して飽和ザラを改善する。そうすることで、飽和するはずの画像信号を十分な飽和として変えることができる。画像信号が補間用閾値よりも小さいときには、飽和しなくてよいので、補間をしないようにする。
次に、前記位置情報に基づかない画素の位置では、対象画素に対して、高輝度判定の閾値を超えた時、更に未飽和判定の閾値(98IRE)を用いて判定を行う。この判定では、98〜100IREであれば補間をしないが、96〜98IREであれば補間をするようになる。
なお、メモリ27に、白傷画素の位置と未飽和画素の位置を記憶する場合、いづれかが分かるようなフラグをMSB(16bitデータの最上位bit)に設けたり、記憶領域を分けることとすればよい。
また、これまでは画素の位置情報を用いる方法と用いない方法の組合せであったが、もし画素の位置情報が無い内視鏡があれば、前記に説明した画素の位置情報を用いない方法で補間をすればよい。
例えば、高輝度判定の閾値を下回った場合、周辺8画素の平均値で置き換える補間方法が挙げられる。
Claims (13)
- 被写体を撮像するために2次元状に配列された複数の画素を有し、該複数の画素により撮像した画素信号を出力する撮像素子と、
前記撮像素子に存在する欠陥画素としての白傷画素の位置情報を記憶する白傷位置情報記憶部と、
前記撮像素子に対して転送信号を印加することにより、前記撮像素子を構成する前記複数の画素から所定の方向に沿って前記画素信号を出力させる撮像素子駆動部と、
前記白傷位置情報記憶部から読み出した前記白傷画素の位置情報に基づき、前記転送信号の印加により前記撮像素子から出力される前記画素信号が白傷画素のものと判定された時、前記撮像素子から出力される、前記白傷画素と判定された画素を囲む周囲8画素の画素信号のうちの、前記白傷画素と判定された画素の1画素後に出力される隣接画素の画素信号を除いた7個の画素により算出された白傷補正値に基づき、前記白傷画素と判定された画素の画素信号に対して白傷補正を行う白傷補正部と、
前記撮像素子を構成する各画素のアナログの画素信号を伝送するケーブルと、
前記ケーブルにより伝送された前記アナログの画素信号をデジタルの画素信号に変換して前記白傷補正部に出力するアナログ・デジタル変換部と、
前記白傷画素と判定された画素から1画素数以上となる所定の画素数だけ後に出力される所定の画素の画素信号に対して、前記白傷画素と判定された画素の画素信号値の所定の割合を加算する補正を行う加算補正部と、
を備えることを特徴とする撮像装置。 - 前記白傷補正部は、前記白傷画素と判定された画素に対して、前記7個の画素の画素信号の平均値を前記白傷補正値として算出する白傷補正回路と、
前記白傷位置情報記憶部の前記白傷画素の位置情報に基づく切替信号により、前記白傷画素と判定されない通常画素が入力された場合には、該通常画素の画素信号を選択して出力し、前記白傷画素と判定された画素の画素信号が入力された場合には、前記白傷補正回路により算出された前記白傷補正値の画素信号を選択して出力するセレクタと、
を有することを特徴とする請求項1に記載の撮像装置。 - 前記白傷画素と判定された画素から前記所定の画素数だけ後に出力される前記所定の画素の位置と、前記所定の割合との補正情報を、予め記憶する補正情報記憶部を有し、
前記加算補正部は、前記補正情報記憶部の前記位置の情報を用いて前記所定の画素の画素信号が該加算補正部に入力されるタイミングにおいて、当該画素信号に対して前記白傷画素と判定された画素の画素信号値の所定の割合を加算する加算補正を行うことを特徴とする請求項1に記載の撮像装置。 - 前記白傷画素と判定された画素から前記所定の画素数だけ後に出力される前記所定の画素の位置と、前記所定の割合との補正情報を、予め記憶する補正情報記憶部を有し、
前記加算補正部は、前記補正情報記憶部の前記位置の情報を用いて前記所定の画素の画素信号が該加算補正部に入力されるタイミングにおいて、当該画素信号に対して前記白傷画素と判定された画素の画素信号値所定の割合を加算する加算補正を行うことを特徴とする請求項2に記載の撮像装置。 - 更に、前記白傷画素と判定された画素の1画素後に出力される前記隣接画素の画素信号の信号値を、閾値を用いて補正すべき範囲内か否かを判定する判定部と、
前記判定部が補正すべきと判定した場合に、前記隣接画素の画素信号を、該隣接画素を前記所定の方向と直交する方向に隣接する2画素の画素信号の平均値で置換する補正を行う隣接画素補正部を有することを特徴とする請求項3に記載の撮像装置。 - 更に、前記白傷画素と判定された画素の1画素後に出力される前記隣接画素の画素信号の信号値を、閾値を用いて補正すべき範囲内か否かを判定する判定部と、
前記判定部が補正すべきと判定した場合に、前記隣接画素の画素信号を、該隣接画素を前記所定の方向と直交する方向に隣接する2画素の画素信号の平均値で置換する補正を行う隣接画素補正部を有することを特徴とする請求項4に記載の撮像装置。 - 前記加算補正部は前記白傷補正部の前段側に設けられ、前記白傷補正部は、前記加算補正部による加算補正された後の画素信号に対して前記白傷補正を行うことを特徴とする請求項3に記載の撮像装置。
- 前記加算補正部は前記白傷補正部の前段側に設けられ、前記白傷補正部は、前記加算補正部による加算補正された後の画素信号に対して前記白傷補正を行うことを特徴とする請求項5に記載の撮像装置。
- 前記判定部は、前記隣接画素の画素信号の信号値と、前記閾値としての前記隣接画素に隣接する前記2画素の画素信号の平均値に所定係数を乗算した値とを比較することにより、前記判定を行うことを特徴とする請求項6に記載の撮像装置。
- 前記補正情報記憶部は、前記白傷画素と判定された1つの画素に対して、前記所定の画素の位置として第1の位置及び第2の位置とを含む複数の位置と、前記第1の位置及び前記第2の位置に対応して、前記所定の割合を表す第1の係数と第2の係数とを前記補正情報として予め記憶しており、
前記加算補正部は、前記第1の位置及び第2の位置の前記所定の画素それぞれに対して、前記第1の係数と前記第2の係数を前記白傷画素と判定された画素の画素信号値にそれぞれ乗算した値を用いて前記加算補正を行うことを特徴とする請求項3に記載の撮像装置。 - 前記補正情報記憶部は、前記白傷画素と判定された1つの画素に対して、前記所定の画素の位置として第1の位置及び第2の位置とを含む複数の位置と、前記第1の位置及び前記第2の位置に対応して、前記所定の割合を表す第1の係数と第2の係数とを前記補正情報として予め記憶しており、
前記加算補正部は、前記第1の位置及び第2の位置の前記所定の画素それぞれに対して、前記第1の係数と前記第2の係数を前記白傷画素と判定された画素の画素信号値にそれぞれ乗算した値を用いて前記加算補正を行うことを特徴とする請求項4に記載の撮像装置。 - 前記撮像素子と前記白傷位置情報記憶部とを備え、一端が前記撮像素子に接続された前記ケーブルが挿通された内視鏡と、前記ケーブルの他端が着脱自在に接続され、前記撮像素子駆動部と前記白傷補正部と、を備えた信号処理装置とを備えることを特徴とする請求項1に記載の記載の撮像装置。
- 前記撮像素子と前記白傷位置情報記憶部と前記補正情報記憶部とを備え、一端が前記撮像素子に接続された前記ケーブルが挿通された内視鏡と、前記ケーブルの他端が着脱自在に接続され、前記撮像素子駆動部と前記白傷補正部とを備えた信号処理装置と、を備えることを特徴とする請求項4に記載の記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013544603A JP5458223B1 (ja) | 2012-04-10 | 2013-04-09 | 撮像装置 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012089437 | 2012-04-10 | ||
JP2012089437 | 2012-04-10 | ||
PCT/JP2013/060726 WO2013154105A1 (ja) | 2012-04-10 | 2013-04-09 | 撮像装置 |
JP2013544603A JP5458223B1 (ja) | 2012-04-10 | 2013-04-09 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5458223B1 true JP5458223B1 (ja) | 2014-04-02 |
JPWO2013154105A1 JPWO2013154105A1 (ja) | 2015-12-17 |
Family
ID=49327667
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013544603A Active JP5458223B1 (ja) | 2012-04-10 | 2013-04-09 | 撮像装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8866940B2 (ja) |
EP (1) | EP2750373B1 (ja) |
JP (1) | JP5458223B1 (ja) |
CN (1) | CN103858422B (ja) |
WO (1) | WO2013154105A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6295654B2 (ja) * | 2013-12-26 | 2018-03-20 | セイコーエプソン株式会社 | カメラ、及び画像処理方法 |
EP3189772A4 (en) * | 2014-09-03 | 2018-05-16 | Olympus Corporation | Endoscope device |
CN104363391B (zh) * | 2014-11-28 | 2018-11-27 | 广东欧珀移动通信有限公司 | 图像坏点补偿方法、系统及拍照设备 |
WO2018020685A1 (ja) | 2016-07-29 | 2018-02-01 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
WO2018020687A1 (ja) * | 2016-07-29 | 2018-02-01 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
CN107613229A (zh) * | 2017-09-30 | 2018-01-19 | 杭州雄迈集成电路技术有限公司 | 一种图像传感器坏点检测校正装置及方法 |
KR20200129388A (ko) * | 2019-05-08 | 2020-11-18 | 엘지이노텍 주식회사 | 카메라 모듈 |
US11509845B2 (en) * | 2021-03-05 | 2022-11-22 | Black Sesame Technologies Inc. | Multiple frame defect pixel detection and correction |
US20230096874A1 (en) * | 2021-09-29 | 2023-03-30 | Ati Technologies Ulc | Content adaptive filtering via ringing estimation and suppression |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1042201A (ja) * | 1996-07-26 | 1998-02-13 | Hitachi Denshi Ltd | 画像欠陥補正回路 |
JPH1051693A (ja) * | 1996-07-30 | 1998-02-20 | Toshiba Medical Eng Co Ltd | 撮像素子の欠陥画素補正処理装置 |
JP2004241600A (ja) * | 2003-02-06 | 2004-08-26 | Sony Corp | 欠陥検出回路及び欠陥検出方法 |
JP2006109067A (ja) * | 2004-10-05 | 2006-04-20 | Ikegami Tsushinki Co Ltd | 欠陥画素処理装置及び方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5521639A (en) * | 1992-04-30 | 1996-05-28 | Sony Corporation | Solid-state imaging apparatus including a reference pixel in the optically-black region |
JP2003078821A (ja) * | 2001-08-31 | 2003-03-14 | Hitachi Kokusai Electric Inc | 撮像装置 |
JP4054184B2 (ja) | 2001-10-03 | 2008-02-27 | オリンパス株式会社 | 欠陥画素補正装置 |
JP3941698B2 (ja) * | 2003-01-23 | 2007-07-04 | ソニー株式会社 | 画素補正回路及び画素補正方法 |
JP4305777B2 (ja) * | 2006-11-20 | 2009-07-29 | ソニー株式会社 | 画像処理装置、画像処理方法、及びプログラム |
EP2015562A1 (en) * | 2007-07-10 | 2009-01-14 | Thomson Licensing S.A. | Processing device for correcting defect pixel values of an image sensor unit, image sensor unit with the processing device and method |
US20090091642A1 (en) * | 2007-10-03 | 2009-04-09 | Winbond Electronics Corp. | Image defect correction system using directional detection |
JP5060535B2 (ja) * | 2009-09-24 | 2012-10-31 | 株式会社東芝 | 画像処理装置 |
JP5269841B2 (ja) * | 2010-07-22 | 2013-08-21 | 株式会社東芝 | 画像処理装置 |
JP5306298B2 (ja) * | 2010-09-01 | 2013-10-02 | 株式会社東芝 | 画像処理装置 |
KR101243363B1 (ko) * | 2010-11-12 | 2013-03-13 | 에스케이하이닉스 주식회사 | 불량픽셀 제거 장치 및 방법 |
-
2013
- 2013-04-09 CN CN201380003425.1A patent/CN103858422B/zh active Active
- 2013-04-09 EP EP13775185.5A patent/EP2750373B1/en not_active Not-in-force
- 2013-04-09 WO PCT/JP2013/060726 patent/WO2013154105A1/ja active Application Filing
- 2013-04-09 JP JP2013544603A patent/JP5458223B1/ja active Active
-
2014
- 2014-03-14 US US14/212,244 patent/US8866940B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1042201A (ja) * | 1996-07-26 | 1998-02-13 | Hitachi Denshi Ltd | 画像欠陥補正回路 |
JPH1051693A (ja) * | 1996-07-30 | 1998-02-20 | Toshiba Medical Eng Co Ltd | 撮像素子の欠陥画素補正処理装置 |
JP2004241600A (ja) * | 2003-02-06 | 2004-08-26 | Sony Corp | 欠陥検出回路及び欠陥検出方法 |
JP2006109067A (ja) * | 2004-10-05 | 2006-04-20 | Ikegami Tsushinki Co Ltd | 欠陥画素処理装置及び方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2750373A1 (en) | 2014-07-02 |
JPWO2013154105A1 (ja) | 2015-12-17 |
EP2750373A4 (en) | 2015-04-22 |
EP2750373B1 (en) | 2017-10-25 |
US8866940B2 (en) | 2014-10-21 |
CN103858422A (zh) | 2014-06-11 |
WO2013154105A1 (ja) | 2013-10-17 |
US20140211049A1 (en) | 2014-07-31 |
CN103858422B (zh) | 2016-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5458223B1 (ja) | 撮像装置 | |
US20160269611A1 (en) | Image pickup apparatus | |
JP5097308B2 (ja) | インピーダンスマッチング装置及びこれを備えた内視鏡 | |
JPWO2012017735A1 (ja) | 内視鏡システム | |
US8243172B2 (en) | Image pickup system | |
JPH07111978A (ja) | 内視鏡用画像処理装置 | |
JP5847017B2 (ja) | 電子内視鏡装置及びその作動方法 | |
JP5244164B2 (ja) | 内視鏡装置 | |
JP6013647B1 (ja) | 内視鏡 | |
EP2589329B1 (en) | Endoscope and endoscopic system | |
US20170208268A1 (en) | Endoscope and endoscope system | |
JP5959331B2 (ja) | 内視鏡装置 | |
JP6192671B2 (ja) | 内視鏡システム、内視鏡システムの作動方法 | |
JP2000342533A (ja) | 内視鏡装置 | |
JP2002372662A (ja) | 交換レンズ及びそれを有するカメラシステム | |
JP2012213211A (ja) | 撮像装置および撮像方法 | |
US10484626B2 (en) | Gain adjustment unit, recording medium holding gain adjustment program, endoscope and endoscope apparatus | |
WO2018079397A1 (ja) | 内視鏡装置 | |
JP5322633B2 (ja) | 撮像装置 | |
JPH11164195A (ja) | 撮像装置 | |
JP5827868B2 (ja) | 電子内視鏡及び固定パターンノイズ除去方法 | |
JP6150969B1 (ja) | ゲイン調整装置、ゲイン調整プログラム、内視鏡及び内視鏡装置 | |
US9888836B2 (en) | Endoscope | |
JP2013054198A (ja) | 内視鏡装置、内視鏡システム及び内視鏡装置本体部 | |
JP2009095525A (ja) | 内視鏡装置の電子内視鏡 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140110 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5458223 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |