JP5458223B1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP5458223B1
JP5458223B1 JP2013544603A JP2013544603A JP5458223B1 JP 5458223 B1 JP5458223 B1 JP 5458223B1 JP 2013544603 A JP2013544603 A JP 2013544603A JP 2013544603 A JP2013544603 A JP 2013544603A JP 5458223 B1 JP5458223 B1 JP 5458223B1
Authority
JP
Japan
Prior art keywords
pixel
white
correction
signal
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013544603A
Other languages
English (en)
Other versions
JPWO2013154105A1 (ja
Inventor
啓介 筒井
慎 大塚
文行 大河
隆行 塙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2013544603A priority Critical patent/JP5458223B1/ja
Application granted granted Critical
Publication of JP5458223B1 publication Critical patent/JP5458223B1/ja
Publication of JPWO2013154105A1 publication Critical patent/JPWO2013154105A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

撮像装置は、被写体を撮像するために2次元状に配列された複数の画素により撮像した画素信号を出力する撮像素子と、撮像素子に存在する白傷画素の位置情報を記憶するメモリ41と、撮像素子から画素信号を出力させる撮像素子駆動部と、メモリ41から読み出した白傷画素の位置情報に基づき、撮像素子から出力される画素信号が白傷画素のものと判定された時、白傷画素と判定された画素を囲む周囲8画素の画素信号のうちの、白傷画素と判定された画素の1画素後に出力される隣接画素の画素信号を除いた7個の画素により算出された白傷補正値に基づき、白傷画素と判定された画素の画素信号に対して補正を行う白傷補正回路42と、を備える。

Description

本発明は、被写体を撮像する撮像素子に対する画像処理を行う撮像装置に関する。
近年、被写体を撮像する撮像素子は、内視鏡装置等の撮像装置に広く用いられるようになっている。
また、撮像素子は、最近、ますます高画素化、微細化されており、撮像素子に欠陥を持つ画素或いはノイズを発生する画素を皆無に製造することは不可能に近い。
このため、画像処理によって、撮像素子の通常画素とは異なるが画素信号を発生する欠陥画素や固定パターンのノイズを補正する技術が多数提案されている。
例えば、第1の従来例としての日本国特開2003−116060号公報には、欠陥画素補正部は、その内部に事前の検査により入手した欠陥画素の位置情報を記録する欠陥位置記録ROMを有し、該欠陥位置記録ROMから特定できる欠陥画素の周囲画素から相関性が高い方向を求め、その方向に属する周囲画素を用いて欠陥画素の補正値を算出する。
また、第2の従来例としての日本国特開平10−42201号公報の段落[0016]には、「主に前ライン上の映像情報及び後ライン上の映像情報を利用して、欠陥画素と同一ライン上の画像情報については、欠陥画素及びその前後の画素のデータを除いて補間に利用する。前ライン上の映像情報及び後ライン上の映像情報を用いて補正を行うため、欠陥画素だけでなく、その前後の信号についても補間が可能である。」と記載されている。
しかしながらアナログの画素信号を伝送するケーブルを有する撮像装置の場合には、ケーブルにより画素信号の波形が鈍り、第1の従来例のように欠陥画素による画素信号に対する補正を行った場合には、十分に補正できない。
一方、第2の従来例のように欠陥画素と共に、欠陥画素の前後の画素による画素信号に対する補正を行った場合には、補間が必要でない欠陥画素の前の画素に対しても補間を行うため、本来の画像信号の値を変更させてしまう過補正を行う欠点がある。
このため、ケーブルによりアナログの画素信号の波形がなまるような場合にも、欠陥画素としての白傷画素に起因する画素信号を適切に補正できる撮像装置が望まれる。
本発明は上述した点に鑑みてなされたもので、撮像素子における白傷画素の後に読み出される画素に対する白傷画素による影響を適切に補正できる撮像装置を提供することを目的とする。
本発明の一態様に係る撮像装置は、被写体を撮像するために2次元状に配列された複数の画素を有し、該複数の画素により撮像した画素信号を出力する撮像素子と、前記撮像素子に存在する欠陥画素としての白傷画素の位置情報を記憶する白傷位置情報記憶部と、前記撮像素子に対して転送信号を印加することにより、前記撮像素子を構成する前記複数の画素から所定の方向に沿って前記画素信号を出力させる撮像素子駆動部と、前記白傷位置情報記憶部から読み出した前記白傷画素の位置情報に基づき、前記転送信号の印加により前記撮像素子から出力される前記画素信号が白傷画素のものと判定された時、前記撮像素子から出力される、前記白傷画素と判定された画素を囲む周囲8画素の画素信号のうちの、前記白傷画素と判定された画素の1画素後に出力される隣接画素の画素信号を除いた7個の画素により算出された白傷補正値に基づき、前記白傷画素と判定された画素の画素信号に対して白傷補正を行う白傷補正部と、前記撮像素子を構成する各画素のアナログの画素信号を伝送するケーブルと、前記ケーブルにより伝送された前記アナログの画素信号をデジタルの画素信号に変換して前記白傷補正部に出力するアナログ・デジタル変換部と、前記白傷画素と判定された画素から1画素数以上となる所定の画素数だけ後に出力される所定の画素の画素信号に対して、前記白傷画素と判定された画素の画素信号値の所定の割合を加算する補正を行う加算補正部と、を備える。
図1は本発明の第1の実施形態の内視鏡装置の全体構成を示す図。 図2は図1における撮像系部分の構成を示すブロック図。 図3は白傷補正回路の構成を示すブロック図。 図4は白傷画素とその周辺画素を示す図。 図5は本発明の第2の実施形態における撮像系部分の構成を示すブロック図。 図6は第2の実施形態におけるリンギング補正を行うための説明図。 図7はリンギング補正回路の構成を示すブロック図。 図8は撮像素子に複数の白傷画素が近接して存在する場合の画素を示す図。 図9は本発明の第3の実施形態における隣接画素補正部の構成を示すブロック図。 図10は本発明の第3の実施形態における飽和ザラの補間方法を示すための説明図。
以下、図面を参照して本発明の実施形態を説明する。
(第1の実施形態)
図1に示すように本発明の撮像装置を構成する第1の実施形態の内視鏡装置1は、内視鏡検査を行うための電子内視鏡(以下、単に内視鏡と略記)2と、この内視鏡2に対して照明光を供給する光源装置3と、内視鏡2の撮像素子等に対する信号処理(画像処理)を行う信号処理装置(画像処理装置)としてのプロセッサ4と、プロセッサ4により生成された映像信号を表示する表示装置としてのモニタ5とを有する。
内視鏡2は、患者の体腔内等に挿入される挿入部6と、この挿入部6の基端(後端)に設けられた操作部7と、この操作部7から延出されたケーブル部8とを有する。このケーブル部8の端部の光源コネクタ9bは、光源装置3に着脱自在に接続され、また信号コネクタ9aは、プロセッサ4に着脱自在に接続される。
なお、図1に示すようにケーブル部8の端部側が分岐した構成のものに限らず、例えば光源コネクタから接続ケーブルを介してその端部の信号コネクタをプロセッサ4に着脱自在に接続する構成にしても良い。また、光源装置3とプロセッサ4とが一体化した構成にしても良い。
また、図1のプロセッサ4には、図1に示す内視鏡2とはケーブル長等が異なる内視鏡を接続して使用することもできる。
上記内視鏡2における挿入部6、操作部7,ケーブル部8内には照明光を伝送するライトガイド11が挿通され、その基端は光源コネクタ9bに至る。ユーザは、この光源コネクタ9bを光源装置3に接続することにより、光源装置3内の光源ランプ12により発生した照明光がコンデンサレンズ13により集光されてライトガイド11の基端に入射される。
この照明光は、ライトガイド11により伝送され、挿入部6の先端部14の照明窓から出射され、体腔内の患部等の被写体を照明する。照明された被写体は、照明窓に隣接して設けられた観察窓に取り付けられた対物レンズ15により、その結像位置に被写体の光学像を結ぶ。結像位置には固体撮像素子(撮像素子)として電荷結合素子(CCDと略記)16の受光面が配置され、受光面には2次元的に配列された光電変換する機能を備えたフォトダイオードによる画素が形成されている。
また、先端部14内にはCCD16と、図示しないCCDを駆動するタイミングジェネレータ(TG)と、該CCD16に対する信号成分の抽出を行うCDS回路17とを一つのパッケージ組み込んだシステムインチップ部(SIPと略記)18が配置してある。また、本実施形態に係る内視鏡2においては、例えば信号コネクタ9a内にアナログ・デジタル変換手段としてのA/D変換回路19aを内蔵したアナログフロントエンド(AFE)19が配置されている。
プロセッサ4内には、CCD16を駆動するCCD駆動信号(単に駆動信号とも転送する転送信号とも言う)を生成する撮像素子駆動手段又は撮像素子駆動部としてのCCD駆動部21と、CCD16により撮像され、CCD16から出力される画素信号におけるCDS回路17、AFE19を経た後の画素信号に対して、欠陥画素としての白傷(又は白傷画素)に対する補正(白傷補正と言う)を行う白傷補正手段又は白傷補正部としての白傷補正回路22及び画像処理を行う画像処理回路23を有する画像処理手段としての画像処理部24とが設けてある。
欠陥画素としての白傷又は白傷画素は、正常な光電変換機能を有せず、転送信号の印加に対して信号レベルが高い白に近い画素信号(白信号)を出力する。
CCD駆動部21は、生成したCCD駆動信号を、内視鏡2内のケーブル25を介して、CCD16に印加し、CCD16を形成する受光部の画素は、光電変換した信号電荷を画素信号として出力する。
この画素信号は、CCD駆動信号における一部の信号(リセット信号)をノイズとして含むため、CDS回路17は、画素信号中の信号成分を抽出して、ノイズを除去した画素信号を出力する。なお、CDS回路17は、CCD駆動信号から信号成分を抽出するためのサンプリング信号を生成し、該サンプリング信号を用いてノイズを除去した画素信号を生成する。
CDS回路17をCCD16から離した位置に設けた場合には、CCD16の出力信号をCDS回路17に入力するまでの信号伝送するケーブルによる信号遅延の影響を受け易くなるが、本実施形態においては、このCDS回路17をCCD16の近傍に配置しているため、ケーブルによる信号遅延の影響を受けないため、高精度でCCD16の信号成分を抽出することが可能となる。
CDS回路17によってノイズが除去されたベースバンドのアナログの画素信号は、挿入部6、操作部7,ケーブル部8内の信号伝送路又は信号伝送線を形成するケーブル25を介してAFE19に入力される。このAFE19において、画素信号は、AFE19内のアンプで増幅された後、アナログ・デジタル変換手段又はアナログ・デジタル変換部としてのA/D変換回路19aによって、アナログの画素信号からデジタルの画素信号に変換される。
なお、CCD駆動部21は、プロセッサ4内部に設けてあるので、CCD駆動波形は、挿入部6の先端部14まで伝送する際に、内視鏡2内のケーブル25によってなまるが、SIP18内においてその波形補正して、CCD16を駆動する。
AFE19内のA/D変換回路19aを経たデジタルの画素信号は、画像処理部24内の白傷補正回路22に入力され、白傷補正回路22は、白傷と判定された画素、つまり白傷画素に対する補正の画像処理を行う。
白傷補正回路22により白傷画素の補正が行われた画素信号は、画像処理回路23により標準的な映像信号に変換され、モニタ5に出力される。モニタ5の表示面には、CCD16により撮像された被写体の画像が内視鏡画像として表示される。
また、内視鏡2は、該内視鏡2に搭載されているCCD16において予め調べられた白傷画素の2次元位置(単に位置と略記)情報を格納した白傷位置情報記憶手段又は白傷位置情報記憶部としてのメモリ27を内蔵している。例えば図1の例では信号コネクタ9a内にメモリ27が設けられている。このメモリ27には、CCD16の水平及び垂直の画素数の情報も格納している。
このメモリ27は、信号コネクタ9aがプロセッサ4に接続された場合、白傷補正回路22と電気的に接続される。白傷補正回路22は、メモリ27から白傷画素の2次元の位置情報を読み出し、例えば白傷補正回路22内に設けたメモリ41(図3参照)に白傷画素アドレスとして格納する。従って、メモリ41もCCD16に存在する白傷画素の2次元位置を記憶する白傷位置情報記憶手段を構成すると見なすこともできる。
後述するように、白傷補正回路22は、メモリ41内に格納された白傷画素アドレスを用いて、この白傷補正回路22に入力される画素信号のアドレスから白傷画素アドレスに一致する場合には白傷画素と判定し、一致しない場合には白傷画素でない通常画素と判定する。
白傷補正回路22に入力される画素信号のタイミングは、CCD駆動信号のタイミングとケーブル25の長さに応じてずれる(CCD駆動信号のタイミングから遅れる)ため、メモリ27には、このケーブル25の長さによるタイミングずれの情報も格納されている。
例えば、CCD駆動信号がCCD16の水平方向のi番目及び垂直方向にj番目の画素P(i,j)を駆動するタイミングの時、ケーブル25の長さによる遅延量のため、AFE19を経て白傷補正回路22に実際に入力される画素信号が(水平方向に配置された画素を単位として)画素数n分だけ遅れる場合には、その画素数n分だけ遅れる情報がメモリ27に予め格納されている。つまり、CCD駆動信号が画素P(i,j)を駆動するタイミングの時、ケーブル25の長さによる遅延量のため、前記画素P(i,j)の画素信号が白傷補正回路22に実際に入力されるタイミングは、P(i+n,j)にずれる。
換言すると、白傷補正回路22は、各画素からこの白傷補正回路22に実際に入力される画素信号のタイミングや、実際に入力された画素の撮像面上での2次元位置(アドレス)を把握できるようになっている。なお、図1に示すようにプロセッサ4内に白傷補正回路22とCCD駆動部21とを配置した場合、CCD駆動部21に出力されたCCD駆動信号(転送信号)がCCD16に印加されるまでの遅延量と、CCD16の出力信号が白傷補正回路22に入力されるまでの遅延量とは同じであると近似できる。
図2は、図1における画像処理系の概略の構成を示す。図2に示すようにCCD16を含むSIP18は、内視鏡2内の極細のケーブル(実際には同軸ケーブル)25を介してAFE19と接続されている。
このため、SIP18から出力されるアナログの画素信号をケーブル25により伝送した場合、CCD自身の水平転送効率劣化や、ノイズ抑制のためのローパスフィルタや、ケーブル25を同軸ケーブルにした場合の長さの増大と共に、(内側導体と外側導体間の)容量が増大して容量性負荷が増大する等のために、白傷画素の画素信号もその波形が鈍り、白傷画素の画素信号と共に、この白傷画素の画素信号の後に(CCD駆動信号の印加により読み出されて)出力される所定の画素の画素信号がその影響を受ける。
従って、本実施形態においては、以下に説明するように白傷補正回路22は、白傷画素の画素信号に対して、白傷画素の周囲画素における該白傷画素の画素信号の1画素分後に出力される1画素(隣接画素という)の画素信号を除いて補正を行うようにする。
この白傷補正回路22により補正された画素信号は、画像処理回路23を構成するOBクランプ回路31により、OB部の信号レベルがクランプされる。なお、OBはオプティカルブラックの略であり、OB部は、撮像素子としてのCCD16の撮像面の画素を光学的に遮光して、遮光された画素から出力される画素信号のレベルを、遮光されていない画素の画素信号の黒レベルとして用いる。このOBクランプ回路31から出力される画素信号は、ホワイトバランス回路33に入力され、ホワイトバランスの調整が行われる。つまり、白い被写体を撮像した場合のR,G,Bの画素信号のレベルが1:1:1となるようにホワイトバランス回路33内のアンプのゲインが調整される。
このホワイトバランス回路33から出力される画素信号は、水平輪郭、垂直輪郭の強調や、ガンマ補正等の各種の画像処理を行う各種画像回路34を経て標準的な映像信号に変換され、モニタ5に出力される。
図3は図1及び図2の白傷補正回路22の構成を示す。
白傷補正回路22内のメモリ41は、メモリ27から読み出された白傷画素の位置情報としての白傷画素アドレスのデータと、CCD16及びCDS回路17を経て出力されたアナログの画素信号が、ケーブル25により伝送され、A/D変換された後、白傷補正回路22に実際に入力されるまでの時間遅延する遅延量(遅延時間)のデータとの情報を格納している。
なお、メモリ41を白傷補正回路22の外部に設けるようにしても良い。また、メモリ41を設けることなく、メモリ27から白傷補正回路22が必要とする情報を読み出すようにしても良い。
CCD16により撮像され、CDS処理された画素信号はケーブル25により伝送され、AFE19内のA/D変換回路19aによりデジタルの画素信号となり、白傷補正回路22内の白傷画素補正回路42に入力されると共に、セレクタ43の一方の入力端saに入力される。白傷画素補正回路42は、白傷画素を補正した画素信号をセレクタ43の他方の入力端sbに出力する。また、メモリ41の白傷アドレスは、セレクタ43の2つの入力端sa,sbに入力される2つの画素信号の一方を選択して、セレクタ43から出力させるようにセレクタ43の切替(選択)を制御するのに用いられる。
具体的には、白傷補正回路22内に白傷画素が入力された場合には、白傷アドレスは白傷画素補正回路42により白傷補正がされた画素信号Pcorを選択して出力するようにセレクタ43の切替(選択)を制御し、白傷画素ではなく通常画素Pnが入力された場合にはこの通常画素Pnを選択して出力するようにセレクタ43の切替(選択)を制御する。
図4はCCD16における白傷画素Pwとその周囲8画素を示し、これらの画素は所定方向としての水平方向に沿って左側から右側に沿って1ライン毎に順次読み出される。本実施形態においては、以下に説明するように白傷補正回路22に設けた白傷画素補正回路42は、白傷画素Pwの次に読み出される1画素(図4中では、白傷画素Pwの右横となる隣接画素)Pwrを除く白傷周囲7画素の画素信号により算出される白傷補正値Pavを用いて白傷画素Pwの画素信号を補正する。
白傷補正回路22に入力された通常画素Pnは、セレクタ43を介して、次段の画像処理回路23に出力されると共に、白傷画素補正回路42に入力され、白傷周囲8画素における白傷画素Pwの右横に隣接する隣接画素(白傷の画素信号の1画素分後に出力される画素)Pwrを除外した白傷周囲7画素の画素信号は、白傷画素Pwの画素信号を補正するために用いられる。そして、白傷画素補正回路42内に設けた白傷周囲7画素回路44は、白傷画素Pwを補正する白傷補正値として上記白傷周囲7画素の画素信号の平均値Pavを算出して、平均値Pavを白傷画素Pwを補正する画素信号Pcorとしてセレクタ43に出力する。
なお、セレクタ43は、上記のように2つの入力端sa,sbに入力される2つの画素信号Pn,Pcorの1つをセレクト(切替)して1つの出力端から出力する。つまり、セレクタ43は、通常画素Pnが入力される場合には通常画素Pnの画像信号を選択して出力し、白傷画素Pwが入力される場合には、白傷周囲7画素の画素信号の平均値Pavを白傷画素Pwを補正する画素信号Pcorとして出力する。このように本発明の撮像装置を備えた内視鏡装置1は、被写体を撮像するために2次元状に配列された複数の画素を有し、該複数の画素により撮像した画素信号を出力する撮像素子としてのCCD16と、前記撮像素子に存在する欠陥画素としての白傷画素の(2次元の)位置情報を記憶する白傷位置情報記憶部としてのメモリ27と、前記撮像素子に対して転送信号を印加することにより、前記撮像素子を構成する前記複数の画素から所定の方向に沿って前記画素信号を出力させる撮像素子駆動部としてのCCD駆動部21と、前記白傷位置情報記憶部から読み出した前記白傷画素の位置情報に基づき、前記転送信号の印加により前記撮像素子から出力される前記画素信号が白傷画素のものと判定された時、前記撮像素子から出力される、前記白傷画素と判定された画素を囲む周囲8画素の画素信号のうちの、前記白傷画素と判定された画素の1画素後に出力される隣接画素の画素信号を除いた7個の画素により算出された白傷補正値に基づき、前記白傷画素と判定された画素の画素信号に対して白傷補正を行う白傷補正部としての白傷補正回路22と、を備えることを特徴とする。
そして、本実施形態における白傷補正回路22は、図3にて説明したような作用を有する。
従って、本実施形態の内視鏡装置1によれば、ケーブル25によりアナログの画素信号の波形がなまる場合にも欠陥画素としての白傷画素に起因する画素信号を適切に補正できる。
また、搭載された撮像素子としてのCCD16やケーブル25の長さ等が異なる内視鏡2を用いた場合にも、各内視鏡2に搭載された内視鏡情報記憶手段としてのメモリ27には、搭載されたCCD16に存在する白傷画素Pwの位置情報等が格納されているので、白傷画素に起因する画素信号を適切に補正できる。
(OB部白傷補正)尚、図示しない30画素程度の水平OB部に対して、プロセッサ側(図1の24)では、デジタル回路にてラインクランプを行っている。このラインクランプを正確に行うためには、その基となる白傷画素を含む水平OB部のデータに対して、効果的に白傷画素を含むノイズ除去を行う必要がある。具体的には、1ライン中央10画素程度のうち、ランキングフィルタを用いて、最大画素値を持つ数画素、最小画素値を持つ数画素を除去して、残りのOB画素でラインクランプを行うことで、正確にラインクランプを行うことが可能になる。
(第2の実施形態)
次に本発明の第2の実施形態を説明する。第1の実施形態においては、主に白傷画素の画素信号がケーブル25によって鈍ることを考慮して、鈍った場合の白傷画素の画素信号に対する補正を行うようにしていた。
白傷画素による画素信号のようにステップ状に変化した場合、信号伝送路を形成するケーブル25のケーブル長等に依存して、ケーブル25により伝送される画素信号が減衰振動的に変化するリンギングが発生する場合がある。本明細書におけるリンギングは、白傷画素がステップ状に上に凸となる波形で発生した場合、以下に記載のようにその白傷画素の後に下に凸、つまり谷となる波形が現れる現象を指し、通常のパルスの立ち上がり部分と立ち下がり部分とでそれぞれ振動波形が発生するリンギングとは異なる。
白傷画素によるリンギング(白傷画素のリンギングと略記)が発生すると、白傷画素から所定の画素数(例えば数画素数)程度だけ後に出力される(補正することが望まれる)所定の画素又は補正対象の画素の画素信号に対して、(白傷画素の画素信号が)その画素の画素信号の本来の信号レベル値(画素信号値)から谷状に出力レベルを低下させ、その為に黒点のように表示又は視認されるようにする現象(白傷画素起因の異常画素)が発生する。
このため、本実施形態においては、第1の実施形態において、さらに白傷画素のリンギングによる異常画素を補正するリンギング補正手段、換言すると谷状に下がる異常画素の画素値を加算により補正する加算補正手段を設けるようにしている。図5は本実施形態の内視鏡装置における撮像系部分の構成を示す。
図5に示す構成は、図2の構成において、白傷補正回路22の前段にリンギングによる異常画素を補正する加算補正手段としてのリンギング補正回路61を設けた構成である。白傷補正回路22の構成及び作用は、第1の実施形態において説明した内容と同じであるため、その説明を省略する。なお、白傷補正回路22が、その内部にリンギング補正回路61を備えた構成にしても良い。つまり、白傷補正手段がリンギングによる異常画素を補正するリンギング補正手段としてのリンギング補正回路61を備えた構成でも良い。
(リンギング補正)
また、本実施形態においては、各内視鏡2に設けたメモリ27内に、上述した白傷画素Pwの位置情報等の他に、予め白傷画素Pwから(数えて)黒傷と呼ばれる異常画素が発生する画素の位置(画素数位置)の情報と、白傷画素Pwの画素信号値(レベル)に対する異常画素の画素信号値(レベル)として低下する信号値比(レベル比)又は割合等の情報とを補正パラメータとして格納する。
例えば、白傷画素PwからN番目の画素が異常画素又は補正対象の画素である場合には、メモリ27は、Nの情報を予め記憶している。
また、白傷画素Pwの画素信号値をVwとし、異常画素Paの谷状に低下する低下画素信号値がVaとなる場合には、メモリ27は、Va/(Vw−Va)=kとなる補正係数kの情報を予め記憶している。
なお、異常画素Paが複数発生する場合には、その異常画素をPai、谷状に低下する低下画素信号値をVaiとした場合、補正情報記憶手段を構成するメモリ27は、Vai/(Vw−Vai)=kiとなる補正係数kiの情報を予め記憶している。なお、iは、i=1,2,3,…,mとなり、mは異常画素Paの最大数である。
そして、異常画素Paiの画素信号値Vaiに対して、(Vw−Vai)×kiを乗算した補正値を加算して、異常画素Paiの画素信号値Vaiを補正する(なお、異常画素Paiなどにおけるiを除去すると、1つの異常画素Paに対する補正となる)。
図5に示す構成例では、メモリ41を白傷補正回路22の外部に設けた例を示しているが、上述した構成例のように白傷補正回路22の内部に設けても良い。このメモリ41は、メモリ27の情報を読み込みメモリ41内部に格納する。リンギング補正回路61は、リンギング補正を行う場合、その補正に必要な補正パラメータなどをメモリ41から取得する。なお、メモリ41を設けないで、メモリ27から補正等に必要な情報を取得する構成にしても良い。
図6は、白傷画素Pwの画素信号とその白傷画素Pwの画素信号により異常画素Pa又はPaiが発生する概略の波形例を示している。なお、図6における(A)と(B)は、例えばケーブル長が異なる場合を示している。ケーブル長の他に、ケーブルの種類や、ケーブルの端部等もリンギングの発生に影響する。
CCD16において発生した白傷画素Pwの画素信号は、CDS回路17を経てパルス状に出力される。図6ではCDS出力波形を示している。なお、図6における横軸は時間、縦軸は画素信号値(レベル)を示す。但し、AFE出力波形では、横軸を白傷画素Pwの画素位置を基準として後続する画素の位置を画素単位で示している。
上記CDS回路17の出力信号は、ケーブル25によって伝送されるが、リンギングにより白傷画素Pwの画素信号は、図6のケーブル伝送後の波形で示すようにその画素信号自体が段差状のパルス波形から山状に(鈍った)凸部の波形に変形すると共に、その白傷画素Pwの後に出力される画素部分側において谷状に凹部となる波形に変形する。つまり、白傷画素Pwにより、その白傷画素Pwに後続する画素の画素信号値は谷状に小さくなってしまう。
このような波形の画素信号は、AFE19においてA/D変換されてデジタルの画素信号に変換され、図6のAFE後の波形で示すように段差状の波形となる。このAFE後の波形の画素信号が、プロセッサ4内の短いケーブルを経て白傷によるリンギングを補正する加算補正手段としてのリンギング補正回路61に入力される。つまり、AFE出力波形は、殆どリンギング補正回路61への入力波形となる。なお、プロセッサ4内での短いケーブルにより時間遅延は、通常無視できる。
図6(A)のAFE後の波形においては、白傷画素Pwから2画素目に谷状に凹部となる異常画素Paが発生している。
一方、図6(B)のAFE後の波形においては、白傷画素Pwから2画素目と3画素目に谷状に凹部となる異常画素Pa1,Pa2が発生している。
(リンギング補正)
このような異常画素Pa(Pa1、Pa2等)を補正するため、本実施形態においては、加算補正手段を構成するリンギング補正回路61は、入力されるデジタルの画素信号に対して異常画素Pai(なお、Paの並列表記を省略するが、Paiは、Paの場合も含むとする)に対する補正を行う。このリンギング補正回路61により補正がされた画素信号は、白傷補正回路22に入力され、上述したように、白傷画素Pwに対する補正がされて、画像処理回路23に出力される。
図7は、加算補正手段としてのリンギング補正回路61の詳細な構成を示す。このリンギング補正回路61は、入力される画素信号から、メモリ41の白傷画素Pwの位置情報を用いて白傷画素Pwの画素信号値Vwが入力されるタイミングにおいて、白傷画素Pwの画素信号値Vwと、補正係数kiとを乗算する乗算回路65と、乗算した補正値Vw×kiを保持(記憶)する補正値保持回路66を有する。この乗算回路65と、補正値保持回路66とにより白傷画素Pwの画素信号値Vwによる異常画素Paiの画素信号値Vaiを補正する補正値を算出して保持する補正値算出保持回路67を構成する。
(リンギング補正)
また、このリンギング補正回路61は、白傷画素Pwの後に入力される異常画素Paiに対してその画素信号値Vaiと、上記補正値保持回路66により保持された補正値とを加算した補正を行い、セレクタ69を介して白傷補正回路22に出力する加算補正回路68を有する。なお、セレクタ69は、リンギング補正のON/OFFを行うスイッチ70により、OFFの場合には白傷画素Pwの画素信号値Vwを選択し、ONの場合には加算補正回路68により、補正値を加算した画素信号を選択して、白傷補正回路22に出力する。
この様な構成による本実施形態におけるリンギング補正回路61の動作を説明する。
上述したように、リンギング補正回路61には、図6で説明したAFE出力波形の画素信号が入力される。
リンギング補正回路61内の乗算回路65は、図6の最下段に示すように白傷画素Pwが入力されたタイミングでその画素信号値Vwと補正係数kiとを乗算して補正値Vw×kiを算出し、補正値保持回路66はその補正値Vw×kiを保持する。
(リンギング補正)
なお、この白傷画素Pwの画素信号は、リンギング補正回路61を経由して、白傷補正回路22に入力される。
また、加算補正手段としての加算補正回路68は、図6(A)に示すように白傷画素Pw後に入力される異常画素Paの画素信号値Vaが入力されると、その画素信号値Vaに、補正値保持回路66により保持された補正値Vw×kiを加算して、出力する。つまり、加算補正回路68は、異常画素Paの画素信号値Vaが入力されると、補正された画素信号値Va+Vw×kiに補正して、白傷補正回路22に出力する。
また、図6(B)に示すように複数の異常画素Pa1,Pa2が発生する場合には、各異常画素Pa1,Pa2に対して、補正係数k1,k2を用いて、上記の補正と同様の補正を行う。
前述したように、白傷画素1つに対して1画素分後に出力される隣接画素(水平隣接画素)の画素信号を除いて、白傷補正値として上記白傷周囲7画素の画素信号の平均値Pavを算出することを説明したが、CCDにおいては転送方式の原理から、水平方向に関連性を持つため、該白傷画素の画素信号の1画素分前に出力される1画素についても白傷画素に対する影響を考慮するようにしても良い。
例えば、白傷画素の水平方向に(前後に)隣接する隣接画素2つを除いた白傷周囲6画素の画素信号の平均値を算出することが挙げられる。更に、補正係数をそれぞれに準備し、隣接画素2つを補正することも挙げられる。
(リンギング補正)
このようにして、リンギング補正回路61から図6の最下段に示すように異常画素Pa、Pai(i=1,2)の画素信号値Vaiが補正された画素信号が白傷補正回路22側に出力され、白傷補正回路22は、上述したように白傷画素Pwに対する補正を行う。
このような構成及び作用を有する本実施形態によれば、第1の実施形態のようにケーブルによりアナログの画素信号の波形がなまる場合にも欠陥画素としての白傷画素に起因する画素信号を適切に補正できると共に、白傷によるリンギングによってその周囲に谷状に画素信号値を低下させる異常画素Paが発生した場合にも、その異常画素Paの画素信号値を適正な画素信号値に補正することができる。従って、本実施形態によれば、リンギングにより黒点状に画質が劣化する現象が発生した場合にも、その画質の劣化を軽減ないしは解消することができる。
なお、上述した第2の実施形態においては、リンギング補正回路61により、リンギング補正を行った後に、白傷補正回路22により白傷補正を行う構成を説明したが、白傷補正回路22により白傷補正を行った後にリンギング補正回路61により、リンギング補正を行うようにしても良い。
この場合には、白傷補正回路22により白傷補正を行った場合にも、白傷補正を行う前の白傷画素Pwの画素信号値Vwを保持し、その画素信号値Vwを用いてリンギング補正回路61はリンギング補正を行うようにする。
白傷画素Pwが通常画素Pnに対して、まれに発生するような場合には、リンギング補正を白傷補正回路22の前に行う場合と後に行う場合との作用効果は殆ど同じである。
(白傷補正とリンギング補正の回路構成)
しかし、以下に説明するように、白傷画素Pwが近接(接近)して発生するような場合があり得る。このような場合を考慮すると、以下に説明するようにリンギング補正を行った後、白傷補正を行う方が、複雑化しない処理方法で簡単に補正することができる。
図8は、CCD16における複数の白傷画素Pw1,Pw2が接近して存在している部分を示す。図8のように複数の白傷画素Pw1,Pw2が水平方向に接近して存在する場合には、リンギングによる影響とケーブル25の鈍りによる影響が混在した状態となるため、例えば先に白傷補正回路22により白傷補正を行った場合には、リンギングによる影響を補正する際必要となる白傷画素Pwの画素信号値が補正されてしまう等、その影響を補正する処理方法が複雑化し簡単に補正し難くなる。
これに対して、上述したように先にリンギング補正回路61によってリンギングによる影響を除去(又は軽減)すると、残りは殆ど白傷画素Pwとケーブル伝送の鈍りに起因するものとなる。このため、残りの白傷画素Pwとケーブル伝送の鈍りによるものに対して、第1の実施形態のようにそれを除去するように補正を行えば良く、処理が複雑化することなく、簡単に補正ができる。
(リンギング補正)
(第3の実施形態)
図9は、第3の実施形態における隣接画素補正回路71の構成を示す。本実施形態は、例えば第2の実施形態において、さらに白傷画素Pwに隣接する隣接画素Pwrに対する補正を行う隣接画素補正手段としての隣接画素補正回路71を設けたものである。
AFE19から出力される画素信号は、隣接画素補正回路71を構成する例えば3ラインメモリ72に入力され、垂直方向に3つの画素が隣接する関係を保つようにした3水平ライン分の画素信号が順次記憶される。そして、中央ラインの出力端から読み出される画素信号は、判定手段を形成する比較器73に入力されると共に、切り換え回路74の一方の入力端a及びリンギング回路61を経て入力端cに出力される。
比較器73は、上記画像信号と、閾値設定回路75により設定される閾値と比較し、比較結果により、上記切り換え回路74の信号切り換えを制御する。換言すると、比較器73は、閾値を用いて、上記画像信号が補正すべき範囲内は否かを判定する判定手段を形成する。
本実施形態においては、閾値設定回路75は、使用状況に応じて、複数の閾値から実際に使用する閾値を選択して使用できる構成にしている。複数の閾値として、例えば第1閾値、第2閾値、第3閾値をそれぞれ発生する第1閾値発生回路76a、第2閾値発生回路76b、第3閾値発生回路76cを有し、閾値選択部77により、選択スイッチ78を介して比較器73に接続する閾値を選択することができるようにしている。
例えば第1の閾値は、暗電流(又は黒レベル)のレベルを判定する閾値に設定されており、第2の閾値は暗電流のレベルよりもさらに低い0に近いレベルを判定する閾値に設定されており、第3の閾値は以下に説明する平均値から所定割合以上に低下しているか否かを判定する閾値に設定されている。
第1の閾値又は第2の閾値は、隣接画素Pwrがリンギングにより、暗電流レベル、又はA/D変換回路19aの変換範囲(レンジ)の下限付近まで低減されたか否かを判定する。
一方、第3の閾値は、リンギングの影響よりも、白傷画素Pwがケーブル25による伝送の際の容量性負荷のために波形の鈍りが大きく、その鈍りが隣接画素Pwrまで及ぶような使用環境の場合を判定するためのものである。
そして、比較器73は、隣接画素Pwrの画像信号の信号値を、該隣接画素Pwrの垂直方向(上下方向)に隣接する(白傷画素Pwによるケーブル伝送に影響されない)垂直隣接画素影響の平均値Vavに所定の係数Cを乗じた第3の閾値とを比較することにより、白傷画素Pwによるケーブル伝送により影響されているか否かを判定する。
(リンギング補正)上記比較器73は、例えば上述したメモリ27又は41に格納された白傷画素Pwの位置情報とケーブル25により時間遅延される情報とから、白傷画素Pwから1画素分後に出力される隣接画素Pwrがこの比較器73に実際に入力されるタイミングにおいて、比較動作を行うように制御される。この比較動作を行うように比較器73を制御する回路を設けるようにしても良い。
また、隣接画素補正回路71は、3ラインメモリ72から上記中央ラインの1ライン前の画素信号と、1ライン後の画素信号との平均値を算出する平均値算出回路79を有する。この平均値算出回路79は、隣接画素Pwrの1ライン前と後との垂直方向に隣接する2画素の画素信号の平均値Vavを算出して、切り換え回路74の他方の入力端bに出力すると共に、第3の閾値発生回路76cに出力する。
第3の閾値発生回路76cは、平均値Vavに所定割合の係数C(例えばC=0.7−0.8程度)を乗算して、第3の閾値を発生する。
比較器73は、上記隣接画素Pwrの画素信号の信号値が閾値以下となる比較結果の判定情報となる場合には、入力端bを選択するように切り換え、隣接画素Pwrの画像信号の代わりに平均値算出回路79の平均値Vavの画像信号が切り換え回路74を経て白傷補正回路22に出力される。なお、比較器73に接続される閾値により、入力端bの代わりにcを選択するように切り換えても良い。
一方、比較器73は、上記隣接画素Pwrの画素信号の信号値が閾値を超える比較結果の場合には、入力端aを選択するように切り換え、隣接画素Pwrの画素信号が切り換え回路74を経て白傷補正回路22に出力される。
このような構成及び動作をする本実施形態によれば、第2の実施形態の作用効果の他に、さらに隣接画素Pwrが白傷画素Pwによりリンギングやケーブル伝送による鈍りで本来の信号値からずれた値となるような場合においては、その垂直方向に隣接する隣接画素の平均値で置換する補正を行うため、良好な画質に補正できる。
なお、閾値を用いてリンギングによる影響がA/D変換回路19aによる変換範囲の下限側の値以下になるか否かを判定する場合に限らず、上限側にも閾値を設定してその閾値以上になるか否かの判定により、隣接画素Pwrに対する補正を行うようにしても良い。
上述した実施形態等を部分的に組み合わせる等して構成される実施形態も本発明に属する。また、図1においては、AFE19を信号コネクタ9a内に設けた例を示しているが、例えば内視鏡2の操作部7内等、他の場所に配置しても良い。また、AFE19やA/D変換回路19aをプロセッサ4内に配置しても良い。
また、画像信号が比較的高い場合に限られた課題もある。画像信号はCCD16により得られることは言うまでもないが、画像信号の最大値はCCD16の画素毎に異なる場合がある。
一般的には飽和ザラと呼ばれる現象である。飽和ザラはモニタ5に見えないような構成になっていれば問題は無い。例えば、CCD16の画像信号の最大値が、十分に得られる場合、ダイナミックレンジが広いと考えられ、飽和ザラが出ない範囲でモニタ5に映るようにすればよい。通常は、飽和クリップという手段で、飽和ザラが出ない画像信号レベルで制限を掛ける。飽和クリップの閾値以上の画像信号を飽和クリップの閾値に置き換える。
CCD16の全ての画素で飽和クリップの閾値以上の画像信号を得ることができるなら問題は無い。
なお、画像信号の最大値が十分であるか否かを判定する場合、CCD16の画像信号が線形である範囲で考えるべきである。線形であれば、受光した光量に比例して画像信号が得られ、適正な画像を作ることができる。
一般的に、線形な範囲での画像信号の最大値よりも高い信号レベルに注目すると、画素毎に光量に対する信号が非線形で得られることとなり、飽和ザラになると考える。
こうしたことから、CCD16の画像信号の最大値が十分でないことで、いくつかの画素では飽和クリップの閾値を下回る場合、飽和ザラがモニタ5に見えてしまう。
また、そのようなときには、モニタ5に表示するまでの画像処理におけるゲイン調整(ホワイトバランス調整を含む)やガンマ補正が影響して、飽和ザラが目立ってしまうこともある。
なお、こうした現象はCCD16の性能に強く依存する為、CCD16の特徴に応じて対応することが望ましい。その現象はCCD16の個体差ではなく、CCD16の種類(画素数の違いや、動作周波数の違い)に依存する。また、その現象がCCD16の種類によって変わることもあり、飽和ザラが縦方向に連続する特徴があるものと無いものがある。
このような課題に対して、メモリ27に、CCD16において飽和ザラを起こす(単に未飽和画素と略記)ような画素の位置を記憶させ、その位置情報を元に補間(補正)をすると良い。補間(補正)方法はこれまで述べてきたように、周囲の画素を用いた平均値を適用すればよい。その方法を図10により説明する。図10は補間(補正)対象となる(斜線で示す)未飽和画素及び未飽和画素に隣接する周辺の8画素(A〜H)を示す。なお、以下においては、画素I(I=A〜H)の画素値も簡略的にIにより示す。
未飽和画素を簡単に補間する1つの方法として、単純に周囲の画素を全て用いる平均値を採用することができ、この場合には、(A+B+C+D+E+F+G+H)÷8によって求まる。また、未飽和画素が上下方向に連続する特徴があった場合には、以下の平均値とする。
この場合には、(A+C+2D+2E+F+H)÷8によって求まる。画素BとGの代わりに、画素DとEを用いることで、平均値が小さくならず、十分高い信号レベルで補間することができる。同様に、周囲の画素の中で平均値を求めるのに不適切な画素があれば、その代わりに適切な画素と置き換えることで、適切な補間が可能となる。
補間は、主に、CCD16により生じる未飽和画素の特徴に依存することとなる。従って、CCD16の種類によって、平均値の算出方法を変えればよい。
未飽和画素の補間方法では前記位置情報を用いたが、記憶容量は有限の為、効果的に補間することが望ましい。具体的には位置情報を用いた補間と位置情報を用いない補間を組み合わせることである。
まず、前記画像位置を準備するには、対象画素について、画像信号が補間用閾値(例えば90IRE)を超えて、高輝度判定の閾値(96IRE)を下回る場合に、その位置情報をメモリ27に記憶させる。なお、1IREは7.14mVのレベルに相当する。
具体的には、CCD16を製造して出荷する際の検査で対応することが望ましい。なぜなら、画像信号を正確に測定したり、CCD16へ適正な光を与えたりする必要があるから。
前記位置情報に基づく画素の位置では、画像信号が補間用閾値を超えた時に補間を実行して飽和ザラを改善する。そうすることで、飽和するはずの画像信号を十分な飽和として変えることができる。画像信号が補間用閾値よりも小さいときには、飽和しなくてよいので、補間をしないようにする。
次に、前記位置情報に基づかない画素の位置では、対象画素に対して、高輝度判定の閾値を超えた時、更に未飽和判定の閾値(98IRE)を用いて判定を行う。この判定では、98〜100IREであれば補間をしないが、96〜98IREであれば補間をするようになる。
98〜100IREの時は補間をしないのは、ほとんど飽和しているので飽和ザラが目立たないからである。そうすることで必要な場合にのみ効果的に補間を行える。
なお、メモリ27に、白傷画素の位置と未飽和画素の位置を記憶する場合、いづれかが分かるようなフラグをMSB(16bitデータの最上位bit)に設けたり、記憶領域を分けることとすればよい。
また、これまでは画素の位置情報を用いる方法と用いない方法の組合せであったが、もし画素の位置情報が無い内視鏡があれば、前記に説明した画素の位置情報を用いない方法で補間をすればよい。
例えば、高輝度判定の閾値を下回った場合、周辺8画素の平均値で置き換える補間方法が挙げられる。
本出願は、2012年4月10日に日本国に出願された特願2012−89437号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (13)

  1. 被写体を撮像するために2次元状に配列された複数の画素を有し、該複数の画素により撮像した画素信号を出力する撮像素子と、
    前記撮像素子に存在する欠陥画素としての白傷画素の位置情報を記憶する白傷位置情報記憶部と、
    前記撮像素子に対して転送信号を印加することにより、前記撮像素子を構成する前記複数の画素から所定の方向に沿って前記画素信号を出力させる撮像素子駆動部と、
    前記白傷位置情報記憶部から読み出した前記白傷画素の位置情報に基づき、前記転送信号の印加により前記撮像素子から出力される前記画素信号が白傷画素のものと判定された時、前記撮像素子から出力される、前記白傷画素と判定された画素を囲む周囲8画素の画素信号のうちの、前記白傷画素と判定された画素の1画素後に出力される隣接画素の画素信号を除いた7個の画素により算出された白傷補正値に基づき、前記白傷画素と判定された画素の画素信号に対して白傷補正を行う白傷補正部と、
    前記撮像素子を構成する各画素のアナログの画素信号を伝送するケーブルと、
    前記ケーブルにより伝送された前記アナログの画素信号をデジタルの画素信号に変換して前記白傷補正部に出力するアナログ・デジタル変換部と、
    前記白傷画素と判定された画素から1画素数以上となる所定の画素数だけ後に出力される所定の画素の画素信号に対して、前記白傷画素と判定された画素の画素信号値の所定の割合を加算する補正を行う加算補正部と、
    を備えることを特徴とする撮像装置。
  2. 前記白傷補正部は、前記白傷画素と判定された画素に対して、前記7個の画素の画素信号の平均値を前記白傷補正値として算出する白傷補正回路と、
    前記白傷位置情報記憶部の前記白傷画素の位置情報に基づく切替信号により、前記白傷画素と判定されない通常画素が入力された場合には、該通常画素の画素信号を選択して出力し、前記白傷画素と判定された画素の画素信号が入力された場合には、前記白傷補正回路により算出された前記白傷補正値の画素信号を選択して出力するセレクタと、
    を有することを特徴とする請求項1に記載の撮像装置。
  3. 前記白傷画素と判定された画素から前記所定の画素数だけ後に出力される前記所定の画素の位置と、前記所定の割合との補正情報を、予め記憶する補正情報記憶部を有し、
    前記加算補正部は、前記補正情報記憶部の前記位置の情報を用いて前記所定の画素の画素信号が該加算補正部に入力されるタイミングにおいて、当該画素信号に対して前記白傷画素と判定された画素の画素信号値の所定の割合を加算する加算補正を行うことを特徴とする請求項1に記載の撮像装置。
  4. 前記白傷画素と判定された画素から前記所定の画素数だけ後に出力される前記所定の画素の位置と、前記所定の割合との補正情報を、予め記憶する補正情報記憶部を有し、
    前記加算補正部は、前記補正情報記憶部の前記位置の情報を用いて前記所定の画素の画素信号が該加算補正部に入力されるタイミングにおいて、当該画素信号に対して前記白傷画素と判定された画素の画素信号値所定の割合を加算する加算補正を行うことを特徴とする請求項2に記載の撮像装置。
  5. 更に、前記白傷画素と判定された画素の1画素後に出力される前記隣接画素の画素信号の信号値を、閾値を用いて補正すべき範囲内か否かを判定する判定部と、
    前記判定部が補正すべきと判定した場合に、前記隣接画素の画素信号を、該隣接画素を前記所定の方向と直交する方向に隣接する2画素の画素信号の平均値で置換する補正を行う隣接画素補正部を有することを特徴とする請求項3に記載の撮像装置。
  6. 更に、前記白傷画素と判定された画素の1画素後に出力される前記隣接画素の画素信号の信号値を、閾値を用いて補正すべき範囲内か否かを判定する判定部と、
    前記判定部が補正すべきと判定した場合に、前記隣接画素の画素信号を、該隣接画素を前記所定の方向と直交する方向に隣接する2画素の画素信号の平均値で置換する補正を行う隣接画素補正部を有することを特徴とする請求項4に記載の撮像装置。
  7. 前記加算補正部は前記白傷補正部の前段側に設けられ、前記白傷補正部は、前記加算補正部による加算補正された後の画素信号に対して前記白傷補正を行うことを特徴とする請求項に記載の撮像装置。
  8. 前記加算補正部は前記白傷補正部の前段側に設けられ、前記白傷補正部は、前記加算補正部による加算補正された後の画素信号に対して前記白傷補正を行うことを特徴とする請求項に記載の撮像装置。
  9. 前記判定部は、前記隣接画素の画素信号の信号値と、前記閾値としての前記隣接画素に隣接する前記2画素の画素信号の平均値に所定係数を乗算した値とを比較することにより、前記判定を行うことを特徴とする請求項に記載の撮像装置。
  10. 前記補正情報記憶部は、前記白傷画素と判定された1つの画素に対して、前記所定の画素の位置として第1の位置及び第2の位置とを含む複数の位置と、前記第1の位置及び前記第2の位置に対応して、前記所定の割合を表す第1の係数と第2の係数とを前記補正情報として予め記憶しており、
    前記加算補正部は、前記第1の位置及び第2の位置の前記所定の画素それぞれに対して、前記第1の係数と前記第2の係数を前記白傷画素と判定された画素の画素信号値にそれぞれ乗算した値を用いて前記加算補正を行うことを特徴とする請求項に記載の撮像装置。
  11. 前記補正情報記憶部は、前記白傷画素と判定された1つの画素に対して、前記所定の画素の位置として第1の位置及び第2の位置とを含む複数の位置と、前記第1の位置及び前記第2の位置に対応して、前記所定の割合を表す第1の係数と第2の係数とを前記補正情報として予め記憶しており、
    前記加算補正部は、前記第1の位置及び第2の位置の前記所定の画素それぞれに対して、前記第1の係数と前記第2の係数を前記白傷画素と判定された画素の画素信号値にそれぞれ乗算した値を用いて前記加算補正を行うことを特徴とする請求項に記載の撮像装置。
  12. 前記撮像素子と前記白傷位置情報記憶部とを備え、一端が前記撮像素子に接続された前記ケーブルが挿通された内視鏡と、前記ケーブルの他端が着脱自在に接続され、前記撮像素子駆動部と前記白傷補正部と、を備えた信号処理装置とを備えることを特徴とする請求項に記載の記載の撮像装置。
  13. 前記撮像素子と前記白傷位置情報記憶部と前記補正情報記憶部とを備え、一端が前記撮像素子に接続された前記ケーブルが挿通された内視鏡と、前記ケーブルの他端が着脱自在に接続され、前記撮像素子駆動部と前記白傷補正部とを備えた信号処理装置と、を備えることを特徴とする請求項に記載の記載の撮像装置。
JP2013544603A 2012-04-10 2013-04-09 撮像装置 Active JP5458223B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013544603A JP5458223B1 (ja) 2012-04-10 2013-04-09 撮像装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012089437 2012-04-10
JP2012089437 2012-04-10
PCT/JP2013/060726 WO2013154105A1 (ja) 2012-04-10 2013-04-09 撮像装置
JP2013544603A JP5458223B1 (ja) 2012-04-10 2013-04-09 撮像装置

Publications (2)

Publication Number Publication Date
JP5458223B1 true JP5458223B1 (ja) 2014-04-02
JPWO2013154105A1 JPWO2013154105A1 (ja) 2015-12-17

Family

ID=49327667

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013544603A Active JP5458223B1 (ja) 2012-04-10 2013-04-09 撮像装置

Country Status (5)

Country Link
US (1) US8866940B2 (ja)
EP (1) EP2750373B1 (ja)
JP (1) JP5458223B1 (ja)
CN (1) CN103858422B (ja)
WO (1) WO2013154105A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6295654B2 (ja) * 2013-12-26 2018-03-20 セイコーエプソン株式会社 カメラ、及び画像処理方法
EP3189772A4 (en) * 2014-09-03 2018-05-16 Olympus Corporation Endoscope device
CN104363391B (zh) * 2014-11-28 2018-11-27 广东欧珀移动通信有限公司 图像坏点补偿方法、系统及拍照设备
WO2018020685A1 (ja) 2016-07-29 2018-02-01 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2018020687A1 (ja) * 2016-07-29 2018-02-01 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
CN107613229A (zh) * 2017-09-30 2018-01-19 杭州雄迈集成电路技术有限公司 一种图像传感器坏点检测校正装置及方法
KR20200129388A (ko) * 2019-05-08 2020-11-18 엘지이노텍 주식회사 카메라 모듈
US11509845B2 (en) * 2021-03-05 2022-11-22 Black Sesame Technologies Inc. Multiple frame defect pixel detection and correction
US20230096874A1 (en) * 2021-09-29 2023-03-30 Ati Technologies Ulc Content adaptive filtering via ringing estimation and suppression

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1042201A (ja) * 1996-07-26 1998-02-13 Hitachi Denshi Ltd 画像欠陥補正回路
JPH1051693A (ja) * 1996-07-30 1998-02-20 Toshiba Medical Eng Co Ltd 撮像素子の欠陥画素補正処理装置
JP2004241600A (ja) * 2003-02-06 2004-08-26 Sony Corp 欠陥検出回路及び欠陥検出方法
JP2006109067A (ja) * 2004-10-05 2006-04-20 Ikegami Tsushinki Co Ltd 欠陥画素処理装置及び方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5521639A (en) * 1992-04-30 1996-05-28 Sony Corporation Solid-state imaging apparatus including a reference pixel in the optically-black region
JP2003078821A (ja) * 2001-08-31 2003-03-14 Hitachi Kokusai Electric Inc 撮像装置
JP4054184B2 (ja) 2001-10-03 2008-02-27 オリンパス株式会社 欠陥画素補正装置
JP3941698B2 (ja) * 2003-01-23 2007-07-04 ソニー株式会社 画素補正回路及び画素補正方法
JP4305777B2 (ja) * 2006-11-20 2009-07-29 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
EP2015562A1 (en) * 2007-07-10 2009-01-14 Thomson Licensing S.A. Processing device for correcting defect pixel values of an image sensor unit, image sensor unit with the processing device and method
US20090091642A1 (en) * 2007-10-03 2009-04-09 Winbond Electronics Corp. Image defect correction system using directional detection
JP5060535B2 (ja) * 2009-09-24 2012-10-31 株式会社東芝 画像処理装置
JP5269841B2 (ja) * 2010-07-22 2013-08-21 株式会社東芝 画像処理装置
JP5306298B2 (ja) * 2010-09-01 2013-10-02 株式会社東芝 画像処理装置
KR101243363B1 (ko) * 2010-11-12 2013-03-13 에스케이하이닉스 주식회사 불량픽셀 제거 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1042201A (ja) * 1996-07-26 1998-02-13 Hitachi Denshi Ltd 画像欠陥補正回路
JPH1051693A (ja) * 1996-07-30 1998-02-20 Toshiba Medical Eng Co Ltd 撮像素子の欠陥画素補正処理装置
JP2004241600A (ja) * 2003-02-06 2004-08-26 Sony Corp 欠陥検出回路及び欠陥検出方法
JP2006109067A (ja) * 2004-10-05 2006-04-20 Ikegami Tsushinki Co Ltd 欠陥画素処理装置及び方法

Also Published As

Publication number Publication date
EP2750373A1 (en) 2014-07-02
JPWO2013154105A1 (ja) 2015-12-17
EP2750373A4 (en) 2015-04-22
EP2750373B1 (en) 2017-10-25
US8866940B2 (en) 2014-10-21
CN103858422A (zh) 2014-06-11
WO2013154105A1 (ja) 2013-10-17
US20140211049A1 (en) 2014-07-31
CN103858422B (zh) 2016-11-23

Similar Documents

Publication Publication Date Title
JP5458223B1 (ja) 撮像装置
US20160269611A1 (en) Image pickup apparatus
JP5097308B2 (ja) インピーダンスマッチング装置及びこれを備えた内視鏡
JPWO2012017735A1 (ja) 内視鏡システム
US8243172B2 (en) Image pickup system
JPH07111978A (ja) 内視鏡用画像処理装置
JP5847017B2 (ja) 電子内視鏡装置及びその作動方法
JP5244164B2 (ja) 内視鏡装置
JP6013647B1 (ja) 内視鏡
EP2589329B1 (en) Endoscope and endoscopic system
US20170208268A1 (en) Endoscope and endoscope system
JP5959331B2 (ja) 内視鏡装置
JP6192671B2 (ja) 内視鏡システム、内視鏡システムの作動方法
JP2000342533A (ja) 内視鏡装置
JP2002372662A (ja) 交換レンズ及びそれを有するカメラシステム
JP2012213211A (ja) 撮像装置および撮像方法
US10484626B2 (en) Gain adjustment unit, recording medium holding gain adjustment program, endoscope and endoscope apparatus
WO2018079397A1 (ja) 内視鏡装置
JP5322633B2 (ja) 撮像装置
JPH11164195A (ja) 撮像装置
JP5827868B2 (ja) 電子内視鏡及び固定パターンノイズ除去方法
JP6150969B1 (ja) ゲイン調整装置、ゲイン調整プログラム、内視鏡及び内視鏡装置
US9888836B2 (en) Endoscope
JP2013054198A (ja) 内視鏡装置、内視鏡システム及び内視鏡装置本体部
JP2009095525A (ja) 内視鏡装置の電子内視鏡

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140110

R151 Written notification of patent or utility model registration

Ref document number: 5458223

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250