JP6892449B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP6892449B2
JP6892449B2 JP2018529342A JP2018529342A JP6892449B2 JP 6892449 B2 JP6892449 B2 JP 6892449B2 JP 2018529342 A JP2018529342 A JP 2018529342A JP 2018529342 A JP2018529342 A JP 2018529342A JP 6892449 B2 JP6892449 B2 JP 6892449B2
Authority
JP
Japan
Prior art keywords
pixel
pixels
defective
saturation level
saturation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018529342A
Other languages
English (en)
Other versions
JPWO2018020687A1 (ja
Inventor
裕輝 丸山
裕輝 丸山
学 市川
学 市川
輝彬 山崎
輝彬 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2018020687A1 publication Critical patent/JPWO2018020687A1/ja
Application granted granted Critical
Publication of JP6892449B2 publication Critical patent/JP6892449B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、撮像素子に生じるノイズを処理する画像処理装置、画像処理方法およびプログラムに関する。
一般に、撮像装置に用いられる撮像素子では、製造時のばらつきや劣化等によって画素を構成する回路に欠陥が生じた場合、その画素から読み出される画素値が周囲の画素（以下「周囲画素」という）の画素値より高くなったり、低くなったりする。このような欠陥が生じた画素（以下、「欠陥画素」という）の画素値を補正する技術として、注目画素の周囲画素の画素値を集団としたときの画素値の分散を演算するとともに、この分散を基に注目画素の画素値と周囲画素の画素値との差分値を正規化した、注目画素の周囲画素における画素値の突出度合いを示す突出度を算出することによって、欠陥画素の画素値を補正する技術が知られている（特許文献１参照）。この技術では、注目画素の画素値の突出度と、注目画素と同一位置の異なる色フィルタの画素値の突出度とを比較して欠陥画素であるか否かの判定を行い、注目画素が欠陥画素である場合、注目画素の画素値を周囲画素の画素値を用いて補正する。
また、撮像素子では、露光量に応じて発生する電荷に対応する画素値を読み出している。撮像素子の各画素における電荷の最大蓄積量（飽和電荷量）は、撮像素子の製造誤差等により画素毎にばらつきが生じる。例えば、コントラストがなく高輝度の平坦被写体を撮像した場合、読み出された画素値は一律に飽和し、全画素が同等の画素値を示すことが好ましいが、画素毎のばらつきに起因して飽和電荷量が低い画素では他の画素よりも低い画素値で飽和してしまい、画素値が同等の画素値を示さないという問題点がある。このように、他の画素の画素値と比べて、低い画素値で飽和する画素（以下、「低飽和画素」という）の画素値を、周囲画素の画素値の平均値に置換することで、注目画素の画素値を補正する技術が知られている（特許文献２参照）。
特許第４４５３３３２号公報 国際公開第２０１３／１５４１０５号
しかしながら、上述した特許文献１では、注目画素の画素値および周囲画素の画素値を用いて欠陥画素の検出および補正を行う場合において、欠陥画素の周囲に低飽和画素があるとき、欠陥画素の検出の精度が低下したり、欠陥画素の補正精度が低くなったりするという問題点があった。
特に医療用内視鏡などの、観察する被写体や条件が制限されるような機器においては、最も重要な条件で最も良い画質になるように設計される。例えば、医療用内視鏡では、ユーザである医師が最も診断しやすい露光条件において、ノイズが少なく観察対象である生体等の被検体が最も見やすくなるように、その露光条件で平均的に蓄積される電荷量を決定する。その結果、重要では無い条件（例えば、医療用内視鏡に使う可能性が著しく低い飽和した条件や真っ暗な条件）で、上述した問題がより顕著になる。
本発明は、上記に鑑みてなされたものであって、注目画素の周囲に低飽和画素があるときであっても、正確に欠陥画素を処理することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる欠陥画素に起因するノイズを処理する画像処理装置であって、前記撮像素子が生成した前記画像データと、前記欠陥画素の位置情報と、を取得する取得部と、前記位置情報に基づいて、前記画像データに含まれる前記欠陥画素を補正する欠陥画素補正部と、前記欠陥画素補正部が前記欠陥画素を補正した前記画像データに対し、予め算出された前記複数の画素の各々の飽和レベルに基づいて、該飽和レベルが他の画素より低い低飽和画素を補正する低飽和画素補正部と、を備えることを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記欠陥画素補正部が補正した前記欠陥画素の前記飽和レベルを算出する飽和レベル算出部をさらに備えることを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記欠陥画素補正部は、前記位置情報に対応する前記欠陥画素の周囲の画素の画素値を参照して前記欠陥画素を補正し、前記飽和レベル算出部は、前記欠陥画素補正部が前記欠陥画素を補正する際に参照する範囲に基づいて、前記飽和レベルを算出することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記飽和レベル算出部は、前記欠陥画素補正部が前記欠陥画素を補正する際に参照する画素の範囲を、前記参照範囲として決定することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記欠陥画素補正部は、前記位置情報に対応する前記欠陥画素の周囲の画素の画素値を用いて前記欠陥画素を補間することによって前記ノイズを補正し、前記飽和レベル算出部は、前記欠陥画素補正部が前記欠陥画素を補正する際に補間に使用する画素の範囲を、前記参照範囲として決定することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記飽和レベル算出部は、前記参照範囲内の画素において最も低い前記飽和レベルを、前記欠陥画素の前記飽和レベルとして算出することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記飽和レベル算出部は、前記参照範囲内の画素の前記飽和レベルを加重平均した値を、前記欠陥画素の前記飽和レベルとして算出することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記欠陥画素に対応する前記飽和レベルは、前記注目画素の周囲の参照画素における飽和レベルのうち、最も低い飽和レベルであり、前記欠陥画素補正部は、前記位置情報に対応する前記欠陥画素の周囲の参照画素の画素値を用いて前記欠陥画素を補間することによって前記ノイズを補正することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記欠陥画素に対応する前記飽和レベルは、前記注目画素の周囲の参照画素における飽和レベルを加重平均した値であり、前記欠陥画素補正部は、前記位置情報に対応する前記欠陥画素の周囲の画素の画素値を用いて前記欠陥画素を補間することによって前記ノイズを補正することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記欠陥画素は、白傷、黒傷および点滅欠陥ノイズのいずれかであることを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記低飽和画素補正部は、前記欠陥画素補正部によって補正された前記欠陥画素の画素値が前記飽和レベル以上の場合、前記欠陥画素の周囲の画素の画素値を用いて、前記欠陥画素の画素値を補正することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記低飽和画素補正部は、前記欠陥画素補正部によって補正された前記欠陥画素の画素値が前記飽和レベル以上の場合、前記欠陥画素の画素値と前記欠陥画素の周囲の画素の画素値との差が小さくなるように前記欠陥画素補正部によって補正された前記欠陥画素の画素値を補正することを特徴とする。
また、本発明に係る画像処理方法は、２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる欠陥画素に起因するノイズを処理する画像処理装置が実行する画像処理方法であって、前記撮像素子が生成した前記画像データと、前記欠陥画素の位置情報と、を取得する取得ステップと、前記位置情報に基づいて、前記画像データに含まれる前記ノイズを補正するノイズ補正ステップと、前記ノイズ補正ステップにおいて前記ノイズを補正した前記画像データに対し、予め算出された前記複数の画素の各々の飽和レベルに基づいて、該飽和レベルが他の画素より低い低飽和画素を補正する低飽和画素補正ステップと、を含むことを特徴とする。
また、本発明に係るプログラムは、２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる欠陥画素に起因するノイズを処理する画像処理装置に、前記撮像素子が生成した前記画像データと、前記欠陥画素の位置情報と、を取得する取得ステップと、前記位置情報に基づいて、前記画像データに含まれる前記ノイズを補正するノイズ補正ステップと、前記ノイズ補正ステップにおいて前記ノイズを補正した前記画像データに対し、予め算出された前記複数の画素の各々の飽和レベルに基づいて、該飽和レベルが他の画素より低い低飽和画素を補正する低飽和画素補正ステップと、を実行させることを特徴とする。
本発明によれば、注目画素の周囲に低飽和画素があるときであっても、正確に欠陥画素を処理することができるという効果を奏する。
図１は、本発明の実施の形態１に係る撮像システムの構成を模式的に示すブロック図である。 図２は、本発明の実施の形態１に係る撮像素子の要部の構成を模式的に示す概略図である。 図３は、本発明の実施の形態１に係る撮像素子における欠陥画素と低飽和画素の一例を模式的に示す図である。 図４は、本発明の実施の形態１に係る低飽和画素情報記録部が記録する低飽和画素情報の一例を模式的に示す図である。 図５は、本発明の実施の形態１に係る低飽和画素情報記録部が記録する低飽和画素情報の別の一例を模式的に示す図である。 図６は、本発明の実施の形態１に係る画像処理装置が実行するノイズ処理の概要を示すフローチャートである。 図７は、図６の欠陥画素補正処理の概要を示すフローチャートである。 図８は、図７の方向判別処理の概要を示すフローチャートである。 図９Ａは、本発明の実施の形態１に係る方向判別の一例を模式的に示す図である。 図９Ｂは、本発明の実施の形態１に係る方向判別の一例を模式的に示す図である。 図９Ｃは、本発明の実施の形態１に係る方向判別の一例を模式的に示す図である。 図９Ｄは、本発明の実施の形態１に係る方向判別の一例を模式的に示す図である。 図９Ｅは、本発明の実施の形態１に係る方向判別の一例を模式的に示す図である。 図１０は、図６の飽和レベル算出処理の概要を示すフローチャートである。 図１１は、図６の低飽和画素補正処理の概要を示すフローチャートである。 図１２Ａは、本発明の実施の形態１に係る低飽和画素補正部が行う補間Ａ判定の概要を模式的に説明する図である。 図１２Ｂは、本発明の実施の形態１に係る低飽和画素補正部が行う補間Ａ判定の概要を模式的に説明する図である。 図１２Ｃは、本発明の実施の形態１に係る低飽和画素補正部が行う補間Ａ判定の概要を模式的に説明する図である。 図１３は、本発明の実施の形態２に係る画像処理装置が実行する欠陥画素補正処理の概要を示すフローチャートである。 図１４Ａは、本発明の実施の形態２に係る欠陥画素補正部が参照する参照マスクの一例を示す図である。 図１４Ｂは、本発明の実施の形態２に係る欠陥画素補正部が参照する参照マスクの一例を示す図である。 図１４Ｃは、本発明の実施の形態２に係る欠陥画素補正部が参照する参照マスクの一例を示す図である。 図１４Ｄは、本発明の実施の形態２に係る欠陥画素補正部が参照する参照マスクの一例を示す図である。 図１４Ｅは、本発明の実施の形態２に係る欠陥画素補正部が参照する参照マスクの一例を示す図である。 図１５は、本発明の実施の形態２に係る画像処理装置が実行する飽和レベル算出処理の概要を示すフローチャートである。 図１６は、本発明の実施の形態３に係る撮像システムの構成を模式的に示すブロック図である。 図１７は、本発明の実施の形態３に係る画像処理装置が実行する処理の概要を示すフローチャートである。
以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。
（実施の形態１）
〔撮像システムの構成〕
図１は、本発明の実施の形態１に係る撮像システムの構成を模式的に示すブロック図である。図１に示す撮像システム１は、撮像装置１０と、画像処理装置３０と、表示装置４０と、を備える。
〔撮像装置の構成〕
まず、撮像装置１０の構成について説明する。撮像装置１０は、図１に示すように、光学系１０１と、絞り１０２と、シャッタ１０３と、ドライバ１０４と、撮像素子１０５と、アナログ処理部１０６と、Ａ／Ｄ変換部１０７と、操作部１０８と、メモリＩ／Ｆ部１０９と、記録媒体１１０と、揮発メモリ１１１と、不揮発メモリ１１２と、バス１１３と、撮像制御部１１４と、第１外部Ｉ／Ｆ部１１５と、を備える。
光学系１０１は、単数または複数のレンズを用いて構成される。光学系１０１は、例えばフォーカスレンズとズームレンズとを用いて構成される。
絞り１０２は、光学系１０１が集光した光の入射量を制限することで露出の調整を行う。絞り１０２は、後述する撮像制御部１１４の制御のもと、光学系１０１が集光した光の入射量を制限する。なお、絞り１０２を用いずに、シャッタ１０３や撮像素子１０５における電子シャッタを用いて光の入射量を制限するようにしてもよい。なお、光学系１０１、絞り１０２は、撮像装置１０に対して着脱可能であってもよい。
シャッタ１０３は、撮像素子１０５の状態を露光状態または遮光状態に設定する。シャッタ１０３は、例えばフォーカルプレーンシャッタ等を用いて構成される。なお、シャッタ１０３を用いずに、撮像素子１０５における電子シャッタを用いてもよい。
ドライバ１０４は、後述する撮像制御部１１４の制御のもと、光学系１０１、絞り１０２およびシャッタ１０３を駆動する。例えば、ドライバ１０４は、光学系１０１を光軸Ｏ１に沿って移動させることによって、撮像装置１０のズーム倍率の変更またはピント位置の調整を行う。
撮像素子１０５は、後述する撮像制御部１１４の制御のもと、光学系１０１が集光した光を受光して画像データ（電気信号）に変換して出力する。撮像素子１０５は、複数の画素が２次元状に配置されたＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いて構成される。この各画素の前面には、ベイヤー配列のＲＧＢフィルタが配置されている。なお、撮像素子１０５は、ベイヤー配列に限定されず、例えばＦｏｖｉｏｎのような積層型の形式でも勿論かまわない。また、用いるフィルタはＲＧＢに限定されず、補色フィルタ等任意のフィルタを適用できる。また、別途、異なるカラー光を時分割で照射可能な光源を配置し、撮像素子１０５には、フィルタを配置せず、照射する色を変更しながら順次取り込んだ画像を使用してカラー画像を構成できるようにしてもよい。また、撮像素子１０５は、受光量を電子的に制御可能な電子シャッタ機能を有する。
ここで、撮像素子１０５の構成について詳細に説明する。図２は、撮像素子１０５の要部の構成を模式的に示す概略図である。なお、図２に示す撮像素子１０５は、画素の開口率向上により感度を向上させるため、複数の画素で読み出し回路を共有している例を示している。なお、図２に示す撮像素子１０５は、水平方向（横方向）に２画素×垂直方向（縦方向）に４画素の８画素に対して、１つの読み出し回路が配置されている。なお、図２においては、水平方向（横方向）に２画素×垂直方向（縦方向）に４画素の８画素に対して、１つの読み出し回路を１グループとする例を説明したが、本実施の形態１の撮像素子１０５上には、上述した画素および読み出し回路が、水平方向および垂直方向に並んで配置されているものとする。
図２に示すように、撮像素子１０５は、露光により光を受光し、光電変換を行うことによって、露光量に対応した電荷を発生する複数の画素１０５ａ（フォトダイオード）と、複数の画素１０５ａの各々に設けられ、撮像制御部１１４の制御に応じて開閉する第１スイッチ１０５ｂと、複数の画素１０５ａの各々から出力された信号（電荷）を転送する転送線１０５ｃと、複数の画素１０５ａの各々から出力された信号を蓄積するＦＤ部１０５ｄ（Floating Diffusion）と、ＦＤ部１０５ｄから出力された信号を増幅するアンプ部１０５ｅと、撮像制御部１１４の制御に応じて開閉する第２スイッチ１０５ｆと、第２スイッチ１０５ｆを制御する制御線１０５ｇと、アンプ部１０５ｅで増幅された電気信号を転送する転送線１０５ｈと、を備える。
このように構成された撮像素子１０５は、画素１０５ａ（１）〜１０５ａ（８）における露光量に対応する信号を画素値として読み出す場合、まず、ＦＤ部１０５ｄをリセット状態にして、撮像制御部１１４が第１スイッチ１０５ｂ（１）のみをオンとすることで、画素１０５ａ（１）に発生した電荷をＦＤ部１０５ｄに転送する。その後、撮像素子１０５は、撮像制御部１１４が第２スイッチ１０５ｆをオンとすることで、ＦＤ部１０５ｄに蓄積された電荷をアンプ部１０５ｅによって増幅させて画素値として読み出す（出力する）。次に、撮像素子１０５は、ＦＤ部１０５ｄをリセット状態にして、撮像制御部１１４が第１スイッチ１０５ｂ（２）のみをオンとすることで、画素１０５ａ（２）に発生した電荷をＦＤ部１０５ｄに転送する。その後、撮像素子１０５は、撮像制御部１１４が第２スイッチ１０５ｆをオンとすることで、ＦＤ部１０５ｄに蓄積された電荷をアンプ部１０５ｅによって増幅させて画素値として読み出す。撮像素子１０５は、このような読み出し動作を順次行うことによって、画素１０５ａ（１）〜１０５ａ（８）における露光量に対応する信号を順次画素値として出力することができる。なお、本実施の形態１では、ＦＤ部１０５ｄ以降が複数の画素１０５ａの各々から電荷を読み出す読み出し回路として機能する。
図１に戻り、撮像装置１０の構成の説明を続ける。
アナログ処理部１０６は、撮像素子１０５から入力されるアナログ信号に対して、所定のアナログ処理を施してＡ／Ｄ変換部１０７へ出力する。具体的には、アナログ処理部１０６は、撮像素子１０５から入力されるアナログ信号に対して、ノイズ低減処理およびゲインアップ処理等を行う。例えば、アナログ処理部１０６は、アナログ信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。
Ａ／Ｄ変換部１０７は、アナログ処理部１０６から入力されるアナログ信号に対して、Ａ／Ｄ変換を行うことによってデジタルの画像データ（以下、「ＲＡＷ画像データ」という）を生成し、バス１１３を介して揮発メモリ１１１に出力する。なお、Ａ／Ｄ変換部１０７は、後述する撮像装置１０の各部に対してＲＡＷ画像データを直接出力するようにしてもよい。なお、上述したアナログ処理部１０６とＡ／Ｄ変換部１０７を撮像素子１０５に設け、撮像素子１０５がデジタルのＲＡＷ画像データを直接出力するようにしてもよい。
操作部１０８は、撮像装置１０の各種の指示を与える。具体的には、操作部１０８は、撮像装置１０の電源状態をオン状態またはオフ状態に切り替える電源スイッチ、静止画撮影の指示を与えるレリーズスイッチ、撮像装置１０の各種設定を切り替える操作スイッチおよび動画撮影の指示を与える動画スイッチ等を有する。
記録媒体１１０は、撮像装置１０の外部から装着されるメモリカードを用いて構成され、メモリＩ／Ｆ部１０９を介して撮像装置１０に着脱自在に装着される。また、記録媒体１１０は、撮像制御部１１４の制御のもと、メモリＩ／Ｆ部１０９を介してプログラムおよび各種情報それぞれを不揮発メモリ１１２に出力してもよい。
揮発メモリ１１１は、バス１１３を介してＡ／Ｄ変換部１０７から入力される画像データを一時的に記録する。例えば、揮発メモリ１１１は、アナログ処理部１０６、Ａ／Ｄ変換部１０７およびバス１１３を介して、撮像素子１０５が１フレーム毎に順次出力する画像データを一時的に記録する。揮発メモリ１１１は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等を用いて構成される。
不揮発メモリ１１２は、Ｆｌａｓｈメモリ等を用いて構成され、撮像装置１０を動作させるための各種プログラム、プログラムの実行中に使用される各種データを記録する。また、不揮発メモリ１１２は、プログラム記録部１１２ａと、撮像素子１０５における画素の位置に応じた欠陥画素の位置情報（位置情報は、画素値を読み出す読み出し回路（アンプ部１０５ｅの位置情報）または欠陥画素が生じる画素の位置情報のいずれか一方または両方を含む）を記録する欠陥画素情報記録部１１２ｂと、撮像素子１０５における画素の位置に応じた低飽和画素の位置情報（位置情報は、画素値を読み出す読み出し回路（アンプ部１０５ｅの位置情報）または低飽和画素が生じる画素の位置情報のいずれか一方または両方を含む）を記録する低飽和画素情報記録部１１２ｃと、を有する。ここで、欠陥画素とは、白傷、黒傷および点滅欠陥ノイズのいずれかである。
バス１１３は、撮像装置１０の各構成部位を接続する伝送路等を用いて構成され、撮像装置１０の内部で発生した各種データを撮像装置１０の各構成部位に転送する。
撮像制御部１１４は、ＣＰＵ（Central Processing Unit）等を用いて構成され、操作部１０８からの指示信号やレリーズ信号に応じて撮像装置１０を構成する各部位に対する指示やデータの転送等を行って撮像装置１０の動作を統括的に制御する。例えば、撮像制御部１１４は、操作部１０８からセカンドレリーズ信号が入力された場合、撮像装置１０における撮影動作の制御を開始する。ここで、撮像装置１０における撮影動作とは、撮像素子１０５の露光タイミング、アナログ信号の出力タイミング、および撮像素子１０５が出力したアナログ信号に対し、アナログ処理部１０６かつＡ／Ｄ変換部１０７が所定の処理を施す動作をいう。このように処理が施された画像データは、撮像制御部１１４の制御のもと、バス１１３およびメモリＩ／Ｆ部１０９を介して記録媒体１１０に記録される。
第１外部Ｉ／Ｆ部１１５は、バス１１３を介して外部の機器から入力される情報を不揮発メモリ１１２または揮発メモリ１１１へ出力する一方、バス１１３を介して外部の機器へ揮発メモリ１１１が記録する情報、不揮発メモリ１１２が記録する情報および撮像素子１０５が生成した画像データを出力する。具体的には、第１外部Ｉ／Ｆ部１１５は、バス１１３を介して画像処理装置３０に撮像素子１０５が生成した画像データ、欠陥画素情報および低飽和画素情報を出力する。
〔画像処理装置の構成〕
次に、画像処理装置３０の構成について説明する。画像処理装置３０は、第３外部Ｉ／Ｆ部３１と、ノイズ処理部３２と、画像処理部３３と、操作部３４と、記録部３５と、画像処理制御部３６と、を備える。

第３外部Ｉ／Ｆ部３１は、撮像装置１０の第１外部Ｉ／Ｆ部１１５を介して撮像素子１０５によって生成された画像データ、不揮発メモリ１１２内の欠陥画素情報記録部１１２ｂが記録する欠陥画素情報および低飽和画素情報記録部１１２ｃが記録する低飽和画素情報を取得する取得部として動作し、取得した画像データ、欠陥画素情報および低飽和画素情報をノイズ処理部３２および記録部３５へ出力する。第３外部Ｉ／Ｆ部３１および第１外部Ｉ／Ｆ部１１５は、例えば双方向に情報をやり取り可能な制御ケーブルや無線通信等を介して接続されている。なお、本実施の形態では、第３外部Ｉ／Ｆ部３１が取得部として機能する。
ノイズ処理部３２は、第３外部Ｉ／Ｆ部３１から入力されたＲＡＷ画像データに対して、飽和レベルに基づいて、欠陥画素に起因するノイズを処理するとともに、低飽和画素を補正して画像処理部３３へ出力する。ノイズ処理部３２は、欠陥画素補正部５１と、飽和レベル算出部５２と、低飽和画素補正部５３と、を有する。
欠陥画素補正部５１は、飽和レベルに基づいて、ＲＡＷ画像データにおける欠陥画素を補正する。具体的には、欠陥画素補正部５１は、欠陥画素情報に基づいて、欠陥画素を補正する。なお、欠陥画素補正部５１は、欠陥画素の位置のみを使用し、欠陥画素の周囲画素を用いて補正するようにしてもよい。
飽和レベル算出部５２は、欠陥画素補正部５１の補正方法に応じて、欠陥画素における飽和レベルを算出し、この算出した飽和レベルと欠陥画素の位置とを含む情報を低飽和画素情報として出力する。
低飽和画素補正部５３は、ＲＡＷ画像データの低飽和画素を補正する。具体的には、低飽和画素補正部５３は、低飽和画素情報（欠陥画素以外の低飽和画素における低飽和画素の位置と飽和レベルに関する情報と、欠陥画素における欠陥画素の位置と飽和レベルに関する情報と、を含む）に基づいて、低飽和画素が飽和している場合、低飽和画素の周囲画素と同様の画素値となるように補正する一方、低飽和画素が飽和していない場合、低飽和画素の画素値をそのまま出力する。
画像処理部３３は、ノイズ処理部３２によってノイズが補正された画像データに対して、所定の画像処理を行って表示装置４０へ出力する。ここで、所定の画像処理とは、少なくとも、オプティカルブラック減算処理、ホワイトバランス調整処理、撮像素子１０５がベイヤー配列の場合には画像データの同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理等を含む基本の画像処理を行う。また、画像処理部３３は、予め設定された各画像処理のパラメータに基づいて、自然な画像を再現する画像処理を行う。ここで、各画像処理のパラメータとは、コントラスト、シャープネス、彩度、ホワイトバランスおよび階調の値である。
操作部３４は、画像処理装置３０に関する各種操作信号の入力を受け付ける。操作部３４は、例えば十字ボタン、プッシュボタンおよびタッチパネル等を用いて構成される。
記録部３５は、揮発メモリや不揮発性メモリを用いて構成され、第３外部Ｉ／Ｆ部３１から出力された欠陥画素情報および低飽和画素情報を記録する。
画像処理制御部３６は、画像処理装置３０を構成する各部を統括的に制御する。画像処理制御部３６は、ＣＰＵ等を用いて構成される。画像処理制御部３６は、画像処理装置３０を構成する各部の指示やデータ等の転送を制御する。
〔表示装置の構成〕
次に、表示装置４０の構成について説明する。表示装置４０は、画像処理装置３０から入力される画像データに対応する画像を表示する。表示装置４０は、液晶または有機ＥＬ（Electro Luminescence）等の表示パネル等を用いて構成される。
以上の構成を有する撮像システム１は、画像処理装置３０が撮像素子１０５において発生する欠陥画素および／または低飽和画素を補正し、表示装置４０が画像処理装置３０によって画像処理が施された画像データに対応する画像を表示する。
〔低飽和画素情報〕
次に、低飽和画素情報記録部１１２ｃが記録する低飽和画素情報について説明する。図３は、撮像素子における欠陥画素と低飽和画素の一例を模式的に示す図である。図４は、低飽和画素情報記録部１１２ｃが記録する低飽和画素情報の一例を模式的に示す図である。図５は、低飽和画素情報記録部１１２ｃが記録する低飽和画素情報の別の一例を模式的に示す図である。図３において、画素Ｐ１が正常な画素を示し（ハッチなし）、画素Ｐ２（ハッチあり）が白傷や黒傷または点滅欠陥ノイズ等の欠陥画素を示し、画素Ｐ３（ハッチあり）が低飽和画素を示す。また、図４において、画素Ｐ１０、画素Ｐ１１が低飽和画素を示す。
図３〜図５に示すように、低飽和画素情報には、画素毎の位置情報と、検出装置等によって予め検出された飽和レベルとが関連付けられて記録されている。この記録方法としては、撮像素子１０５によって生成されたＲＡＷ画像データにおける複数の画素の各々に飽和レベルが設定された飽和レベルマップを取得する方法（図４を参照）と、低飽和画素の座標（アドレス）と飽和レベルとを関連付けて取得する方法（図５を参照）とがある。低飽和画素の座標（アドレス）と飽和レベルとを関連付けて取得する方法を行う場合、低飽和画素は、その座標と飽和レベルと、低飽和画素以外の画素の飽和レベルを記録し、飽和レベルを参照する座標が記録されている場合には対応する飽和レベルを用いる一方、飽和レベルを参照する座標が記録されていない場合には低飽和画素以外の画素の飽和レベルを用いる。ただし、低飽和画素ではない画素については、十分に飽和する場合、画素値の最大値（例えば１２ビットの場合、４０９５）を飽和レベルとしてもよい。
なお、図４および図５では画素の位置に対応するように飽和レベルを記録したが、読み出し回路が起因して飽和レベルが下がる場合には、読み出し回路の位置に対応するように飽和レベルを記録しても良い（勿論、図４および図５で示した方法で飽和レベルを記録しても良い）。その場合、記録されている情報を読み出した後、読み出し回路を共有する画素に対して同じ飽和レベルにするなど、画素単位の飽和レベルに変換した情報を低飽和画素情報とすればよい。
また、各画素の飽和レベルについては、画素値の線形性（リニアティ）とランダムノイズ等を考慮して決定することが望ましい。例えば、完全に飽和するような条件で露光して得られる画像の画素値から、その輝度のランダムノイズ量に基づく値だけ下げた値を、その画素の飽和レベルとしてもよい。また、線形性が崩れる画素値を飽和レベルとしてもよい。もちろん、両方を考慮して飽和レベルを設定してもよい。
〔画像処理装置の処理〕
次に、画像処理装置３０が実行する処理について説明する。図６は、画像処理装置３０が実行するノイズ処理の概要を示すフローチャートであり、画像処理装置３０が実行するメインルーチンのフローチャートである。
図６に示すように、まず、欠陥画素補正部５１は、第３外部Ｉ／Ｆ部３１から入力されたＲＡＷ画像に対して、欠陥画素を補正する欠陥画素補正処理を実行する（ステップＳ１０１）。なお、欠陥画素補正処理の詳細については後述する。
続いて、飽和レベル算出部５２は、ＲＡＷ画像における低飽和画素のレベルを算出する飽和レベル算出処理を実行する（ステップＳ１０２）。なお、飽和レベル算出処理の詳細については後述する。
その後、低飽和画素補正部５３は、ＲＡＷ画像における低飽和画素を補正する低飽和画素補正処理を実行する（ステップＳ１０３）。なお、低飽和画素補正処理の詳細については後述する。ステップＳ１０３の後、画像処理装置３０は、本処理を終了する。
〔欠陥画素補正処理〕
次に、図６のステップＳ１０１において説明した欠陥画素補正処理の詳細について説明する。図７は、欠陥画素補正処理の概要を示すフローチャートであり、画像処理装置３０が実行するサブルーチンのフローチャートである。
図７に示すように、まず、欠陥画素補正部５１は、垂直方向のＲＡＷ画像の位置を示すカウンタｙをリセット（ｙ＝０）するとともに（ステップＳ２０１）、水平方向のＲＡＷ画像の位置を示すカウンタｘをリセット（ｘ＝０）する（ステップＳ２０２）。なお、以下においては、垂直方向のＲＡＷ画像の位置を示すカウンタｙにおいて、ＲＡＷ画像の上端を０とし、水平方向のＲＡＷ画像の位置を示すカウンタｘにおいて、ＲＡＷ画像の左端を０とする。
続いて、欠陥画素補正部５１は、注目画素が欠陥画素であるか否かを判断し（ステップＳ２０３）、注目画素が欠陥画素である場合（ステップＳ２０３：Ｙｅｓ）、後述するステップＳ２０４へ移行する。これに対して、注目画素が欠陥画素でない場合（ステップＳ２０３：Ｎｏ）、後述するステップＳ２１０へ移行する。
ステップＳ２０４において、欠陥画素補正部５１は、注目画素の画素値から欠陥画素レベルを減算し、補正候補値を算出する。
続いて、欠陥画素補正部５１は、注目画素と相関が高い方向を判別する方向判別処理を実行する（ステップＳ２０５）。ステップＳ２０５の後、欠陥画素補正部５１は、後述するステップＳ２０６へ移行する。
〔方向判別処理の概要〕
図８は、図７のステップＳ２０５の方向判別処理の概要を示すフローチャートである。図８に示すように、まず、欠陥画素補正部５１は、方向を示すインデックスｉをリセット（ｉ＝０）し（ステップＳ３０１）、ｉ方向の相関値を算出する（ステップＳ３０２）。
図９Ａは、本発明の実施の形態１に係る方向判別の一例を模式的に示す図であり、方向判別の方向が方向０を示す図である。図９Ｂは、本発明の実施の形態１に係る方向判別の一例を模式的に示す図であり、方向判別の方向が方向１を示す図である。図９Ｃは、本発明の実施の形態１に係る方向判別の一例を模式的に示す図であり、方向判別の方向が方向２を示す図である。図９Ｄは、本発明の実施の形態１に係る方向判別の一例を模式的に示す図であり、方向判別の方向が方向３を示す図である。
図９Ａ〜図９Ｄに示すように、欠陥画素補正部５１は、９×９の範囲において、注目画素Ｐ１００（Ｒ画素）と同色の隣接画素間（図９Ａ〜図９Ｄの矢印Ａ１）の差分絶対値を算出し、算出した差分絶対値の平均を相関値として算出する。この場合、相関値が小さいほど、その方向の相関値が高いこととなる。また、図９Ｅに示すように、欠陥画素補正部５１は、隣接画素間のうちのどちらか一方が欠陥画素の場合（図９Ｅの画素Ｐ１０１を参照）、その画素間の差分を算出しない。さらに、欠陥画素補正部５１は、飽和レベルを考慮し、隣接画素がともに飽和レベル未満の画素、かつ、欠陥画素ではない場合のみ、差分絶対値を算出するようにしてもよい。なお、図９Ａ〜図９Ｄでは、欠陥画素補正部５１は、９×９の画素内の一部の隣接画素間の差分絶対値を用いていたが、全ての隣接画素間の差分絶対値を用いるようにしてもよい。例えば、欠陥画素補正部５１は、図９Ｃの方向２の水平方向であれば、３つのラインのＲ画素を用いていたが、図９Ｃの場合、５つのラインのＲ画素を用いるようにしてもよい。また、差分絶対値を算出する数が０の場合（全て欠陥画素の場合等）、その方向の相関値は、差分絶対値の平均値として取り得る最大値（最も相関が小さい値）とする。
その後、欠陥画素補正部５１は、方向を示すインデックスｉをインクリメント（ｉ＝ｉ＋１）し（ステップＳ３０３）、方向を示すインデックスｉが方向数未満であるか否かを判断し（ステップＳ３０４）、方向を示すインデックスｉが方向数未満である場合（図９Ａ〜図９Ｄに示す例の場合には、インデックスｉが４未満である場合）（ステップＳ３０４：Ｙｅｓ）、欠陥画素補正部５１は、上述したステップＳ３０２へ戻り、方向を示すインデックスｉが方向数未満でない場合（ステップＳ３０４：Ｎｏ）、欠陥画素補正部５１は、後述するステップＳ３０５へ移行する。
ステップＳ３０５において、欠陥画素補正部５１は、相関が最も高い方向を注目画素に対する方向判別結果として確定する。このとき、欠陥画素補正部５１は、全ての方向において相関が同じ場合、所定の方向（例えばｉが０の方向）を方向判別結果として確定する。ステップＳ３０５の後、画像処理装置３０は、図７のサブルーチンへ戻る。
このように、欠陥画素補正部５１は、方向判別処理を行うことによって、欠陥画素が注目画素の周囲にある場合であっても、注目画素と相関が高い方向を判定することができる。なお、欠陥画素補正部５１は、方向判別処理を行う場合、低飽和画素を考慮し、飽和していない画素を用いて方向判別処理を行ってもよい。これにより、低飽和画素が注目画素の周囲にある場合であっても、正しく方向判別を行うことができる。さらに、欠陥画素補正部５１は、方向判別処理を必ず行う必要はなく、公知の技術、例えばブロックマッチング等用いて、注目画素と周囲画素との相関を判定することができればよい。
図７へ戻り、ステップＳ２０６以降の説明を続ける。
ステップＳ２０６において、欠陥画素補正部５１は、方向判別結果に基づいて、相関の高い方向の欠陥画素ではない画素の画素値を用いて周囲補間値を算出する。ここで、周囲補間値は、例えば、注目画素の周囲５×５の範囲内の相関の高い方向にある、欠陥画素でなく、かつ、飽和していない画素の平均値とする。なお、周囲補間値は、欠陥画素以外の画素を用い、飽和している画素の重みを減らした重み付け平均値としてもよい。また、欠陥画素補正部５１は、注目画素の周囲５×５の範囲内の相関の高い方向に、欠陥画素でなく、かつ、飽和していない画素が存在しない場合、注目画素の周囲５×５の範囲内の中央値等、周囲の画素の統計値を周囲補間値とするようにしてもよい。また、欠陥画素補正部５１は、カラーフィルターを有する撮像素子の場合、注目画素の画素値と注目画素の同色の周辺画素の画素値を用いて周囲補間値を算出する。
続いて、欠陥画素補正部５１は、補正候補値が周囲補間値より小さいか否かを判断し（ステップＳ２０７）、補正候補値が周囲補間値より小さい場合（ステップＳ２０７：Ｙｅｓ）、周囲補間値を注目画素の画素値として出力する（ステップＳ２０８）。具体的には、欠陥画素補正部５１は、補正候補値が周囲補間値より小さい場合、過補正の可能性があるため、周囲補間値を補正結果として出力する。ステップＳ２０８の後、欠陥画素補正部５１は、後述するステップＳ２１１へ移行する。このとき、補正候補値と周囲補間値との差が所定値以上の場合Ｙｅｓと判断し、所定値未満の場合Ｎｏと判断するようにしても良い。これにより、白傷の過補正と黒傷の補正残りを防止することができる。即ち、差を比較することによって、過補正と補正残りを防止することができる。
ステップＳ２０７において、補正候補値が周囲補間値より小さくない場合（ステップＳ２０７：Ｎｏ）、欠陥画素補正部５１は、補正候補値を注目画素の画素値として出力する（ステップＳ２０９）。ステップＳ２０９の後、欠陥画素補正部５１は、後述するステップＳ２１１へ移行する。
ステップＳ２０３において、欠陥画素補正部５１は、注目画素が欠陥画素でない場合（ステップＳ２０３：Ｎｏ）、補正が不要のため、注目画素の画素値をそのまま出力する。ステップＳ２１０の後、欠陥画素補正部５１は、後述するステップＳ２１１へ移行する。
続いて、欠陥画素補正部５１は、水平方向のＲＡＷ画像の位置を示すカウンタｘをインクリメント（ｘ＝ｘ＋１）し（ステップＳ２１１）、カウンタｘがＲＡＷ画像の画像幅より小さいか否かを判断し（ステップＳ２１２）、カウンタｘがＲＡＷ画像の画像幅より小さい場合（ステップＳ２１２：Ｙｅｓ）、欠陥画素補正部５１は、上述したステップＳ２０３へ戻り、カウンタｘがＲＡＷ画像の画像幅より小さくない場合（ステップＳ２１２：Ｎｏ）、欠陥画素補正部５１は、ステップＳ２１３へ移行する。
続いて、欠陥画素補正部５１は、垂直方向のＲＡＷ画像の位置を示すカウンタｙをインクリメント（ｙ＝ｙ＋１）し（ステップＳ２１３）、カウンタｙがＲＡＷ画像の画像高さより小さいか否かを判断し（ステップＳ２１４）、カウンタｙがＲＡＷ画像の画像高さより小さい場合（ステップＳ２１４：Ｙｅｓ）、欠陥画素補正部５１は、上述したステップＳ２０２へ戻り、カウンタｙがＲＡＷ画像の画像高さより小さくない場合（ステップＳ２１４：Ｎｏ）、欠陥画素補正部５１は、本処理を終了し、図６のメインルーチンへ戻る。
このように、欠陥画素補正部５１は、上述した処理を行うことによって、欠陥画素を精度よく補正することができる。
〔飽和レベル算出処理〕
次に、図６のステップＳ１０２において説明した飽和レベル算出処理の詳細について説明する。図１０は、飽和レベル算出処理の概要を示すフローチャートであり、画像処理装置３０が実行するサブルーチンのフローチャートである。
図１０に示すように、まず、飽和レベル算出部５２は、垂直方向のＲＡＷ画像の位置を示すカウンタｙをリセット（ｙ＝０）するとともに（ステップＳ４０１）、水平方向のＲＡＷ画像の位置を示すカウンタｘをリセット（ｘ＝０）する（ステップＳ４０２）。なお、以下においては、垂直方向のＲＡＷ画像の位置を示すカウンタｙにおいて、ＲＡＷ画像の上端を０とし、水平方向のＲＡＷ画像の位置を示すカウンタｘにおいて、ＲＡＷ画像の左端を０とする。
続いて、飽和レベル算出部５２は、注目画素が欠陥画素であるか否かを判断し（ステップＳ４０３）、注目画素が欠陥画素である場合（ステップＳ４０３：Ｙｅｓ）、後述するステップＳ４０４へ移行し、注目画素が欠陥画素でない場合（ステップＳ４０３：Ｎｏ）、後述するステップＳ４０７へ移行する。
ステップＳ４０４において、飽和レベル算出部５２は、上述した図７の欠陥画素補正処理において参照範囲の飽和レベルを取得する。この場合、飽和レベル算出部５２は、少なくとも、参照範囲における領域内の欠陥画素補正処理で実際に使用された画素に対する飽和レベルを取得する。
続いて、飽和レベル算出部５２は、ステップＳ４０４において取得した飽和レベルにおける最小値を、注目画素の飽和レベルとして算出する（ステップＳ４０５）。なお、飽和レベル算出部５２は、最小値以外の統計的手法により求めてもよい。この場合、過補正になる可能性があるが、最小値を用いることによって補正残りを防止することができる。
その後、飽和レベル算出部５２は、ステップＳ４０６において算出した飽和レベルを、注目画素の飽和レベルとして出力する。ステップＳ４０６の後、飽和レベル算出部５２は、後述するステップＳ４０８へ移行する。
ステップＳ４０７において、飽和レベル算出部５２は、注目画素の飽和レベルをそのまま出力する。
続いて、飽和レベル算出部５２は、水平方向のＲＡＷ画像の位置を示すカウンタｘをインクリメント（ｘ＝ｘ＋１）し（ステップＳ４０８）、カウンタｘがＲＡＷ画像の画像幅より小さいか否かを判断し（ステップＳ４０９）、カウンタｘがＲＡＷ画像の画像幅より小さい場合（ステップＳ４０９：Ｙｅｓ）、飽和レベル算出部５２は、上述したステップＳ４０３へ戻り、カウンタｘがＲＡＷ画像の画像幅より小さくない場合（ステップＳ４０９：Ｎｏ）、飽和レベル算出部５２は、ステップＳ４１０へ移行する。
続いて、飽和レベル算出部５２は、垂直方向のＲＡＷ画像の位置を示すカウンタｙをインクリメント（ｙ＝ｙ＋１）し（ステップＳ４１０）、カウンタｙがＲＡＷ画像の画像高さより小さいか否かを判断し（ステップＳ４１１）、カウンタｙがＲＡＷ画像の画像高さより小さい場合（ステップＳ４１１：Ｙｅｓ）、飽和レベル算出部５２は、上述したステップＳ４０２へ戻り、カウンタｙがＲＡＷ画像の画像高さより小さくない場合（ステップＳ４１１：Ｎｏ）、飽和レベル算出部５２は、本処理を終了し、図６のメインルーチンへ戻る。
このように、飽和レベル算出部５２は、欠陥画素の周囲に低飽和画素がある場合であっても、欠陥画素に対する飽和レベルを適切に算出することができるため、欠陥画素に対しても低飽和画素補正処理を適用することができる。この結果、欠陥画素補正処理で参照した画素が低飽和画素、かつ、飽和している場合でも、欠陥画素補正処理と後述する低飽和画素補正処理とを合わせることで、十分な補正結果を得ることができる。
〔低飽和画素補正処理の概要〕
次に、図６のステップＳ１０３において説明した低飽和画素補正処理の詳細について説明する。図１１は、低飽和画素補正処理の概要を示すフローチャートであり、画像処理装置３０が実行するサブルーチンのフローチャートである。
図１１に示すように、まず、低飽和画素補正部５３は、垂直方向のＲＡＷ画像の位置を示すカウンタｙをリセット（ｙ＝０）するとともに（ステップＳ５０１）、水平方向のＲＡＷ画像の位置を示すカウンタｘをリセット（ｘ＝０）する（ステップＳ５０２）。なお、以下においては、垂直方向のＲＡＷ画像の位置を示すカウンタｙにおいて、ＲＡＷ画像の上端を０とし、水平方向のＲＡＷ画像の位置を示すカウンタｘにおいて、ＲＡＷ画像の左端を０とする。
続いて、低飽和画素補正部５３は、補間Ａ判定を行う（ステップＳ５０３）。具体的には、低飽和画素補正部５３は、注目画素の周囲画素の画素値のうち飽和していない画素（カラーフィルターを有する撮像素子の場合には注目画素とこの注目画素と同色の画素）をカウントし、カウント値が閾値以下であるか否かを判断し、閾値以下の場合には、補間Ａフラグを設定する。
図１２Ａは、低飽和画素補正部５３が行う補間Ａ判定で参照する画素を模式的に説明する図であり、注目画素がＧ画素の場合を示す図である。また、図１２Ａにおいては、注目画素を中心とし、「１」と記載した位置の画素を注目画素がＧ画素である場合の同色参照画素とする。図１２Ｂは、低飽和画素補正部５３が行う補間Ａ判定で参照する画素を模式的に説明する図であり、注目画素がＲ画素またはＢ画素の場合を示す図である。また、図１２Ｂにおいては、注目画素を中心とし、「１」と記載した位置の画素を注目画素がＲ画素またはＢ画素である場合の同色参照画素とする。図１２Ｃは、低飽和画素補正部５３が行う補間Ａ判定で参照する画素を模式的に説明する図であり、撮像素子１０５がモノクロセンサ（内視鏡による面順次方式）の場合を示す図である。また、図１２Ｃにおいては、注目画素を中心とし、「１」と記載した画素を参照画素とする。
図１２Ａに示すように、低飽和画素補正部５３は、注目画素がＧ画素の場合において、周囲５×５の参照Ｇ画素のうち、飽和していない画素をカウントし、カウント値がある閾値以下であるか否かを判断し、閾値以下の場合には、補間Ａフラグを設定する。また、図１２Ｂに示すように、低飽和画素補正部５３は、注目画素がＲ画素またはＢ画素の場合において、周囲５×５の注目画素と同色参照画素のうち、飽和していない画素をカウントし、カウント値がある閾値以下であるか否かを判断し、閾値以下の場合には、補間Ａフラグを設定する。また、図１２Ｃに示すように、低飽和画素補正部５３は、撮像素子１０５がモノクロセンサの場合、周囲３×３において、注目画素を除く８画素の参照画素のうち、飽和していない画素をカウントし、カウント値がある閾値以下であるか否かを判断し、閾値以下の場合には、補間Ａフラグを設定する。
図１１へ戻り、ステップＳ５０４以降の説明を続ける。
ステップＳ５０４において、低飽和画素補正部５３は、注目画素の周囲画素の画素値のうち飽和している同色参照画素の中央値（または平均値）を算出し、補間Ａ補間値とする。具体的には、低飽和画素補正部５３は、上述したステップＳ５０３の補間Ａ判定において参照した注目画素と同色の同色参照画素のうち（例えば「１」と記載した画素）、飽和している同色参照画素の中央値（または平均値）を補間Ａ補間値として算出する。
続いて、低飽和画素補正部５３は、補間Ｂ判定と補間値を算出する（ステップＳ５０５）。具体的には、まず、低飽和画素補正部５３は、同色参照画素のうち、非低飽和画素（飽和レベルが所定値より大きい画素）の中央値を算出する。より具体的には、低飽和画素補正部５３は、上述したステップＳ５０３の補間Ａ判定と同様に、参照した注目画素と同色の同色参照画素のうち（例えば「１」と記載した画素）、非低飽和画素（飽和レベルが所定値より大きい画素）の中央値を算出する。次に、低飽和画素補正部５３は、注目画素が低飽和画素であり、かつ、注目画素が飽和しているとともに、注目画素が中央値以下の場合、補間Ｂフラグを設定し、中央値を補間Ｂ補間値に設定する。
その後、低飽和画素補正部５３は、注目画素に補間Ｂフラグが設定され、かつ、注目画素の画素値が補間Ｂ補間値未満であるか否かを判断し（ステップＳ５０６）、注目画素に補間Ｂフラグが設定され、かつ、注目画素の画素値が補間Ｂ補間値未満である場合（ステップＳ５０６：Ｙｅｓ）、低飽和画素補正部５３は、後述するステップＳ５０７へ移行し、注目画素に補間Ｂフラグが設定され、かつ、注目画素の画素値が補間Ｂ補間値未満でない場合（ステップＳ５０６：Ｎｏ）、低飽和画素補正部５３は、後述するステップＳ５０８へ移行する。
ステップＳ５０７において、低飽和画素補正部５３は、注目画素の画素値を補間Ｂ補間値として出力する。ステップＳ５０７の後、低飽和画素補正部５３は、後述するステップＳ５１１へ移行する。
ステップＳ５０８において、低飽和画素補正部５３は、注目画素に補間Ａフラグが設定され、かつ、注目画素の画素値が補間Ａ補間値未満であるか否かを判断し（ステップＳ５０８）、注目画素に補間Ａフラグが設定され、かつ、注目画素の画素値が補間Ａ補間値未満である場合（ステップＳ５０８：Ｙｅｓ）、注目画素の画素値を補間Ａ補間値として出力する（ステップＳ５０９）。ステップＳ５０９の後、低飽和画素補正部５３は、後述するステップＳ５１１へ移行する。
ステップＳ５０８において、注目画素に補間Ａフラグが設定され、かつ、注目画素の画素値が補間Ａ補間値未満でない場合（ステップＳ５０８：Ｎｏ）、低飽和画素補正部５３は、注目画素の画素値を入力画素値そのままで出力する（ステップＳ５１０）。ステップＳ５１０の後、低飽和画素補正部５３は、後述するステップＳ５１１へ移行する。
ステップＳ５１１において、低飽和画素補正部５３は、水平方向のＲＡＷ画像の位置を示すカウンタｘをインクリメント（ｘ＝ｘ＋１）し（ステップＳ５１１）、カウンタｘがＲＡＷ画像の画像幅より小さいか否かを判断し（ステップＳ５１２）、カウンタｘがＲＡＷ画像の画像幅より小さい場合（ステップＳ５１２：Ｙｅｓ）、低飽和画素補正部５３は、上述したステップＳ５０３へ戻り、カウンタｘがＲＡＷ画像の画像幅より小さくない場合（ステップＳ５１２：Ｎｏ）、低飽和画素補正部５３は、ステップＳ５１３へ移行する。
続いて、低飽和画素補正部５３は、垂直方向のＲＡＷ画像の位置を示すカウンタｙをインクリメント（ｙ＝ｙ＋１）し（ステップＳ５１３）、カウンタｙがＲＡＷ画像の画像高さより小さいか否かを判断し（ステップＳ５１４）、カウンタｙがＲＡＷ画像の画像高さより小さい場合（ステップＳ５１４：Ｙｅｓ）、低飽和画素補正部５３は、上述したステップＳ５０２へ戻り、カウンタｙがＲＡＷ画像の画像高さより小さくない場合（ステップＳ５１４：Ｎｏ）、低飽和画素補正部５３は、本処理を終了し、図６のメインルーチンへ戻る。
このように、低飽和画素補正部５３は、低飽和画素補正処理を行うことにより、低飽和画素が発生するような条件であっても、十分な画質を実現することができる。
以上説明した本発明の実施の形態１によれば、低飽和画素補正処理を行うことにより、低飽和画素が発生するような条件であっても、十分な画質を実現することができる。
（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２に係る撮像システムは、上述した実施の形態１に係る撮像システム１と同様の構成を有し、画像処理装置が実行する欠陥画素補正処理および飽和レベル算出処理が異なる。以下においては、本実施の形態２に係る画像処理装置が実行する欠陥画素補正処理および飽和レベル算出処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。
〔欠陥画素補正処理〕
図１３は、本発明の実施の形態２に係る欠陥画素補正部５１が実行する欠陥画素補正処理の概要を示すフローチャートである。図１３において、ステップＳ６０１〜ステップＳ６１０は、上述した図７のステップＳ２０１〜ステップＳ２１０それぞれに対応する。
ステップＳ６１１において、欠陥画素補正部５１は、注目画素に対する参照マスク１を設定する。
図１４Ａは、欠陥画素補正部５１が参照する参照マスクの一例を示す図である。図１４Ａにおいては、欠陥画素補正部５１が周囲画素を用いない場合の参照マスクを示す。また、図１４においては、注目画素としてＲ画素の場合において説明する。さらに、図１４Ａに示す参照マスクは、上述した図９Ａと同様のベイヤー配列に対するマスクとする。
図１４Ａに示すように、注目画素Ｐ１００のみを「１」とし、それ以外を「０」とするマスクを設定する。マスクのサイズは、図１４Ａに示すように、例えば９×９とする。ステップＳ６１１の後、画像処理装置３０は、後述するステップＳ６１３へ移行する。
ステップＳ６１２において、欠陥画素補正部５１は、注目画素（ｘ，ｙ）に対する参照マスク２を設定する。
図１４Ｂ〜図１４Ｅは、欠陥画素補正部５１が参照する参照マスクの一例を示す図である。図１４Ｂにおいて、欠陥画素補正部５１が周囲画素を用いる場合であって、垂直方向を参照したときの参照マスクを示す。図１４Ｃは、欠陥画素補正部５１が周囲画素を用いる場合であって、斜め方向を参照したときの参照マスクを示す。図１４Ｄは、欠陥画素補正部５１が周囲画素を用いる場合であって、水平方向を参照したときの参照マスクを示す。図１ＥＣは、欠陥画素補正部５１が周囲画素を用いる場合であって、斜め方向を参照したときの参照マスクを示す。
図１４Ｂ〜図１４Ｅに示すように、上述したステップＳ６０６において周囲補間値算出で参照した画素を「１」、それ以外を「０」とするマスクを設定する。マスクのサイズは、図１４Ｂ〜図１４Ｅに示すように、例えば９×９とする。なお、欠陥画素補正部５１は、欠陥画素補正の周囲補間値算出において周囲画素の重み付け平均を求める場合、参照マスクの値として「０」または「１」ではなく、その重みを設定するようにしても良い。これにより、重みを参照マスクの値として設定することによって、飽和レベル算出において、欠陥画素補正で使用した重みを容易に参照することができる。ステップＳ６１２の後、画像処理装置３０は、後述するステップＳ６１３へ移行する。
ステップＳ６１３〜ステップＳ６１６は、上述した図７のステップＳ２１１〜ステップＳ２１４それぞれに対応する。ステップＳ６１６の後、画像処理装置３０は、図６のメインルーチンへ戻る。
〔飽和レベル算出処理〕
図１５は、本発明の実施の形態２に係る飽和レベル算出部５２が実行する飽和レベル算出処理の概要を示すフローチャートである。図１５において、ステップＳ７０１およびステップＳ７０２は、上述した図１０のステップＳ４０１およびステップＳ４０２それぞれに対応する。
ステップＳ７０３において、飽和レベル算出部５２は、参照マスク（ステップＳ６１１またはステップＳ６１２にて設定された、注目画素（ｘ，ｙ）に対応する参照マスク）で参照している画素に対する飽和レベルを取得する。
続いて、飽和レベル算出部５２は、参照マスクにおいて、欠陥画素補正に使用している画素の飽和レベルの平均を算出する（ステップＳ７０４）。この場合、飽和レベル算出部５２は、欠陥画素補正において算出した方法と同一の方法によって飽和レベルを算出する。例えば、飽和レベル算出部５２は、欠陥画素補正の周囲補間値算出において、中心からの距離に応じて重み付け平均を行っている場合、同様に重み付け平均を用いることによって、欠陥画素補正に使用している画素の飽和レベルの平均を算出する。もちろん、飽和レベル算出部５２は、欠陥画素である注目画素の周囲画素（参照画素）における飽和レベルを加重平均した値を算出してもよい。
その後、飽和レベル算出部５２は、飽和レベルの平均を、注目画素の飽和レベルとして出力する（ステップＳ７０５）。ステップＳ７０５の後、画像処理装置３０は、後述するステップＳ７０６へ移行する。
ステップＳ７０６〜ステップＳ７０９は、上述した図１０のステップＳ４０８〜ステップＳ４１１それぞれに対応する。ステップＳ４１１の後、画像処理装置３０は、図６のメインルーチンへ戻る。
このように、飽和レベル算出部５２は、欠陥画素補正において使用した画素に応じて作成された参照マスクと、欠陥画素補正で使用した画素の飽和レベルと、を用いて注目画素の飽和レベルを算出する。これにより、欠陥画素の補正方法に応じたより正確な飽和レベルを算出することができる。
以上説明した本発明の実施の形態２によれば、欠陥画素の補正方法に応じたより正確な飽和レベルを算出することができるので、低飽和画素補正処理を行うことにより、低飽和画素が発生するような条件であっても、十分な画質を実現することができる。
（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３に係る撮像システムは、上述した実施の形態１に係る撮像システム１と構成が異なるうえ、画像処理装置が実行する処理が異なる。以下においては、本実施の形態３に係る撮像システムの構成を説明後、本実施の形態３に係る画像処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。
〔撮像システムの構成〕
図１６は、本発明の実施の形態３に係る撮像システムの構成を模式的に示すブロック図である。図１６に示す撮像システム１ａは、上述した実施の形態１に係る撮像システム１の画像処理装置３０に換えて、画像処理装置３０ａを備える。画像処理装置３０ａは、上述した実施の形態１に係る画像処理装置３０のノイズ処理部３２に換えて、ノイズ処理部３２ａを有する。ノイズ処理部３２ａは、欠陥画素補正部５１と、低飽和画素補正部５３と、を有する。
〔画像処理装置の処理〕
次に、画像処理装置３０ａが実行する処理について説明する。図１７は、画像処理装置３０ａが実行するノイズ処理の概要を示すフローチャートであり、画像処理装置３０ａが実行するメインルーチンのフローチャートである。図１７において、ステップＳ８０１およびステップＳ８０２は、上述した図６のステップＳ１０１およびステップＳ１０３それぞれに対応する。
なお、ステップＳ８０２において、第３外部Ｉ／Ｆ部３１が低飽和画素情報記録部１１２ｃから取得した低飽和画素情報には、欠陥画素に対する飽和レベルが予め算出されて記録されている。この場合、低飽和画素補正部５３は、上述した欠陥画素に対する飽和レベルが予め算出されて低飽和画素情報に基づいて、低飽和画素が飽和している場合、低飽和画素の周囲画素と同様の画素値となるように補正する一方、低飽和画素が飽和していない場合、低飽和画素の画素値をそのまま出力する。
また、ステップＳ８０１において、第３外部Ｉ／Ｆ部３１が低飽和画素情報記録部１１２ｃから取得した低飽和画素情報には、欠陥画素に対して、予め欠陥画素補正部５１による欠陥画素補正を考慮して、補正後の画素に対する飽和レベルが予め算出されて記録されている。この場合、欠陥画素補正部５１は、上述した補正後の画素に対する飽和レベルが予め算出された低飽和画素情報に基づいて、欠陥画素を補正する。
また、ステップＳ８０１において、欠陥画素補正部５１は、欠陥画素補正処理における方向判別の結果、最も相関が高い方向の画素値を用いて補間する。よって、飽和レベルも、その方向に応じた飽和レベルであることが好ましい。しかしながら、方向判別結果は、シーンに依存するため、予め求めておくことが難しい。このため、低飽和画素情報記録部１１２ｃには、外部機器（例えば実施の形態１，２の飽和レベル算出部５２の機能を備えた機器）が各方向の補間において使用する画素の飽和レベルを用いて、各方向で欠陥画素に対する飽和レベルを算出し、この算出した複数の飽和レベルの中で最も小さい値を、欠陥画素の飽和レベルとして記録してもよい。即ち、低飽和画素情報記録部１１２ｃは、上述した図１４Ａ〜図１４Ｅの各方向で「１」となっている画素の飽和レベルを用いて４つの飽和レベルを算出し、４つの飽和レベルのうち最も小さい飽和レベルを欠陥画素の飽和レベルとして記録する。または、低飽和画素情報記録部１１２ｃは、各方向の補間と同様の方法で各方向の飽和レベルを算出し、方向と対応付けて飽和レベルを記録してもよい。この場合、低飽和画素補正部５３は、方向判別結果に基づいて、対応する方向の飽和レベルを選択し、この選択した飽和レベルを欠陥画素の飽和レベルとして用いればよい。
以上説明した本発明の実施の形態３によれば、低飽和画素補正処理を行うことにより、低飽和画素が発生するような条件であっても、十分な画質を実現することができる。
また、本発明の実施の形態３によれば、予め欠陥画素の飽和レベルが算出されて記録された低飽和画素情報を用いることで、補正時により少ない演算量で十分な画質を実現することができる。
（その他の実施の形態）
本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、本発明の説明に用いた撮像装置以外にも、携帯電話やスマートフォンにおける撮像素子を備えた携帯機器、ビデオカメラ、内視鏡、監視カメラ、顕微鏡のような光学機器を通して被写体を撮影する撮像装置等、被写体を撮像可能ないずれの機器にも適用できる。
また、本発明では、欠陥画素情報記録部および低飽和画素情報記録部が撮像装置内に設けられていたが、上述した画像処理装置内やレンズ部、内視鏡本体等に設けられていてもよいし、ネットワークを介して双方向に通信可能なサーバ内に欠陥画素情報記録部および低飽和画素情報記録部を設け、ネットワークを介してＲＴＳノイズ情報を取得するようにしてもよい。
また、本発明では、被検体に挿入可能な挿入部の先端部に撮像装置が設けられた内視鏡が接続される制御装置（プロセッサ）に本発明の画像処理装置を設けてもよい。
また、本発明では、画像処理装置に、欠陥画素補正部および低飽和画素補正部の各々が設けられていたが、少なくとも１つが設けられていればよい。
また、本発明は、表示または記録に用いる画像データ以外の画像データ、例えばＯＢ領域の画像データまたは光学的に設計保証されていないイメージサークル外の領域の画像データ等の画像データであっても適用可能である。
また、本明細書において、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」、「続いて」、「その後」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
また、上述した実施の形態における画像処理装置による各処理の手法、即ち、各フローチャートに示す処理は、いずれもＣＰＵ等の制御部に実行させることができるプログラムとして記録させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピーディスク（登録商標）、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録装置の記録媒体に格納して配布することができる。そして、ＣＰＵ等の制御部は、この外部記録装置の記録媒体に記録されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
また、本発明は、上述した実施の形態および変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上述した実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態および変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、各実施の形態および変形例で説明した構成要素を適宜組み合わせてもよい。
また、明細書または図面において、少なくとも一度、より広義または同義な異なる用語とともに記載された用語は、明細書または図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
１，１ａ 撮像システム
１０ 撮像装置
３０，３０ａ 画像処理装置
３１ 第３外部Ｉ／Ｆ部
３２，３２ａ ノイズ処理部
３３ 画像処理部
３４ 操作部
３５ 記録部
３６ 画像処理制御部
４０ 表示装置
５１ 欠陥画素補正部
５２ 飽和レベル算出部
５３ 低飽和画素補正部
１０１ 光学系
１０２ 絞り
１０３ シャッタ
１０４ ドライバ
１０５ 撮像素子
１０５ａ 画素
１０５ｂ 第１スイッチ
１０５ｃ 転送線
１０５ｄ ＦＤ部
１０５ｅ アンプ部
１０５ｆ 第２スイッチ
１０５ｈ 転送線
１０６ アナログ処理部
１０７ Ａ／Ｄ変換部
１０８ 操作部
１０９ メモリＩ／Ｆ部
１１０ 記録媒体
１１１ 揮発メモリ
１１２ 不揮発メモリ
１１２ａ プログラム記録部
１１２ｂ 欠陥画素情報記録部
１１２ｃ 低飽和画素情報記録部
１１３ バス
１１４ 撮像制御部
１１５ 第１外部Ｉ／Ｆ部

Claims (12)

  1. ２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる欠陥画素に起因するノイズを処理する画像処理装置であって、
    前記撮像素子が生成した前記画像データと、前記欠陥画素の位置情報と、を取得する取得部と、
    前記位置情報に基づいて、前記画像データに含まれる前記欠陥画素を補正する欠陥画素補正部と、
    前記欠陥画素補正部が前記欠陥画素を補正した前記画像データに対し、予め算出された前記複数の画素の各々の飽和レベルに基づいて、該飽和レベルが他の画素より低い低飽和画素を補正する低飽和画素補正部と、
    前記欠陥画素補正部が補正した前記欠陥画素の前記飽和レベルを算出する飽和レベル算出部と、
    を備え、
    前記欠陥画素補正部は、
    前記位置情報に対応する前記欠陥画素の周囲の画素の画素値を参照して前記欠陥画素を補正し、
    前記飽和レベル算出部は、
    前記欠陥画素補正部が前記欠陥画素を補正する際に参照する画素の範囲を参照範囲として決定し、
    前記参照範囲内の画素において最も低い前記飽和レベルを、前記欠陥画素の前記飽和レベルとして算出することを特徴とする画像処理装置。
  2. ２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる欠陥画素に起因するノイズを処理する画像処理装置であって、
    前記撮像素子が生成した前記画像データと、前記欠陥画素の位置情報と、を取得する取得部と、
    前記位置情報に基づいて、前記画像データに含まれる前記欠陥画素を補正する欠陥画素補正部と、
    前記欠陥画素補正部が前記欠陥画素を補正した前記画像データに対し、予め算出された前記複数の画素の各々の飽和レベルに基づいて、該飽和レベルが他の画素より低い低飽和画素を補正する低飽和画素補正部と、
    前記欠陥画素補正部が補正した前記欠陥画素の前記飽和レベルを算出する飽和レベル算出部と、
    を備え、
    前記欠陥画素補正部は、
    前記位置情報に対応する前記欠陥画素の周囲の画素の画素値を参照して前記欠陥画素を補正し、かつ、
    前記位置情報に対応する前記欠陥画素の周囲の画素の画素値を用いて前記欠陥画素を補間することによって前記ノイズを補正し、
    前記飽和レベル算出部は、
    前記欠陥画素補正部が前記欠陥画素を補正する際に補間に使用する画素の範囲を参照範囲として決定し、
    前記参照範囲内の画素において最も低い前記飽和レベルを、前記欠陥画素の前記飽和レベルとして算出することを特徴とする画像処理装置。
  3. ２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる欠陥画素に起因するノイズを処理する画像処理装置であって、
    前記撮像素子が生成した前記画像データと、前記欠陥画素の位置情報と、を取得する取得部と、
    前記位置情報に基づいて、前記画像データに含まれる前記欠陥画素を補正する欠陥画素補正部と、
    前記欠陥画素補正部が前記欠陥画素を補正した前記画像データに対し、予め算出された前記複数の画素の各々の飽和レベルに基づいて、該飽和レベルが他の画素より低い低飽和画素を補正する低飽和画素補正部と、
    前記欠陥画素補正部が補正した前記欠陥画素の前記飽和レベルを算出する飽和レベル算出部と、
    を備え、
    前記欠陥画素に対応する前記飽和レベルは、
    前記複数の画素における注目画素の周囲の参照画素における飽和レベルのうち、最も低い飽和レベルであり、
    前記欠陥画素補正部は、
    前記位置情報に対応する前記欠陥画素の周囲の参照画素の画素値を用いて前記欠陥画素を補間することによって前記ノイズを補正することを特徴とする画像処理装置。
  4. 前記欠陥画素は、
    白傷、黒傷および点滅欠陥ノイズのいずれかであることを特徴とする請求項１〜３のいずれか１つに記載の画像処理装置。
  5. 前記低飽和画素補正部は、
    前記欠陥画素補正部によって補正された前記欠陥画素の画素値が前記飽和レベル以上の場合、前記欠陥画素の周囲の画素の画素値を用いて、前記欠陥画素の画素値を補正することを特徴とする請求項１〜４のいずれか１つに記載の画像処理装置。
  6. 前記低飽和画素補正部は、
    前記欠陥画素補正部によって補正された前記欠陥画素の画素値が前記飽和レベル以上の場合、前記欠陥画素の画素値と前記欠陥画素の周囲の画素の画素値との差が小さくなるように前記欠陥画素補正部によって補正された前記欠陥画素の画素値を補正することを特徴とする請求項１〜５のいずれか１つに記載の画像処理装置。
  7. ２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる欠陥画素に起因するノイズを処理する画像処理装置が実行する画像処理方法であって、
    前記撮像素子が生成した前記画像データと、前記欠陥画素の位置情報と、を取得する取得ステップと、
    前記位置情報に基づいて、前記画像データに含まれる前記ノイズを補正するノイズ補正ステップと、
    前記ノイズ補正ステップにおいて前記ノイズを補正した前記画像データに対し、予め算出された前記複数の画素の各々の飽和レベルに基づいて、該飽和レベルが他の画素より低い低飽和画素を補正する低飽和画素補正ステップと、
    前記ノイズ補正ステップにおいて補正した前記欠陥画素の前記飽和レベルを算出する飽和レベル算出ステップと、
    を含み、
    前記ノイズ補正ステップは、
    前記位置情報に対応する前記欠陥画素の周囲の画素の画素値を参照して前記欠陥画素を補正し、
    前記飽和レベル算出ステップは、
    前記ノイズ補正ステップにおいて前記欠陥画素を補正する際に参照する画素の範囲を参照範囲として決定し、
    前記参照範囲内の画素において最も低い前記飽和レベルを、前記欠陥画素の前記飽和レベルとして算出することを特徴とする画像処理方法。
  8. ２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる欠陥画素に起因するノイズを処理する画像処理装置が実行する画像処理方法であって、
    前記撮像素子が生成した前記画像データと、前記欠陥画素の位置情報と、を取得する取得ステップと、
    前記位置情報に基づいて、前記画像データに含まれる前記欠陥画素を補正するノイズ補正ステップと、
    前記ノイズ補正ステップにおいて前記欠陥画素を補正した前記画像データに対し、予め算出された前記複数の画素の各々の飽和レベルに基づいて、該飽和レベルが他の画素より低い低飽和画素を補正する低飽和画素補正ステップと、
    前記ノイズ補正ステップにおいて補正した前記欠陥画素の前記飽和レベルを算出する飽和レベル算出ステップと、
    を含み、
    前記ノイズ補正ステップは、
    前記位置情報に対応する前記欠陥画素の周囲の画素の画素値を参照して前記欠陥画素を補正し、かつ、
    前記位置情報に対応する前記欠陥画素の周囲の画素の画素値を用いて前記欠陥画素を補間することによって前記ノイズを補正し、
    前記飽和レベル算出ステップは、
    前記ノイズ補正ステップにおいて前記欠陥画素を補正する際に補間に使用する画素の範囲を参照範囲として決定し、
    前記参照範囲内の画素において最も低い前記飽和レベルを、前記欠陥画素の前記飽和レベルとして算出することを特徴とする画像処理方法。
  9. ２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる欠陥画素に起因するノイズを処理する画像処理装置が実行する画像処理方法であって、
    前記撮像素子が生成した前記画像データと、前記欠陥画素の位置情報と、を取得する取得ステップと、
    前記位置情報に基づいて、前記画像データに含まれる前記欠陥画素を補正するノイズ補正ステップと、
    前記ノイズ補正ステップにおいて前記欠陥画素を補正した前記画像データに対し、予め算出された前記複数の画素の各々の飽和レベルに基づいて、該飽和レベルが他の画素より低い低飽和画素を補正する低飽和画素補正ステップと、
    前記ノイズ補正ステップにおいて補正した前記欠陥画素の前記飽和レベルを算出する飽和レベル算出ステップと、
    を含み、
    前記欠陥画素に対応する前記飽和レベルは、
    前記複数の画素における注目画素の周囲の参照画素における飽和レベルのうち、最も低い飽和レベルであり、
    前記ノイズ補正ステップは、
    前記位置情報に対応する前記欠陥画素の周囲の参照画素の画素値を用いて前記欠陥画素を補間することによって前記ノイズを補正することを特徴とする画像処理方法。
  10. ２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる欠陥画素に起因するノイズを処理する画像処理装置に、
    前記撮像素子が生成した前記画像データと、前記欠陥画素の位置情報と、を取得する取得ステップと、
    前記位置情報に基づいて、前記画像データに含まれる前記ノイズを補正するノイズ補正ステップと、
    前記ノイズ補正ステップにおいて前記ノイズを補正した前記画像データに対し、予め算出された前記複数の画素の各々の飽和レベルに基づいて、該飽和レベルが他の画素より低い低飽和画素を補正する低飽和画素補正ステップと、
    前記ノイズ補正ステップにおいて補正した前記欠陥画素の前記飽和レベルを算出する飽和レベル算出ステップと、
    を実行させ、
    前記ノイズ補正ステップは、
    前記位置情報に対応する前記欠陥画素の周囲の画素の画素値を参照して前記欠陥画素を補正し、
    前記飽和レベル算出ステップは、
    前記ノイズ補正ステップにおいて前記欠陥画素を補正する際に参照する画素の範囲を参照範囲として決定し、
    前記参照範囲内の画素において最も低い前記飽和レベルを、前記欠陥画素の前記飽和レベルとして算出することを特徴とするプログラム。
  11. ２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる欠陥画素に起因するノイズを処理する画像処理装置に、
    前記撮像素子が生成した前記画像データと、前記欠陥画素の位置情報と、を取得する取得ステップと、
    前記位置情報に基づいて、前記画像データに含まれる前記欠陥画素を補正するノイズ補正ステップと、
    前記ノイズ補正ステップにおいて前記欠陥画素を補正した前記画像データに対し、予め算出された前記複数の画素の各々の飽和レベルに基づいて、該飽和レベルが他の画素より低い低飽和画素を補正する低飽和画素補正ステップと、
    前記ノイズ補正ステップにおいて補正した前記欠陥画素の前記飽和レベルを算出する飽和レベル算出ステップと、
    を実行させ、
    前記ノイズ補正ステップは、
    前記位置情報に対応する前記欠陥画素の周囲の画素の画素値を参照して前記欠陥画素を補正し、かつ、
    前記位置情報に対応する前記欠陥画素の周囲の画素の画素値を用いて前記欠陥画素を補間することによって前記ノイズを補正し、
    前記飽和レベル算出ステップは、
    前記ノイズ補正ステップにおいて前記欠陥画素を補正する際に補間に使用する画素の範囲を参照範囲として決定し、
    前記参照範囲内の画素において最も低い前記飽和レベルを、前記欠陥画素の前記飽和レベルとして算出することを特徴とするプログラム。
  12. ２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる欠陥画素に起因するノイズを処理する画像処理装置に、
    前記撮像素子が生成した前記画像データと、前記欠陥画素の位置情報と、を取得する取得ステップと、
    前記位置情報に基づいて、前記画像データに含まれる前記欠陥画素を補正するノイズ補正ステップと、
    前記ノイズ補正ステップにおいて前記欠陥画素を補正した前記画像データに対し、予め算出された前記複数の画素の各々の飽和レベルに基づいて、該飽和レベルが他の画素より低い低飽和画素を補正する低飽和画素補正ステップと、
    前記ノイズ補正ステップにおいて補正した前記欠陥画素の前記飽和レベルを算出する飽和レベル算出ステップと、
    を実行させ、
    前記欠陥画素に対応する前記飽和レベルは、
    前記複数の画素における注目画素の周囲の参照画素における飽和レベルのうち、最も低い飽和レベルであり、
    前記ノイズ補正ステップは、
    前記位置情報に対応する前記欠陥画素の周囲の参照画素の画素値を用いて前記欠陥画素を補間することによって前記ノイズを補正することを特徴とするプログラム。
JP2018529342A 2016-07-29 2016-07-29 画像処理装置、画像処理方法およびプログラム Active JP6892449B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/072445 WO2018020687A1 (ja) 2016-07-29 2016-07-29 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2018020687A1 JPWO2018020687A1 (ja) 2019-05-16
JP6892449B2 true JP6892449B2 (ja) 2021-06-23

Family

ID=61016708

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018529342A Active JP6892449B2 (ja) 2016-07-29 2016-07-29 画像処理装置、画像処理方法およびプログラム

Country Status (4)

Country Link
US (1) US10791289B2 (ja)
JP (1) JP6892449B2 (ja)
CN (1) CN109479100B (ja)
WO (1) WO2018020687A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2581977B (en) * 2019-03-05 2023-03-29 Advanced Risc Mach Ltd Pixel Correction

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4453332B2 (ja) * 2003-10-17 2010-04-21 ソニー株式会社 欠陥画素検出方法、検出装置および撮像装置
US7932938B2 (en) * 2006-08-25 2011-04-26 Micron Technology, Inc. Method, apparatus and system providing adjustment of pixel defect map
JP5013812B2 (ja) * 2006-10-26 2012-08-29 キヤノン株式会社 撮像装置及び補正方法
US8203629B2 (en) 2006-10-26 2012-06-19 Canon Kabushiki Kaisha Image sensing apparatus and correction method
JP5298638B2 (ja) * 2008-02-14 2013-09-25 株式会社ニコン 画像処理装置、撮像装置、補正係数算出方法及び画像処理プログラム
JP5235823B2 (ja) * 2009-08-28 2013-07-10 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及び当該情報処理方法をコンピュータに実行させるプログラム
US8842912B2 (en) * 2011-05-19 2014-09-23 Foveon, Inc. Method for processing highlights and saturated regions in a digital image
EP2750373B1 (en) 2012-04-10 2017-10-25 Olympus Corporation Imaging device
US8902336B2 (en) * 2013-01-30 2014-12-02 Altasens, Inc. Dynamic, local edge preserving defect pixel correction for image sensors with spatially arranged exposures
JP6351271B2 (ja) * 2014-01-17 2018-07-04 オリンパス株式会社 画像合成装置、画像合成方法、およびプログラム
WO2018025323A1 (ja) * 2016-08-02 2018-02-08 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
CN109479100B (zh) 2021-02-09
CN109479100A (zh) 2019-03-15
WO2018020687A1 (ja) 2018-02-01
JPWO2018020687A1 (ja) 2019-05-16
US20190166320A1 (en) 2019-05-30
US10791289B2 (en) 2020-09-29

Similar Documents

Publication Publication Date Title
US20100245632A1 (en) Noise reduction method for video signal and image pickup apparatus
JP5681155B2 (ja) 画像処理装置
US9892497B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP2015023511A (ja) 撮像装置、画像処理方法及び画像処理プログラム
US9848115B2 (en) Image capturing apparatus capable of adjusting optical characteristics of lens unit attachable thereto
JP2005311473A (ja) 撮像装置および信号処理方法ならびにそのプログラムと記録媒体
US10270991B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
US20190174081A1 (en) Image processing apparatus, image processing method, and non-transitory computer readable recording medium
JP2015018084A (ja) 撮像装置、画像処理方法及び画像処理プログラム
JP6892449B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6889720B2 (ja) 画像処理装置、画像処理方法およびプログラム
US10425602B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
WO2016151823A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP6758326B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR101429512B1 (ko) 밴딩 노이즈 제거 장치 및 방법
JP2009055415A (ja) カメラ
JP5172283B2 (ja) ステレオ画像処理装置、ステレオ画像処理方法およびプログラム
JP5159647B2 (ja) 画像処理装置及び画像処理方法
JP2006157344A (ja) 撮像装置
JP2017173920A (ja) 画像処理装置、画像処理方法、画像処理プログラム、および記録媒体
JP2010239493A (ja) 撮像装置および映像信号の補正処理方法
JP6904560B2 (ja) 信号処理装置
JP5602825B2 (ja) 画像処理装置及び画像処理方法
JP2018007188A (ja) Ｍｔｆ特性を用いたモアレの低減装置
JP2015035786A (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A527

Effective date: 20190115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210527

R151 Written notification of patent or utility model registration

Ref document number: 6892449

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250