JPWO2017068702A1 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JPWO2017068702A1
JPWO2017068702A1 JP2017546358A JP2017546358A JPWO2017068702A1 JP WO2017068702 A1 JPWO2017068702 A1 JP WO2017068702A1 JP 2017546358 A JP2017546358 A JP 2017546358A JP 2017546358 A JP2017546358 A JP 2017546358A JP WO2017068702 A1 JPWO2017068702 A1 JP WO2017068702A1
Authority
JP
Japan
Prior art keywords
pixel
value
correction amount
amount calculation
calculation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017546358A
Other languages
English (en)
Other versions
JP6670844B2 (ja
Inventor
裕輝 丸山
裕輝 丸山
学 市川
学 市川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2017068702A1 publication Critical patent/JPWO2017068702A1/ja
Application granted granted Critical
Publication of JP6670844B2 publication Critical patent/JP6670844B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/142Edging; Contouring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)

Abstract

撮像素子を構成する複数の画素それぞれの分光感度のばらつきを補正することができる画像処理装置、画像処理方法およびプログラムを提供する。画像処理装置40は、画像データおよび補正係数を撮像装置10から取得する第2外部I/F部41と、注目画素の周囲における注目画素のカラーフィルタの色と同色の周辺同色画素の画素値と第2外部I/F部41が取得した補正係数とを用いて注目画素における補正対象の色成分の推定値を算出し、この推定値と注目画素の補正係数とに基づいて、注目画素の画素値の補正量を算出する補正量算出部441と、補正量算出部441が算出した補正量に基づいて、注目画素の画素値を補正する画素値補正部442と、を備える。

Description

本発明は、撮像素子を構成する複数の画素の各々に設けられたカラーフィルタの分光感度特性を補正する画像処理装置、画像処理方法およびプログラムに関する。
従来、デジタルカメラ等の撮像装置において、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子の受光面に設けられたカラーフィルタの分光透過率のばらつきによる画素の分光感度のばらつきを撮像素子毎に調整する技術が知られている(特許文献1参照)。この技術では、プリズムでスペクトル分光された可視光を撮像素子で光電変換することによってR(赤)、G(緑)およびB(青)の各々の色成分の組み合わせからなる画像データから波長毎にR、GおよびBそれぞれの値を算出し、この算出したR、GおよびBの値と予め波長毎に算出された基準値との差分の各々が小さくなるように、R、GおよびBそれぞれの値に乗じる補正係数を算出後、この補正係数を用いることによって撮像素子毎の分光感度のばらつきを補正する。
特開2010−193378号公報
しかしながら、上述した特許文献1では、画素毎に分光感度の補正を行っていないため、画素毎の分光感度のばらつきを補正することができないという問題点があった。
本発明は、上記に鑑みてなされたものであって、撮像素子を構成する複数の画素それぞれの分光感度のばらつきを補正することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、互いに異なる分光透過率を有する複数色のカラーフィルタを用いて所定の配列パターンを形成し、個々のカラーフィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データと、注目画素において分光感度と予め設定した基準分光感度との所定波長域における差に対応する画素値の差分を補正するための補正係数を画素毎に記録する記録部から前記補正係数と、を取得する取得部と、前記注目画素の周辺における周辺同色画素であって、前記注目画素に配置されたカラーフィルタの色と同色のカラーフィルタが配置された周辺同色画素における各画素の画素値と前記補正係数とを用いて前記注目画素における補正対象の色成分の推定値を算出し、該推定値と前記注目画素の前記補正係数とに基づいて、前記注目画素の画素値の補正量を算出する補正量算出部と、前記補正量算出部が算出した前記補正量に基づいて、前記注目画素の画素値を補正する画素値補正部と、を備えたことを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記補正量算出部は、候補値と前記周辺同色画素における各画素の前記補正係数に基づいて算出された前記周辺同色画素における画素値の理論値と前記周辺同色画素における画素値の実測値から類似度を算出し、類似度が高い前記候補値を、前記推定値として算出することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記理論値は、前記候補値と前記周辺同色画素における各画素の前記補正係数との積であることを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記類似度は、前記周辺同色画素における各画素の前記理論値と前記実測値との差に基づく値であることを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記補正量算出部は、前記周辺同色画素における各画素の画素値を前記補正係数によって除算し、この除算した値に基づいて、前記推定値を算出することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記補正量算出部は、前記周辺同色画素における各画素の画素値を前記補正係数によって除算して得られる値の統計値を、前記推定値として算出することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記補正量算出部は、前記周辺同色画素において、前記周辺同色画素における画素値と前記補正係数と前記推定値との関係式を画素毎に立てた連立方程式を解くことによって、前記推定値を算出することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記補正量算出部は、前記周辺同色画素のうち複数の画素の各々を組み合わせて算出した前記推定値の統計値を、前記推定値として算出することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記補正量算出部は、前記注目画素の周囲において、画素値が飽和していない周辺画素における各画素の画素値と前記周辺同色画素における各画素の前記補正係数の比とに基づいて、前記推定値を算出することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記画素値補正部は、前記注目画素の補正後の画素値が、前記周辺同色画素における各画素の画素値の平均値から前記注目画素の画素値までの間に入るよう、前記補正量を用いて前記注目画素の画素値を補正することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記画素値補正部は、前記注目画素の画素値から前記補正量を減算した値と前記周辺同色画素の画素値の平均値との差が所定値より大きい場合、前記注目画素の画素値から前記補正量を減算しないことを特徴とする。
また、本発明に係る画像処理方法は、互いに異なる分光透過率を有する複数色のカラーフィルタを用いて所定の配列パターンを形成し、個々のカラーフィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データと、注目画素において分光感度と予め設定した基準分光感度との所定波長域における差に対応する画素値の差分を補正するための補正係数を画素毎に記録する記録部から前記補正係数と、を取得する取得ステップと、前記注目画素の周辺における周辺同色画素であって、前記注目画素に配置されたカラーフィルタの色と同色のカラーフィルタが配置された周辺同色画素における各画素の画素値と前記補正係数とを用いて前記注目画素における補正対象の色成分の推定値を算出する算出ステップと、前記算出ステップにおいて算出した前記推定値と前記注目画素の前記補正係数とに基づいて、前記注目画素の画素値の補正量を算出する補正量算出ステップと、前記補正量算出ステップにおいて算出した前記補正量に基づいて、前記注目画素の画素値を補正する画素値補正ステップと、を含むことを特徴とする。
また、本発明に係るプログラムは、互いに異なる分光透過率を有する複数色のカラーフィルタを用いて所定の配列パターンを形成し、個々のカラーフィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データと、注目画素において分光感度と予め設定した基準分光感度との所定波長域における差に対応する画素値の差分を補正するための補正係数を画素毎に記録する記録部から前記補正係数と、を取得する取得ステップと、前記注目画素の周辺における周辺同色画素であって、前記注目画素に配置されたカラーフィルタの色と同色のカラーフィルタが配置された周辺同色画素における各画素の画素値と前記補正係数とを用いて前記注目画素における補正対象の色成分の推定値を算出する算出ステップと、前記算出ステップにおいて算出した前記推定値と前記注目画素の前記補正係数とに基づいて、前記注目画素の画素値の補正量を算出する補正量算出ステップと、前記補正量算出ステップにおいて算出した前記補正量に基づいて、前記注目画素の画素値を補正する画素値補正ステップと、を画像処理装置に実行させることを特徴とする。
本発明によれば、撮像素子を構成する複数の画素それぞれの分光感度のばらつきを補正することができるという効果を奏する。
図1は、本発明の実施の形態1に係る撮像システムの構成を模式的に示すブロック図である。 図2は、本発明の実施の形態1に係る画像処理装置が実行する処理の概要を示すフローチャートである。 図3は、図2の補正量算出処理の概要を示すフローチャートである。 図4は、図3のR成分補正量算出処理の概要を示すフローチャートである。 図5は、図3のG成分補正量算出処理の概要を示すフローチャートである。 図6は、図3のB成分補正量算出処理の概要を示すフローチャートである。 図7は、図4の平均によるR成分推定値算出処理の概要を示すフローチャートである。 図8は、図4の類似度によるR成分推定値算出処理の概要を示すフローチャートである。 図9は、本発明の実施の形態1に係る画像処理装置の補正量算出部が算出するR成分推定値の算出方法を模式的に示す図である。 図10は、図8の各R成分候補値における類似度算出処理の概要を示すフローチャートである。 図11は、図3の注目画素(x,y)の画素値に対する補正量算出処理の概要を示すフローチャートである。 図12は、本発明の実施の形態1の変形例に係る注目画素(x,y)の画素値に対する補正量算出処理の概要を示すフローチャートである。 図13は、本発明の実施の形態2に係る画像処理装置が実行するR成分補正量算出処理の概要を示すフローチャートである。 図14は、図13の画素値と補正係数の比によるR成分推定値算出処理の概要を示すフローチャートである。 図15は、類似する補正係数の分類を模式的に示す図である。 図16は、本発明の実施の形態3に係る画像処理装置が実行する補正量算出処理の概要を示すフローチャートである。 図17は、図16の各色成分の補正量算出処理の概要を示すフローチャートである。 図18は、図17の注目画素(x,y)の異色成分において類似度による異色成分推定値算出処理の概要を示すフローチャートである。 図19は、図18の候補値EstC1’,EstC2’における類似度Sim’算出処理の概要を示すフローチャートである。 図20は、本発明の実施の形態4に係る画像処理装置が実行する各色成分の補正量算出処理の概要を示すフローチャートである。 図21は、図20の各色成分において類似度による各色成分推定値算出処理の概要を示すフローチャートである。 図22は、図21の候補値EstR’,EstG’,EstB’における類似度Sim’算出処理の概要を示すフローチャートである。 図23は、本発明の実施の形態5に係る画像処理装置が実行する各色成分の補正量算出処理の概要を示すフローチャートである。 図24は、図23の連立方程式による異色成分推定値算出処理の概要を示すフローチャートである。 図25は、本発明の実施の形態6に係る画像処理装置が実行する各色成分の補正量算出処理の概要を示すフローチャートである。 図26は、図25の画素値と補正係数の比による異色成分推定値算出処理の概要を示すフローチャートである。 図27は、注目画素(x,y)近傍の異色画素が飽和した場合の比Ratioの算出領域を模式的に示す図である。
以下、図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。
(実施の形態1)
〔撮像システムの構成〕
図1は、本発明の実施の形態1に係る撮像システムの構成を模式的に示すブロック図である。図1に示す撮像システム1は、撮像装置10と、画像処理装置40と、表示装置50と、を備える。
〔撮像装置の構成〕
まず、撮像装置10の構成について説明する。撮像装置10は、光学系101と、絞り102と、シャッタ103と、ドライバ104と、撮像素子105と、カラーフィルタ106と、アナログ処理部107と、A/D変換部108と、第1操作部109と、メモリI/F部110と、記録媒体111と、揮発メモリ112と、不揮発メモリ113と、バス114と、撮像制御部115と、第1外部I/F部116と、を備える。
光学系101は、単数または複数のレンズを用いて構成される。光学系101は、例えばフォーカスレンズとズームレンズとを用いて構成される。
絞り102は、光学系101が集光した光の入射量を制限することで露出の調整を行う。絞り102は、撮像制御部115の制御のもと、光学系101が集光した光の入射量を制限する。絞り102を用いずに、シャッタ103や撮像素子105における電子シャッタを用いて光の入射量を制御するようにしてもよい。
シャッタ103は、撮像制御部115の制御のもと、撮像素子105の状態を露光状態または遮光状態に設定する。シャッタ103は、例えばフォーカルプレーンシャッタ等を用いて構成される。シャッタ103を用いずに、撮像素子105における電子シャッタを用いてもよい。
ドライバ104は、後述する撮像制御部115の制御のもと、光学系101、絞り102およびシャッタ103を駆動する。例えば、ドライバ104は、光学系101を光軸O1に沿って移動させることによって、撮像装置10のズーム倍率の変更またはピント位置の調整を行う。
撮像素子105は、後述する撮像制御部115の制御のもと、光学系101が集光した光を受光して画像データ(電気信号)に変換して出力する。撮像素子105は、複数の画素が2次元状に配置されたCMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)等のイメージセンサを用いて構成される。また、撮像素子105は、受光量を電子的に制御可能な電子シャッタ機能を有する。
カラーフィルタ106は、撮像素子105の受光面に積層して設けられる。カラーフィルタ106は、互いに異なる波長領域の光を透過する複数のカラーフィルタの各々が所定の配列パターンを形成し、この配列パターンを形成する個々のカラーフィルタが撮像素子105を構成する複数の画素のいずれかに対応する位置に配置される。カラーフィルタ106は、ベイヤー配列における赤色の波長領域の光を透過するフィルタR、緑色の波長領域の光を透過するフィルタGおよび青色の波長領域の光を透過するフィルタBの各々が撮像素子105の各画素の受光面に設けられる。なお、以下においては、フィルタRを受光面に配置した画素をR画素、フィルタGを受光面に配置した画素をG画素およびフィルタBを受光面に配置した画素をB画素として説明する。
アナログ処理部107は、撮像素子105から出力されるアナログ信号に対して、所定のアナログ処理を施してA/D変換部108へ出力する。具体的には、アナログ処理部107は、撮像素子105から入力されるアナログ信号に対して、ノイズ低減処理およびゲインアップ処理等を行う。例えば、アナログ処理部107は、アナログ信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。
A/D変換部108は、アナログ処理部107から入力されるアナログ信号に対して、A/D変換を行うことによってデジタルの画像データ(以下、「RAW画像データ」という)を生成し、バス114を介して揮発メモリ112に出力する。なお、A/D変換部108は、後述する撮像装置10の各部に対してRAW画像データを直接出力するようにしてもよい。なお、上述したカラーフィルタ106、アナログ処理部107とA/D変換部108を撮像素子105に設け、撮像素子105がデジタルのRAW画像データを直接出力するようにしてもよい。
第1操作部109は、撮像装置10の各種に指示を与える。具体的には、第1操作部109は、撮像装置10の電源状態をオン状態またはオフ状態に切り替える電源スイッチ、静止画撮影の指示を与えるレリーズスイッチ、撮像装置10の各種設定を切り替える操作スイッチおよび動画撮影の指示を与える動画スイッチ等を有する。
記録媒体111は、撮像装置10の外部から装着されるメモリカードを用いて構成され、メモリI/F部110を介して撮像装置10に着脱自在に装着される。また、記録媒体111は、撮像制御部115の制御のもと、メモリI/F部110を介してプログラムおよび各種情報それぞれを不揮発メモリ113に出力してもよい。
揮発メモリ112は、バス114を介してA/D変換部108から入力される画像データを一時的に記憶する。例えば、揮発メモリ112は、アナログ処理部107、A/D変換部108およびバス114を介して、撮像素子105が1フレーム毎に順次出力する画像データを一時的に記憶する。揮発メモリ112は、SDRAM(Synchronous Dynamic Random Access Memory)等を用いて構成される。
不揮発メモリ113は、撮像装置10を動作させるための各種プログラム、プログラムの実行中に使用される各種データを記録する。また、不揮発メモリ113は、プログラム記録部113aと、第1外部I/F部116を介して入力される撮像素子105を構成する複数の画素の各々の分光感度のばらつきを補正するための補正係数を記録する補正係数記録部113bと、を有する。ここで、補正係数とは、注目画素において分光感度と予め設定した基準分光感度との所定波長域における差に対応する画素値の差分を補正するための係数である。また、基準分光感度とは、撮像素子105に均一な光が照射された際の各カラーフィルタにおける同色画素の平均的なの分光感度である。この補正係数は、図示しない装置によって予め算出されて補正係数記録部113bに記録される。
バス114は、撮像装置10の各構成部位を接続する伝送路等を用いて構成され、撮像装置10の内部で発生した各種データを撮像装置10の各構成部位に転送する。
撮像制御部115は、CPU(Central Processing Unit)等を用いて構成され、第1操作部109からの指示信号やレリーズ信号に応じて撮像装置10を構成する各部に対する指示やデータの転送等を行って撮像装置10の動作を統括的に制御する。例えば、撮像制御部115は、第1操作部109からセカンドレリーズ信号が入力された場合、撮像装置10における撮影動作を開始する制御を行う。ここで、撮像装置10における撮影動作とは、撮像素子105が出力したアナログ信号に対し、アナログ処理部107およびA/D変換部108が所定の処理を施す動作をいう。このように処理が施された画像データは、撮像制御部115の制御のもと、バス114およびメモリI/F部110を介して記録媒体111に記録される。
第1外部I/F部116は、バス114を介して外部の機器から入力される情報を不揮発メモリ113または揮発メモリ112へ出力する一方、バス114を介して外部の機器へ揮発メモリ112が記憶する情報、不揮発メモリ113が記録する情報および撮像素子105が生成した画像データを出力する。具体的には、第1外部I/F部116は、バス114を介して画像処理装置40に撮像素子105が生成した画像データおよび補正係数記録部113bが記録する補正係数を出力する。
〔画像処理装置の構成〕
次に、画像処理装置40の構成について説明する。
画像処理装置40は、第2外部I/F部41と、第2記録部42と、バス43と、分光感度ばらつき補正部44と、画像処理部45と、を備える。
第2外部I/F部41は、撮像装置10の第1外部I/F部116を介して撮像素子105によって生成された画像データおよび補正係数記録部113bが記録する補正係数をそれぞれ取得し、取得した画像データおよび補正係数を分光感度ばらつき補正部44または第2バッファ部422へ出力する。第2外部I/F部41および第1外部I/F部116は、例えば双方向に情報をやり取り可能な制御ケーブルや無線通信路等を介して接続されている。なお、第2外部I/F部41は、本実施の形態1に係る取得部として機能する。
第2記録部42は、揮発性メモリおよび不揮発性メモリを用いて構成され、第2外部I/F部41を介して撮像装置10から入力された画像データ、補正係数、画像処理装置40を動作させるための各種プログラム、プログラムの実行中に使用される各種データを記録する。また、第2記録部42は、画像処理装置40を駆動するためのプログラムを記録する第2プログラム記録部421と、撮像装置10から入力された画像データおよび注目画素の補正係数等を一時的に記憶する第2バッファ部422と、を有する。
バス43は、画像処理装置40の各構成部位を接続する伝送路等を用いて構成され、画像処理装置40の内部で発生した各種データを画像処理装置40の各構成部位に転送する。
分光感度ばらつき補正部44は、第2外部I/F部41が取得した画像データに対応する画像の各画素の分光感度のばらつきを補正して画像処理部45へ出力する。分光感度ばらつき補正部44は、補正量算出部441と、画素値補正部442と、を有する。なお、分光感度ばらつき補正部44は、画像データにOB値(オプティカルブラック値)が含まれている場合にはOB減算処理を行ってもよい。
補正量算出部441は、補正係数記録部113bが記録する注目画素における補正係数と注目画素の周囲における周辺同色画素であって、注目画素に配置されたカラーフィルタの色と同色のカラーフィルタが配置された周辺同色画素における各画素の画素値と補正係数とを用いて注目画素における補正対象の色成分の推定値を算出し、この推定値と注目画素の補正係数とに基づいて、注目画素の画素値の補正量を算出する。ここで、周辺同色画素とは、注目画素の近傍に位置する画素であって、注目画素に配置されたカラーフィルタの色と同色のカラーフィルタが配置された画素である。
画素値補正部442は、補正量算出部441が算出した補正量を用いて注目画素の画素値を補正する。具体的には、画素値補正部442は、注目画素の画素値から補正量算出部441によって算出された補正量を減算することによって注目画素の画素値を補正し、この補正した画素値を画像処理部45へ出力する。
画像処理部45は、分光感度ばらつき補正部44によって分光感度ばらつきが補正された画像データに対して、所定の画像処理を行って表示装置50へ出力する。ここで、所定の画像処理とは、ホワイトバランス調整処理、撮像素子105がベイヤー配列の場合には画像データの同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理、ノイズ低減処理等を含む基本の画像処理のことである。また、画像処理部45は、予め設定された各画像処理のパラメータに基づいて、自然な画像を再現する画像処理を行う。ここで、各画像処理のパラメータとは、コントラスト、シャープネス、彩度、ホワイトバランスおよび階調の値である。なお、所定の画像処理を行った画像データを、第2外部I/F部41を経由して撮像装置10の不揮発メモリ113や記録媒体111に記録するようにしてもよい。
〔表示装置の構成〕
次に、表示装置50の構成について説明する。表示装置50は、画像処理装置40から入力される画像データに対応する画像を表示する。表示装置50は、液晶または有機EL(Electro Luminescence)等の表示パネル等を用いて構成される。
以上の構成を有する撮像システム1は、画像処理装置40が撮像装置10から画像データおよび補正係数の各々を取得し、この取得した補正係数を用いて画像データの注目画素の画素値を補正するための補正量を算出後、補正量を用いて注目画素の画素値を補正する。その後、表示装置50が画像処理装置40によって画像処理が施された画像データに対応する画像を表示する。
〔画像処理装置の処理〕
次に、画像処理装置40が実行する処理について説明する。図2は、画像処理装置40が実行する処理の概要を示すフローチャートであり、メインルーチンを示す。
図2に示すように、まず、補正量算出部441は、撮像装置10から撮像素子105が生成した画像データと補正係数記録部113bが記録する補正係数とを取得し、取得した画像データにおける注目画素の画素値の補正量を算出する補正量算出処理を実行する(ステップS1)。この場合、補正量は、符号付きの値とする。具体的には、補正量は、分光感度が基準分光感度より低い画素のとき、負の値とする一方、分光感度が基準分光感度より高い画素のとき、正の値とする。なお、補正量算出処理の詳細は、後述する。ここで、補正量の正負の定義を逆にした場合、後述の補正係数を使用する処理においては加減算を逆にすれば良い。
画素値補正部442は、補正量算出部441が算出した各画素の補正量を減算することで各画素の画素値を補正する(ステップS2)。ステップS2の後、画像処理装置40は、本処理を終了する。
〔補正量算出処理〕
次に、図2のステップS1で説明した補正量算出処理の詳細について説明する。図3は、補正量算出処理の概要を示すフローチャートである。
図3に示すように、まず、補正量算出部441は、第2記録部42の第2バッファ部422に記憶された画像データに対応する画像の高さ方向(縦方向)における画素の位置を示すカウンタyを初期化(カウンタy=0)し(ステップS11)、画像データに対応する画像の幅方向(横方向)における画素の位置を示すカウンタxを初期化(カウンタx=0)する(ステップS12)。
続いて、補正量算出部441は、注目画素(x,y)における画素値に対するR成分の補正量を算出するR成分補正量算出処理を実行する(ステップS13)。ここで、R成分とは、R波長帯域の画素値である。なお、R成分補正量算出処理の詳細は、後述する。
その後、補正量算出部441は、注目画素(x,y)の画素値に対するG成分の補正量を算出するG成分補正量算出処理を実行する(ステップS14)。ここで、G成分とは、G波長帯域の画素値である。なお、G成分補正量算出処理の詳細は、後述する。
続いて、補正量算出部441は、注目画素(x,y)の画素値に対するB成分の補正量を算出するB成分補正量算出処理を実行する(ステップS15)。ここで、B成分とは、B波長帯域の画素値である。なお、B成分補正量算出処理の詳細は、後述する。
その後、補正量算出部441は、上述したステップS13〜ステップS15において算出したR成分、G成分およびB成分の各々の補正量に基づいて、注目画素(x,y)の画素値に対する補正量を算出する補正量算出処理を実行する(ステップS16)。なお、注目画素(x,y)に対する補正量算出処理の詳細は、後述する。
続いて、補正量算出部441は、カウンタxをインクリメント(x=x+1)する(ステップS17)。
その後、カウンタxが画像データに対応する画像の幅より小さい場合(ステップS18:Yes)、補正量算出部441は、ステップS13へ戻る。これに対して、カウンタxが画像データに対応する画像の幅より小さくない場合(ステップS18:No)、補正量算出部441は、後述するステップS19へ移行する。
ステップS19において、補正量算出部441は、カウンタyをインクリメント(y=y+1)する。
その後、カウンタyが画像データに対応する画像の高さより小さい場合(ステップS20:Yes)、画像処理装置40は、上述したステップS12へ戻る。これに対して、カウンタyが画像データに対応する画像の高さより小さくない場合(ステップS20:No)、画像処理装置40は、図2のメインルーチンへ戻る。
〔R成分補正量算出処理〕
次に、図3のステップS13において説明したR成分補正量算出処理の詳細について説明する。図4は、R成分補正量算出処理の概要を示すフローチャートである。
図4に示すように、まず、注目画素(x,y)がR画素である場合(ステップS31:Yes)、補正量算出部441は、注目画素(x,y)の周辺画素(例えば、注目画素(x,y)を中心とした5×5画素の範囲等)の画素値の平均値に基づいて、R成分の推定値を算出する平均によるR成分推定値算出処理を実行する(ステップS32)。なお、平均によるR成分推定値算出処理の詳細は、後述する。ステップS32の後、画像処理装置40は、ステップS34へ移行する。
ステップS31において、注目画素(x,y)がR画素でない場合(ステップS31)No)、補正量算出部441は、注目画素(x,y)の画素値の類似度によるR成分の推定値を算出する類似度によるR成分推定値算出処理を実行する(ステップS33)。なお、類似度によるR成分推定値算出処理の詳細は、後述する。ステップS33の後、画像処理装置40は、ステップS34へ移行する。
続いて、補正量算出部441は、上述したステップS32またはステップS33において推定した注目画素(x,y)におけるR成分推定値に、注目画素(x,y)のR成分補正係数を乗じることによって、注目画素(x,y)の画素値に対するR成分の補正量を算出する(ステップS34)。ステップS34の後、画像処理装置40は、図3の補正量算出処理のサブルーチンへ戻る。
〔G成分補正量算出処理〕
次に、図3のステップS14において説明したG成分補正量算出処理の詳細について説明する。図5は、G成分補正量算出処理の概要を示すフローチャートである。
図5に示すように、まず、注目画素(x,y)がG画素である場合(ステップS41:Yes)、補正量算出部441は、注目画素(x,y)の周辺画素の画素値の平均値に基づいて、G成分の推定値を算出する平均によるG成分推定値算出処理を実行する(ステップS42)。なお、平均によるG成分推定値算出処理の詳細は、後述する。ステップS42の後、画像処理装置40は、ステップS44へ移行する。
ステップS41において、注目画素(x,y)がG画素でない場合(ステップS41:No)、補正量算出部441は、注目画素(x,y)の画素値の類似度によるG成分の推定値を算出する類似度によるG成分推定値算出処理を実行する(ステップS43)。なお、類似度によるG成分推定値算出処理の詳細は、後述する。ステップS43の後、画像処理装置40は、ステップS44へ移行する。
続いて、補正量算出部441は、上述したステップS42またはステップS43において推定した注目画素(x,y)におけるG成分推定値に、注目画素(x,y)のG成分補正係数を乗じることによって、注目画素(x,y)の画素値に対するG成分の補正量を算出する(ステップS44)。ステップS44の後、画像処理装置40は、図3の補正量算出処理のサブルーチンへ戻る。
〔B成分補正量算出処理〕
次に、図3のステップS15において説明したB成分補正量算出処理の詳細について説明する。図6は、B成分補正量算出処理の概要を示すフローチャートである。
図6に示すように、まず、注目画素(x,y)がB画素である場合(ステップS51:Yes)、補正量算出部441は、注目画素(x,y)の周辺画素の画素値の平均値に基づいて、B成分の推定値を算出する平均によるB成分推定値算出処理を実行する(ステップS52)。なお、平均によるB成分推定値算出処理の詳細は、後述する。ステップS52の後、画像処理装置40は、ステップS54へ移行する。
ステップS51において、注目画素(x,y)がB画素でない場合(ステップS51:No)、補正量算出部441は、注目画素(x,y)の画素値の類似度によるB成分の推定値を算出する類似度によるB成分推定値算出処理を実行する(ステップS53)。なお、類似度によるB成分推定値算出処理の詳細は、後述する。ステップS53の後、画像処理装置40は、ステップS54へ移行する。
続いて、補正量算出部441は、上述したステップS52またはステップS53において推定した注目画素(x,y)におけるB成分推定値に、注目画素(x,y)のB成分補正係数を乗じることによって、注目画素(x、y)の画素値に対するB成分の補正量を算出する(ステップS54)。ステップS54の後、画像処理装置40は、図3の補正量算出処理のサブルーチンへ戻る。
上述した図3〜図6において説明したように、補正量算出部441は、全画素に対して全成分の補正量を算出するが、特定の色の画素、および色成分に対してのみ補正量を算出してもよい。
〔平均によるR成分推定値算出処理〕
次に、図4のステップS32において説明した平均によるR成分推定値算出処理の詳細について説明する。図7は、平均によるR成分推定値算出処理の概要を示すフローチャートである。
図7に示すように、まず、補正量算出部441は、注目画素(x,y)の周辺のR画素の画素値の平均値AveRを算出する(ステップS61)。ここで、周辺とは、注目画素(x,y)を中心にM×N画素(MおよびNは、3以上の奇数。ただし、R成分およびB成分に関しては、M=N=3は、除く)の範囲である。なお、補正量算出部441は、注目画素(x,y)の画素値を含めて平均値AveRを算出してもよい。また、補正量算出部441は、平均値以外に統計値を算出してもよい。例えば、補正量算出部441は、重み付け平均値、中央値および絶対値が一定値以上の補正係数を除外した上記統計値のいずれかを算出してもよい。
続いて、補正量算出部441は、上述したステップS61において算出した平均値AveRを注目画素(x,y)のR成分推定値として算出する(ステップS62)。ステップS62の後、画像処理装置40は、図4のR成分補正量算出処理へ戻る。なお、本実施の形態1において、図5のステップS42の平均によるG成分推定値算出処理および図6のステップS52の平均によるB成分推定値算出処理は、R成分をG成分およびB成分それぞれに置き換え、上述した同様の処理を行うことによって、G成分推定値またはB成分推定値を算出することができるため、平均によるG成分推定値算出処理および平均によるB成分推定値算出処理の説明は、省略する。
〔類似度によるR成分推定値算出処理〕
次に、図4のステップS33において説明した類似度によるR成分推定値算出処理の詳細について説明する。図8は、類似度によるR成分推定値算出処理の概要を示すフローチャートである。図9は、補正量算出部441が算出するR成分推定値の算出方法を模式的に示す図である。
図8に示すように、まず、補正量算出部441は、注目画素(x,y)の周辺の注目画素(x,y)と同色画素のR成分補正係数の平均値AveCoefを算出する(ステップS71)。以下においては、注目画素(x,y)の周辺の注目画素(x,y)と同色画素を参照画素という。また、周辺とは、上述した図7のステップS61と同様の範囲である。なお、本実施の形態1では、参照画素が周辺同色画素として機能する。
続いて、補正量算出部441は、注目画素(x,y)の周辺の注目画素(x,y)と同色画素の画素値の平均値AvePixを算出する(ステップS72)。この場合、補正量算出部441は、上述した参照画素の画素値から平均値AvePixを算出する。
その後、補正量算出部441は、候補値Estを初期化(Est=Est0)する(ステップS73)。この場合、補正量算出部441は、分光感度ばらつき補正部44に入力される画素値がとり得る最大値Est0を候補値Estに設定することが望ましい。
続いて、補正量算出部441は、類似度Simを初期化(Sim=MAX)する(ステップS74)。この場合、補正量算出部441は、類似度Simがとり得る最大値を設定する。ここで、類似度Simは、類似している(類似度が高い)ほど値が小さく、類似していない(類似度が低い)ほど値が大きくなるよう、定義する。
その後、補正量算出部441は、カウンタStepを0に初期化(Step=0)する(ステップS75)。
続いて、補正量算出部441は、大小2つの候補値Estp,Estmを算出する(ステップS76)。具体的には、図9に示すように、補正量算出部441は、候補値Estに対して、大小2つの候補値Estp,Estmを以下の式(1)および式(2)によって算出する。
Estp=Est+(Est0/2Step) ・・・(1)
Estm=Est−(Est0/2Step) ・・・(2)
その後、補正量算出部441は、各R成分の推定値における類似度を算出する各R成分候補値における類似度算出処理を実行する(ステップS77)。
〔各R成分推定値における類似度算出処理〕
図10は、図8のステップS77において説明した各R成分候補値における類似度算出処理の概要を示すフローチャートである。
図10に示すように、まず、補正量算出部441は、第2バッファ部422から注目画素(x,y)の周辺の注目画素(x,y)と同色画素の画素値とR成分補正係数を取得する(ステップS91)。具体的には、補正量算出部441は、第2バッファ部422から参照画素の画素値とR成分補正係数を取得する。
続いて、補正量算出部441は、各画素における理論値Idealを算出する(ステップS92)。具体的には、補正量算出部441は、上述したステップS91で取得した参照画素(x+Δx,y+Δy)において、R成分補正係数CoefR(x+Δx,y+Δy)と、上述した図8のステップ71において算出したR成分補正係数の平均値AveCoefとの差に対して、R成分候補値Estを乗算した値を理論値Ideal(x+Δx,y+Δy)として画素毎に算出する。より具体的には、補正量算出部441は、以下の式(3)によって、理論値Ideal(x+Δx,y+Δy)を画素毎に算出する。
Ideal(x+Δx,y+Δy)
=(CoefR(x+Δx,y+Δy)−AveCoef)×Est
・・・(3)
その後、補正量算出部441は、各画素における実測値Valを算出する(ステップS93)。具体的には、補正量算出部441は、参照画素(x+Δx,y+Δy)において、画素値Pix(x+Δx,y+Δy)と、図8のステップ72において算出した画素値の平均値AvePixとの差を実測値Val(x+Δx,y+Δy)として画素毎に算出する。より具体的には、補正量算出部411は、以下の式(4)によって、実測値Val(x+Δx,y+Δy)を画素毎に算出する。
Val(x+Δx,y+Δy)=Pix(x+Δx,y+Δy)−AvePix
・・・(4)
続いて、補正量算出部441は、各画素における理論値Idealと実測値Valとの差分絶対値Diffを算出する(ステップS94)。具体的には、補正量算出部441は、画素(x+Δx,y+Δy)において、理論値Ideal(x+Δx,y+Δy)と実測値Val(x+Δx,y+Δy)との差分絶対値Diff(x+Δx,y+Δy)を画素毎に算出する。より具体的には、補正量算出部441は、以下の式(5)によって、差分絶対値Diff(x+Δx,y+Δy)を画素毎に算出する。
Diff(x+Δx,y+Δy)
=|(Val(x+Δx,y+Δy)
−Ideal(x+Δx,y+Δy)|
・・・(5)
なお、補正量算出部441は、差分絶対値Diff(x+Δx,y+Δy)に換えて、以下の式(6)によって、差分2乗値をDiff(x+Δx,y+Δy)として算出してもよい。
Diff(x+Δx,y+Δy)
=((Val(x+Δx,y+Δy)
−Ideal(x+Δx,y+Δy))
・・・(6)
その後、補正量算出部441は、全参照画素の差分絶対値Diffの総和値を類似度Simとして算出する(ステップS95)。なお、補正量算出部441は、全参照画素の差分絶対値における単純な総和でなく、重み付けした総和を算出してもよい。例えば、補正量算出部441は、重み付けを行う場合、注目画素(x,y)からの各画素の距離に応じて重み付けの係数を変更させながら全参照画素の差分絶対値の総和を算出してもよい。また、補正量算出部441は、重み付けを行う場合、差分絶対値Diffが大きいほど重みを大きくするように重み付けの係数を変更させながら全参照画素の差分絶対値の総和を算出してもよい(差分絶対値Diffを単調増加関数で変換して差分絶対値の総和を算出することと等価)。ステップS95の後、画像処理装置40は、図8の類似度によるR成分推定値算出処理に戻る。
このように、補正量算出部441は、各R成分推定値における類似度算出処理において、画素値の分布と理論値の分布の類似度度合いを差分絶対値または差分2乗値の総和を評価値としているが、この評価値を他の方法によって算出してもよい。例えば、補正量算出部441は、NCC(Normalized Cross-Correlation)およびZNCC(Zero-mean Normalized Cross-Correlation)等を用いて評価値を算出してもよい。なお、G成分およびB成分に関しては、R成分をG成分またはB成分に置き換え、上述した同様の処理を行うことによって、各G成分の推定値における類似度および各B成分の推定値における類似度を算出することができるため、各G成分推定値における類似度算出処理および各B成分推定値における類似度算出処理の説明は、省略する。この処理を、候補値Est、Estp、Estmの各々について行い、3つの類似度Sim、Simp、Simmを算出する。
図8に戻り、ステップS78以降の説明を続ける。
ステップS78において、補正量算出部441は、類似度が最小値をとる候補値を選択する。具体的には、補正量算出部441は、3つの類似度Sim、類似度Simpおよび類似度Simmの中で最小となる類似度に対応した候補値(Est、Estp、Estmのいずれか)を算出(選択)する。具体的には、図9に示すように、補正量算出部441は、大小2つの類似度および現在の類似度の3つを比較しながら最小値をとる候補値を選択しつつ、この処理を繰り返し実行することによって、類似度が最小値となる候補値を探索する。ステップS78の後、画像処理装置40は、ステップS79へ移行する。
ステップS79において、補正量算出部441は、ステップS78において算出した候補値を候補値Estに更新する。例えば、補正量算出部441は、ステップS78において算出した候補値がEstpの場合、EstをEstp(Est=Estp)とする。
その後、補正量算出部441は、nをインクリメント(n=n+1)する(ステップS80)。
続いて、カウンタStepがnより小さい(Step<n)場合(ステップS81:Yes)、画像処理装置40は、上述したステップS76へ戻る。これに対して、カウンタStepがnより小さくない場合(ステップS81:No)、画像処理装置40は、ステップS82へ移行する。ここで、nは、Est0÷2が1以上となる値であることが望ましい。
ステップS82において、補正量算出部441は、候補値EstをR成分推定値として算出する。ステップS82の後、画像処理装置40は、図4のR成分補正量算出処理に戻る。
このように類似度によるR成分推定値算出処理によれば、注目画素の周辺の異色画素の画素値を用いないため、異色画素が飽和しても、補正量算出部441が注目画素における注目画素と異なる色成分の推定値を算出することができる。
また、本実施の形態1では、補正量算出部441が類似度によるR成分推定値算出処理において、大小2つの類似度および現在の類似度の3つを比較しながら最小値をとる候補値を選択しつつ、この処理を繰り返し実行することによって、類似度が最小値となる候補値を探索する。これにより、補正量算出部441は、注目画素の周辺の異色画素の画素値を用いないため、異色画素が飽和しても、注目画素における注目画素と異なる色成分の推定値を算出することができる。なお、補正量算出部441は、他の方法によって類似度が最も高い候補値を探索してもよい。例えば、補正量算出部441は、網羅的に候補値を振って最も類似度が高い値を探索する方法、周知の山登り方法および局所探索法等を用いてもよい。また、図5のステップS43の類似度によるG成分推定値算出処理および図6のステップS53の類似度によるB成分推定値算出処理は、R成分をG成分またはB成分に置き換え、上述した同様の処理を行うことによって、G成分推定値またはB成分推定値を算出することができるため、類似度によるG成分推定値算出処理および類似度によるB成分推定値算出処理の説明は、省略する。
〔注目画素(x,y)の画素値に対する補正量算出処理〕
次に、図3のステップS16において説明した注目画素(x,y)の画素値に対する補正量算出処理について説明する。図11は、注目画素(x,y)の画素値に対する補正量算出処理の概要を示すフローチャートである。
図11に示すように、まず、補正量算出部441は、図3のステップS13、ステップS14およびステップS15の各々において算出したR,G,B成分の補正量の総和値Sumcを算出する(ステップS101)。
続いて、補正量算出部441は、上述したステップS101において算出した総和値Sumcを注目画素(x,y)の補正量として算出する(ステップS102)。ステップS102の後、画像処理装置40は、図3の補正量算出処理に戻る。
以上説明した本発明の実施の形態1によれば、注目画素の周辺の異色画素の画素値を用いないため、異色画素が飽和しても、補正量算出部441が注目画素における注目画素と異なる色成分の推定値を算出することができる。
(実施の形態1の変形例)
次に、本発明の実施の形態1の変形例について説明する。本実施の形態1の変形例は、上述した実施の形態1に係る撮像システム1と同様の構成を有し、画像処理装置が実行する注目画素(x,y)の画素値に対する補正量算出処理が異なる。具体的には、本実施の形態1の変形例では、過補正や誤った補正を防止する。以下においては、本実施の形態1の変形例に係る画像処理装置が実行する注目画素(x,y)の画素値に対する補正量算出処理について説明する。なお、上述した実施の形態1に係る撮像システム1と同一の構成には同一の符号を付して説明を省略する。
〔注目画素(x,y)の画素値に対する補正量算出処理〕
図12は、本実施の形態1の変形例に係る画像処理装置が実行する注目画素(x,y)の画素値に対する補正量算出処理の概要を示すフローチャートである。
図12に示すように、まず、補正量算出部441は、図3のステップS13、ステップS14およびステップS15の各々において算出したR,G,B成分の補正量の総和値Sumcを算出する(ステップS111)。
続いて、補正量算出部441は、注目画素(x,y)の周辺の注目画素(x,y)と同色画素の画素値の平均値Aveを算出する(ステップS112)。この場合、補正量算出部441は、図8のステップS72において平均値Aveを算出した同色画素と同じ画素を用いることが好ましい。
その後、補正量算出部441は、ステップS112において算出した平均値Aveと注目画素(x,y)の画素値Pixとの差Delta(Delta=Pix-Ave)を算出する(ステップS113)。
続いて、DeltaとSumcの符号が同じである場合(ステップS114:Yes)において、|Delta|<|Sumc|であるとき(ステップS115:Yes)、補正量算出部441は、SumcをDelta(Sumc=Delta)とする(ステップS116)。ステップS116の後、画像処理装置40は、後述するステップS118へ移行する。
ステップS114において、DeltaとSumcの符号が同じである場合(ステップS114:Yes)において、|Delta|<|Sumc|でないとき(ステップS115:No)、画像処理装置40は、後述するステップS118へ移行する。
ステップS114において、DeltaとSumcの符号が同じでない場合(ステップS114:No)、補正量算出部441は、Sumcを「0」(Sumc=0)とする(ステップS117)。ステップS117の後、画像処理装置40は、後述するステップS118へ移行する。
続いて、補正量算出部441は、総和値Sumcを注目画素(x,y)の補正量として算出する(ステップS118)。ステップS118の後、画像処理装置40は、図3の補正量算出処理に戻る。
以上説明した本発明の実施の形態1の変形例によれば、DeltaとSumcの符号が同じでない場合、補正量算出部441がSumcを「0」としたり、DeltaとSumcの符号が同じである場合において、|Delta|<|Sumc|でないとき、補正量算出部441が補正を行わないので、注目画素(x,y)の画素値を補正しないので、過補正や誤った補正を防止することができる。
なお、本発明の実施の形態1では、DeltaとSumcの符号の比較、|Delta|<|Sumc|の判定を行うことによって、補正後の画素値がPixとAveとの間に制限しているが、他の方法であってもよい。例えば、補正量算出部441は、Ave<Pixの場合、PixからSumcを減算した値を、Ave以上Pix以下にクリップする一方、Ave≧Pixの場合、PixからSumcを減算した値を、Pix以上Ave以下にクリップしてもよい。
(実施の形態2)
次に、本発明の実施の形態2について説明する。本実施の形態2に係る撮像システムは、上述した実施の形態1に係る撮像システム1と同一の構成を有し、画像処理装置が実行するR成分補正量算出処理が異なる。具体的には、上述した実施の形態1では、類似度によって各色成分の推定値を個別に算出していたが、本実施の形態2では、画素値と補正係数の比によって各色成分の推定値を個別に算出する。以下においては、本実施の形態2に係る画像処理装置が実行するR成分補正量算出処理について説明する。なお、上述した実施の形態1に係る撮像システム1と同一の構成には同一の符号を付して説明を省略する。また、以下の説明においては、R成分に対する処理について説明するが、G成分およびB成分に対しても同様の処理を行うため、G成分およびB成分の処理については、説明を省略する。
〔R成分補正量算出処理〕
図13は、本実施の形態2に係る画像処理装置40が実行するR成分補正量算出処理の概要を示すフローチャートである。図13において、ステップS121,ステップS122,ステップS124は、上述した図4のステップS31,ステップS32,ステップS34それぞれに対応する。
ステップS123において、補正量算出部441は、画素値と補正係数の比に基づいて、R成分の推定値を算出する画素値と補正係数の比によるR成分推定値算出処理を実行する。ステップS123の後、画像処理装置40は、ステップS124へ移行する。
〔画素値と補正係数の比によるR成分推定値算出処理〕
図14は、図13のステップS123において説明した画素値と補正係数の比によるR成分推定値算出処理の概要を示すフローチャートである。図14において、ステップS201およびステップS202は、上述した図8のステップS71およびステップS72それぞれに対応する。
ステップS203において、補正量算出部441は、各画素における補正係数の平均値からの差ΔCoefを算出する。具体的には、補正量算出部441は、参照画素(x+Δx,y+Δy)において、R成分補正係数CoefR(x+Δx,y+Δy)とステップS201において算出したR成分補正係数の平均値AveCoefとの差ΔCoef(x+Δx,y+Δy)を画素毎に算出する。より具体的には、補正量算出部441は、以下の式(7)によって、各画素における補正係数の平均値からの差ΔCoefを算出する。
ΔCoef(x+Δx,y+Δy)
=CoefR(x+Δx,y+Δy)−AveCoef ・・・(7)
続いて、補正量算出部441は、各画素における画素値の平均値からの差ΔValを算出する(ステップS204)。具体的には、補正量算出部441は、参照画素(x+Δx,y+Δy)において、画素値Pix(x+Δx,y+Δy)と、ステップS202において算出した画素値の平均値AvePixとの差ΔVal(x+Δx,y+Δy)を画素毎に算出する。より具体的には、補正量算出部441は、以下の式(8)によって、差ΔValを画素毎に算出する。
ΔVal(x+Δx,y+Δy)
=Pix(x+Δx,y+Δy)−AvePix ・・・・(8)
その後、補正量算出部441は、各画素におけるΔCoefとΔValとの比Ratioを算出する(ステップS205)。具体的には、補正量算出部441は、参照画素(x+Δx,y+Δy)において、ΔCoef(x+Δx,y+Δy)とΔVal(x+Δx,y+Δy)との比Ratio(x+Δx,y+Δy)を画素毎に算出する。より具体的には、補正量算出部441は、以下の式(9)によって、比Ratio(x+Δx,y+Δy)を画素毎に算出する。
Ratio(x+Δx,y+Δy)
=ΔVal(x+Δx,y+Δy)/ΔCoef(x+Δx,y+Δy)
・・・(9)
なお、補正量算出部441は、ΔCoef(x+Δx,y+Δy)が0の場合、Ratio(x+Δx,y+Δy)=0とする処理、または、その画素(x+Δx,y+Δy)の処理を除外する処理を行ってもよい。このとき、補正量算出部441は、除外した画素(x+Δx,y+Δy)を、次の平均値算出処理においても除外する。
続いて、補正量算出部441は、比Ratioの平均値を候補値Estとして算出する(ステップS206)。具体的には、補正量算出部441は、ステップS205において算出した全参照画素の比Ratioの平均値を候補値Estとして算出する。ステップS206の後、画像処理装置40は、図4のR成分補正量算出処理へ戻る。なお、補正量算出部441は、平均値以外に、重み付け平均値または中央値等の統計値を用いてもよい。
また、補正量算出部441は、代表とする参照画素の比Ratioの平均値を候補値Estとして算出してもよい。ここで、代表とする参照画素とは、例えば、補正係数の絶対値が大きい方からk個目までの画素または、補正係数の絶対値が大きい方からk個目の画素等である。
図15は、類似する補正係数の分類を模式的に示す図である。図15において、横軸が補正係数を示し、縦軸が画素数を示す。また、図15において、曲線L1は、補正係数に対する画素数を示す。
図15に示すように、補正係数の絶対値が小さいk個目を選択する場合、および補正係数の絶対値が大きいk個目を選択する場合、k個の誤差の割合は、補正係数の絶対値が大きい方が小さくなるため、得られる推定値の精度が高くなる。
さらにまた、補正量算出部441は、補正係数の値が類似する参照画素毎に、比Ratioの平均値を算出した後に、それらの平均値を候補値Estとして算出してもよい。これにより、ランダムノイズによる画素値のばらつきによる影響を低減させることができる。
以上説明した本発明の実施の形態2によれば、補正量算出部441が画素値と補正係数の比によってR成分の候補値Estを算出することによって、上述した実施の形態1のように類似度が最小となる推定値を探索する必要がないので、1回の計算によって候補値Estを算出することができる。
(実施の形態3)
次に、本発明の実施の形態3について説明する。本実施の形態3は、上述した実施の形態1に係る撮像システム1と同一の構成を有し、画像処理装置が実行する補正量算出処理が異なる。具体的には、上述した実施の形態1では、R成分、B成分およびG成分の各々の推定値を個別に算出していたが、本実施の形態3では、R成分、B成分およびG成分をまとめて推定値を算出する。以下においては、本実施の形態3に係る画像処理装置が実行する補正量算出処理について説明する。なお、上述した実施の形態1と同一の構成には同一の符号を付して説明を省略する。
〔補正量算出処理〕
図16は、本発明の実施の形態3に係る画像処理装置40が実行する補正量算出処理の概要を示すフローチャートである。図16において、ステップS301、ステップS302、ステップS304〜ステップS308は、上述した図3のステップS11、ステップS12、ステップS16〜ステップS20にそれぞれ対応する。
ステップS303において、補正量算出部441は、注目画素(x,y)における各色成分の補正量を算出する各色成分の補正量算出処理を実行する。
〔各色成分の補正量算出処理〕
図17は、図16のステップS303の各色成分の補正量算出処理の概要を示すフローチャートである。
図17に示すように、まず、補正量算出部441は、注目画素(x,y)と同色成分において平均による推定値算出処理を実行する(ステップS311)。具体的には、補正量算出部441は、注目画素(x,y)の色成分に応じて、上述した図4のR成分補正量算出処理におけるステップS32の平均によるR成分推定値算出処理、図5のG成分補正量算出処理におけるステップS42の平均によるG成分推定値算出処理および図6のB成分補正量算出処理におけるステップS52の平均によるB成分推定値算出処理のいずれかを行う。
続いて、補正量算出部441は、注目画素(x,y)の異色成分において類似度による異色成分推定値算出処理を実行する(ステップS312)。例えば、補正量算出部441は、注目画素(x,y)がG画素である場合、R成分およびB成分の推定値を算出する。なお、注目画素(x,y)の異色成分において類似度による異色成分推定値算出処理の詳細は、後述する。
その後、補正量算出部441は、各色成分の補正量を算出する(ステップS313)。具体的には、補正量算出部441は、注目画素(x,y)の各色成分の推定値に補正係数を乗じることによって、注目画素(x,y)の画素値に対する各色成分の補正量を算出する。ステップS313の後、画像処理装置40は、図16の補正量算出処理へ戻る。
〔注目画素(x,y)の異色成分において類似度による異色成分推定値算出処理〕
次に、図17のステップS312において説明した注目画素(x,y)と異色成分において類似度による異色成分推定値算出処理について説明する。図18は、注目画素(x,y)の異色成分において類似度による異色成分推定値算出処理の概要を示すフローチャートである。
図18に示すように、補正量算出部441は、注目画素(x,y)の周辺の注目画素(x,y)と同色画素の異色成分補正係数の平均値AveCoefC1および平均値AveCoefC2を算出する(ステップS321)。具体的には、補正量算出部441は、異色画素をC1、C2とし、異色画素C1および異色画素C2の各々の補正係数の平均値をAveCoefC1,AveCoefC2とする。
続いて、補正量算出部441は、注目画素(x,y)の周辺の注目画素(x,y)と同色画素の画素値の平均値AvePixを算出する(ステップS322)。この場合、補正量算出部441は、参照画素の画素値から画素値の平均値AvePixを算出することが望ましい。このとき、補正量算出部441は、平均値以外に統計値を算出してもよい。例えば、補正量算出部441は、重み付け平均値および中央値等を算出してもよい。
その後、補正量算出部441は、候補値EstC1および候補値EstC2を初期化(EstC1=EstC2=0)し(ステップS323)、候補値EstC1’、候補値EstC2’を初期化(EstC1’=EstC2’=0)する(ステップS324)。
続いて、補正量算出部441は、類似度Simを初期化(Sim=MAX)し(ステップS325)、候補値EstC2’を初期化(EstC2’=0)する(ステップS326)。
その後、補正量算出部441は、候補値EstC1’および候補値EstC2’における類似度Sim’を算出する候補値EstC1’,EstC2’における類似度Sim’算出処理を実行する(ステップS327)。
〔候補値EstC1’,EstC2’における類似度Sim’算出処理〕
図19は、図18のステップS327において説明した候補値EstC1’,EstC2’における類似度Sim’算出処理の概要を示すフローチャートである。
図19に示すように、まず、補正量算出部441は、注目画素(x,y)の周辺の注目画素(x,y)と同色画素の画素値と異色成分補正係数とを第2バッファ部422から出力する(ステップS341)。
続いて、補正量算出部441は、各画素における理論値Idealを算出する(ステップS342)。具体的には、補正量算出部441は、参照画素(x+Δx,y+Δy)において、C1成分の補正係数CoefC1(x+Δx,y+Δy)およびC2成分の補正係数CoefC2(x+Δx,y+Δy)と、上述した図18のステップS321において算出した異色成分補正係数の平均値AveCoefC1およびAveCoefC2との差に、入力した異色成分候補値EstC1’EstC2’を乗算した値の和を理論値Ideal(x+Δx,y+Δy)として算出する。より具体的には、補正量算出部441は、以下の式(10)によって、理論値Ideal(x+Δx,y+Δy)を画素毎に算出する。
Ideal(x+Δx,y+Δy)
=(CoefC1(x+Δx,y+Δy)−AveCoefC1)×EstC1’
+(CoefC2(x+Δx,y+Δy)−AveCoefC2)×EstC2’
・・・(10)
その後、補正量算出部441は、各画素における実測値Valを算出する(ステップS343)。具体的には、補正量算出部441は、参照画素(x+Δx,y+Δy)において、画素値Pix(x+Δx,y+Δy)と、上述した図18のステップS322において算出した画素値の平均値AvePixとの差を実測Val(x+Δx,y+Δy)として算出する。より具体的には、補正量算出部441は、以下の式(11)によって、実測Val(x+Δx,y+Δy)を画素毎に算出する。
Val(x+Δx,y+Δy)=Pix(x+Δx,y+Δy)−AvePix
・・・(11)
続いて、補正量算出部441は、各画素における理論値Idealと実測値Valとの差分絶対値Diffを算出する(ステップS344)。具体的には、補正量算出部441は、画素(x+Δx,y+Δy)において、上述したステップS342で算出した理論値Ideal(x+Δx,y+Δy)と上述したステップS343で算出した実測値Val(x+Δx,y+Δy)との差分絶対値Diff(x+Δx,y+Δy)を画素毎に算出する。より具体的には、補正量算出部441は、上述した式(5)によって、差分絶対値Diff(x+Δx,y+Δy)を画素毎に算出する。なお、補正量算出部441は、差分絶対値Diff(x+Δx,y+Δy)に換えて、上述した式(6)によって、差分2乗値をDiff(x+Δx,y+Δy)として算出してもよい。
続いて、補正量算出部441は、差分絶対値Diffの総和値を類似度Sim’として算出する(ステップS345)。具体的には、補正量算出部441は、全参照画素の差分絶対値の総和値を類似度Sim’として算出する。なお、補正量算出部441は、重み付けした総和を類似度Sim’として算出してもよい。この場合、補正量算出部441は、注目画素(x,y)からの各画素の距離に応じて重み付けの係数を変更するようにしてもよい。ステップS345の後、画像処理装置40は、図18の注目画素(x,y)の異色成分において類似度による異色成分推定処理へ戻る。
このように、補正量算出部441は、候補値EstC1’,EstC2’における類似度Sim’算出処理において、画素値の分布と理論値の分布の類似度合いを差分絶対値または差分2乗値の総和を評価値としているが、この評価値を他の方法によって算出してもよい。例えば、補正量算出部441は、NCC(Normalized Cross-Correlation)およびZNCC(Zero-mean Normalized Cross-Correlation)等を用いて評価値を算出してもよい。
図18に戻り、ステップS328以降の説明を続ける。
ステップS328において、Sim’<Simである場合(ステップS328:Yes)、補正量算出部441は、候補値EstC1、候補値EstC2および類似度Simを更新(EstC1=EstC1’,EstC2=EstC2’,Sim=Sim’)する(ステップS329)。ステップS329の後、画像処理装置40は、ステップS330へ移行する。
ステップS328において、Sim’<Simでない場合(ステップS328:No)、画像処理装置40は、ステップS330へ移行する。
続いて、補正量算出部441は、候補値EstC2’をインクリメントする(ステップS330)。この場合、補正量算出部441は、インクリメントする値を1以上とする。
その後、EstC2’≦EstC2Maxである場合(ステップS331:Yes)、画像処理装置40は、上述したステップS327へ戻る。これに対して、EstC2’≦EstC2Maxでない場合(ステップS331:No)、画像処理装置40は、ステップS332へ移行する。
ステップS332において、補正量算出部441は、候補値EstC1’をインクリメントする(ステップS332)。この場合、補正量算出部441は、インクリメントする値を1以上とする。
その後、EstC1’≦EstC1Maxである場合(ステップS332:Yes)、画像処理装置40は、上述したステップS326へ戻る。これに対して、EstC1’≦EstC1Maxでない場合(ステップS332:No)、画像処理装置40は、ステップS334へ移行する。
ステップS334において、補正量算出部441は、候補値EstC1、候補値EstC2を異色成分推定値として算出する。ステップS334の後、画像処理装置40は、図17の各色成分の補正量算出処理へ戻る。
以上説明した本発明の実施の形態3によれば、補正量算出部441が異色成分の推定値を一括で算出するので、R成分、G成分およびB成分が混ざり合った色をなす被写体を撮像した画像データであっても、精度良く推定値を算出することができる。
また、本発明の実施の形態3では、補正量算出部441が他の方法によって類似度が最小値をとる推定値を探索してもよい。例えば、補正量算出部441は、網羅的に推定値を振って最小値を探索する方法、周知の山登り方法および局所探索法等を用いてもよい。
(実施の形態4)
次に、本発明の実施の形態4について説明する。本実施の形態4に係る撮像システムは、上述した実施の形態3に係る撮像システム1と同一の構成を有し、画像処理装置が実行する各色成分の補正量算出処理が異なる。具体的には、本実施の形態4では、全色成分の推定値を一括で算出する。以下においては、本実施の形態4に係る画像処理装置が実行する各色成分の補正量算出処理について説明する。なお、上述した実施の形態3に係る撮像システム1と同一の構成には同一の符号を付して説明を省略する。
〔各色成分の補正量算出処理の概要〕
図20は、本実施の形態4に係る画像処理装置40が実行する各色成分の補正量算出処理の概要を示すフローチャートである。
図20に示すように、まず、補正量算出部441は、自色成分も異色成分も全て含めて各色成分の推定値を算出する各色成分において類似度による各色成分推定値算出処理を実行する(ステップS401)。
〔各色成分において類似度による各色成分推定値算出処理〕
図21は、各色成分において類似度による各色成分推定値算出処理の概要を示すフローチャートである。
図21に示すように、補正量算出部441は、注目画素(x,y)の周辺の注目画素(x,y)と同色画素の各色成分の補正係数の平均値AveCoefR、平均値AveCoefGおよび平均値AveCoefBを算出する(ステップS411)。
続いて、補正量算出部441は、注目画素(x,y)の周辺の注目画素(x,y)の画素値の平均値AvePixを算出する(ステップS412)。この場合、補正量算出部441は、参照画素の画素値から画素値の平均値AvePixを算出することが望ましい。
その後、補正量算出部441は、候補値EstR、候補値EstGおよび候補値EstBを初期化(EstR=EstG=EstB=0)し(ステップS413)、候補値EstR’、候補値EstG’および候補値EstB’を初期化(EstR’=EstG’=EstB’=0)する(ステップS414)。
続いて、補正量算出部441は、類似度Simを初期化(Sim=MAX)し(ステップS415)、候補値EstG’を初期化(EstG’=0)するとともに(ステップS416)、候補値EstB’を初期化(EstB’=0)する(ステップS417)。
その後、補正量算出部441は、候補値EstR’、候補値EstG’および候補値EstB’における類似度Sim’を算出する候補値EstR’,EstG’,EstB’における類似度Sim’算出処理を実行する(ステップS418)。
〔候補値EstR’,EstG’,EstB’における類似度Sim’算出処理〕
図22は、図21のステップS418における候補値EstR’,EstG’,EstB’における類似度Sim’算出処理の概要を示すフローチャートである。
図22に示すように、まず、補正量算出部441は、注目画素(x,y)の周辺の注目画素(x,y)と同色画素と各色成分補正係数を第2バッファ部422から取得する(ステップS431)。具体的には、補正量算出部441は、参照画素の画素値と補正係数を第2バッファ部422から取得する。
続いて、補正量算出部441は、各画素における理論値Idealを算出する(ステップS432)。具体的には、補正量算出部441は、参照画素(x+Δx,y+Δy)において、各色成分補正係数CoefR(x+Δx,y+Δy)、CoefG(x+Δx,y+Δy)およびCoefB(x+Δx,y+Δy)と、上述した図21のステップS411において算出した各色成分補正係数の平均値AveCoefR、AveCoefGおよびAveCoefBとの差に、入力した各色成分候補値EstR’ EstG’ EstB’を乗算した値の和を理論値Ideal(x+Δx,y+Δy)として算出する。より具体的には、補正量算出部441は、以下の式(12)によって、理論値Ideal(x+Δx,y+Δy)を画素毎に算出する。
Ideal(x+Δx,y+Δy)
=(CoefR(x+Δx,y+Δy)−AveCoefR)×EstR’
+(CoefG(x+Δx,y+Δy)−AveCoefG)×EstG’
+(CoefB(x+Δx,y+Δy)−AveCoefB)×EstB’
・・・(12)
その後、補正量算出部441は、各画素における実測値Valを算出する(ステップS433)。具体的には、補正量算出部441は、参照画素(x+Δx,y+Δy)において、画素値Pix(x+Δx,y+Δy)と、上述した図21のステップS412において算出した画素値の平均値AvePixとの差を実測Val(x+Δx,y+Δy)として算出する。より具体的には、補正量算出部441は、以下の式(13)によって、実測Val(x+Δx,y+Δy)を画素毎に算出する。
Val(x+Δx,y+Δy)=Pix(x+Δx,y+Δy)−AvePix
・・・(13)
続いて、補正量算出部441は、各画素における理論値Idealと実測値Valとの差分絶対値Diffを算出する(ステップS434)。具体的には、補正量算出部441は、参照画素(x+Δx,y+Δy)において、理論値Ideal(x+Δx,y+Δy)と実測値Val(x+Δx,y+Δy)との差分絶対値Diff(x+Δx,y+Δy)を算出する。より具体的には、補正量算出部441は、差分絶対値Diff(x+Δx,y+Δy)を以下の式(14)によって画素毎に算出する。
Diff(x+Δx,y+Δy)
=|Val(x+Δx,y+Δy)−Ideal(x+Δx,y+Δy)|
・・・(14)
なお、補正量算出部441は、差分絶対値Diff(x+Δx,y+Δy)に換えて、式(15)のような差分2乗値をDiff(x+Δx,y+Δy)としてもよい。
Diff(x+Δx,y+Δy)
=(Val(x+Δx,y+Δy)−Ideal(x+Δx,y+Δy))
・・・(15)
その後、補正量算出部441は、差分絶対値Diffの総和値を類似度Sim’として算出する(ステップS435)。具体的には、補正量算出部441は、全参照画素の差分絶対値の総和値を類似度Sim’として算出する。なお、補正量算出部441は、重み付けした総和を類似度Sim’として算出してもよい。この場合、補正量算出部441は、注目画素(x,y)からの各画素の距離に応じて重み付けの係数を変更するようにしてもよい。ステップS435の後、画像処理装置40は、図21の各色成分において類似度による各色成分推定値算出処理へ戻る。
このように、補正量算出部441は、候補値EstR’,EstG’,EstB’における類似度Sim’算出処理において、画素値の分布と理論値の分布の類似度度合いを差分絶対値または差分2乗値の総和を評価値としているが、この評価値を他の方法によって算出してもよい。例えば、補正量算出部441は、NCC(Normalized Cross-Correlation)およびZNCC(Zero-mean Normalized Cross-Correlation)等を用いて評価値を算出してもよい。
図21に戻り、ステップS419以降の説明を続ける。
ステップS419において、Sim’<Simである場合(ステップS419:Yes)、補正量算出部441は、候補値EstR,EstG,EstBを更新(EstR=EstR’,EstG=EstG’,EstB=EstB’)する(ステップS420)。ステップS420の後、画像処理装置40は、ステップS421へ移行する。
ステップS419において、Sim’<Simでない場合(ステップS419:No)、画像処理装置40は、ステップS421へ移行する。
続いて、補正量算出部441は、候補値EstB’をインクリメントする(ステップS421)。この場合、補正量算出部441は、インクリメントする値を1以上とする。
その後、候補値EstB’≦EstBMax(EstBMaxはあらかじめ設定されているBの候補値探索範囲の最大値)である場合(ステップS422:Yes)、画像処理装置40は、上述したステップS418へ戻る。これに対して、候補値EstB’≦EstBMaxでない場合(ステップS422:No)、画像処理装置40は、ステップS423へ移行する。
ステップS423において、補正量算出部441は、候補値EstG’をインクリメントする。この場合、補正量算出部441は、インクリメントする値を1以上とする。
続いて、候補値EstG’≦EstGMax(EstGMaxはあらかじめ設定されているGの候補値探索範囲の最大値)である場合(ステップS424:Yes)、画像処理装置40は、上述したステップS417へ戻る。これに対して、候補値EstB’≦EstGMaxでない場合(ステップS424:No)、画像処理装置40は、ステップS425へ移行する。
ステップS425において、補正量算出部441は、候補値EstR’をインクリメントする。この場合、補正量算出部441は、インクリメントする値を1以上とする。
続いて、候補値EstR’≦EstRMax(EstRMaxはあらかじめ設定されているRの候補値探索範囲の最大値)である場合(ステップS426:Yes)、画像処理装置40は、上述したステップS416へ戻る。これに対して、候補値EstR’≦EstRMaxでない場合(ステップS426:No)、画像処理装置40は、ステップS427へ移行する。
ステップS427において、補正量算出部441は、候補値EstR,EstG,EstBを各色成分推定値として算出する。ステップS427の後、図20の各色成分の補正量算出処理へ戻る。
図20に戻り、ステップS402以降の説明を続ける。
ステップS402において、補正量算出部441は、上述したステップS401において算出した各色成分の推定値に、注目画素(x,y)の色成分の推定値に補正係数を乗じることによって、注目画素(x,y)の画素値に対する各色成分の補正量を算出する。ステップS402の後、画像処理装置40は、図17の各色成分の補正量算出処理へ戻る。
以上説明した本発明の実施の形態4によれば、補正量算出部441が全色成分の推定値を一括で算出するので、R成分、G成分およびB成分が混ざり合った色をなす被写体を撮像した画像データであっても、推定値を算出することができる。
また、本発明の実施の形態4では、補正量算出部441が他の方法によって類似度が最小値をとる推定値を探索してもよい。例えば、補正量算出部441は、網羅的に推定値を振って最小値を探索する方法、周知の山登り方法および局所探索法等を用いてもよい。
(実施の形態5)
次に、本発明の実施の形態5について説明する。本実施の形態5に係る撮像システムは、上述した実施の形態3に係る撮像システム1と同一の構成を有し、画像処理装置が実行する各色成分の補正量算出処理が異なる。具体的には、本実施の形態5では、周辺画素における画素値と参照画素の補正係数と推定値との関係式を画素毎に立てた連立方程式を解くことによって、推定値を算出する。以下においては、本実施の形態5に係る画像処理装置が実行する各色成分の補正量算出処理について説明する。なお、上述した実施の形態3に係る撮像システム1と同一の構成には同一の符号を付して説明を省略する。
〔各色成分の補正量算出処理の概要〕
図23は、本実施の形態5に係る画像処理装置40が実行する各色成分の補正量算出処理の概要を示すフローチャートである。
図23に示すように、まず、補正量算出部441は、注目画素(x,y)と同色成分において平均による推定値を算出する処理を実行する(ステップS441)。
続いて、補正量算出部441は、連立方程式による異色成分の推定値を算出する連立方程式による異色成分推定値算出処理を実行する(ステップS442)。
〔連立方程式による異色成分推定値算出処理〕
図24は、図23のステップS422の連立方程式による異色成分推定値算出処理の概要を示すフローチャートである。
図24に示すように、まず、補正量算出部441は、注目画素(x,y)の周辺の注目画素(x,y)と同色画素の異色成分補正係数の平均値AveCoefC1および平均値AveCoefC2を算出する(ステップS451)。
続いて、補正量算出部441は、注目画素(x,y)の周辺の注目画素(x,y)と同色画素の画素値の平均値AvePixを算出する(ステップS452)。この場合、補正量算出部441は、参照画素の画素値から画素値の平均値AvePixを算出することが望ましい。このとき、補正量算出部441は、平均値以外に統計値を算出してもよい。例えば、補正量算出部441は、重み付け平均値および中央値等を算出してもよい。
その後、補正量算出部441は、各画素における補正係数の平均値からの差ΔCoefC1,ΔCoefC2を算出する(ステップS453)。具体的には、補正量算出部441は、参照画素(x+Δx,y+Δy)において、C1成分の補正係数CoefC1(x+Δx,y+Δy)およびC2成分の補正係数CoefC2(x+Δx,y+Δy)と、上述したステップS451において算出したC1,C2成分の補正係数の平均値AveCoefC1,AveCoefC2の差ΔCoefC1(x+Δx,y+Δy),ΔCoefC2(x+Δx,y+Δy)を画素毎に算出する。具体的には、補正量算出部441は、以下の式(16)および式(17)によって、各画素における補正係数の平均値からの差ΔCoefC1(x+Δx,y+Δy),ΔCoefC2(x+Δx,y+Δy)を画素毎に算出する。
ΔCoefC1(x+Δx,y+Δy)
=CoefC1(x+Δx,y+Δy)−AveCoefC1
・・・(16)
ΔCoefC2(x+Δx,y+Δy)
=CoefC2(x+Δx,y+Δy)−AveCoefC2
・・・(17)
続いて、補正量算出部441は、各画素における画素値の平均値からの差ΔValを算出する(ステップS454)。具体的には、補正量算出部441は、参照画素(x+Δx,y+Δy)において、画素値Pix(x+Δx,y+Δy)と、上述したステップS452において算出した画素値の平均値AvePixの差ΔVal(x+Δx,y+Δy)を画素毎に算出する。より具体的には、補正量算出部441は、以下の式(18)によって、差ΔVal(x+Δx,y+Δy)を算出する。
ΔVal(x+Δx,y+Δy)=Pix(x+Δx,y+Δy)−AvePix
・・・(18)
その後、補正量算出部441は、連立方程式から候補値EstC1’,EstC2’を算出する(ステップS455)。具体的には、補正量算出部441は、参照画素の中から2つの画素(x+Δx1,y+Δy1),画素(x+Δx2,y+Δy2)を抽出し、抽出した画素において、以下の連立方程式(19),(20)を解くことによって候補値EstC1’,EstC2’を算出する。
ΔVal(x+Δx1,y+Δy1)=
ΔCoefC1(x+Δx1,y+Δy1)×EstC1’
+ΔCoefC2(x+Δx1,y+Δy1)×EstC2’
・・・(19)
ΔVa2(x+Δx2,y+Δy2)=
ΔCoefC1(x+Δx2,y+Δy2)×EstC1’
+ΔCoefC2(x+Δx2,y+Δy2)×EstC2’
・・・(20)
補正量算出部441は、上述した算出を以下の方法で抽出した2画素に対して実行し、それぞれにおける候補値EstC1’,EstC2’を算出する。具体的には、補正量算出部441は、参照画素から2画素をとる全ての組み合わせにおいて実行する。
また、補正量算出部441は、代表とする参照画素から2画素をとる全ての組み合わせにおいて実行してもよい。例えば、補正量算出部441は、補正係数の絶対値が大きい方からk個までの画素を代表とする。この場合、補正量算出部441は、補正係数の絶対値が小さいk個選ぶときと、補正係数の絶対値が大きいk個選んだときでは、k個の誤差の割合は、補正係数の絶対値が大きい方が小さくなるため、得られる推定値の精度が高くなる。
さらに、補正量算出部441は、補正係数の値が類似する画素から2画素をとる全てにおいて実行してもよい。
ステップS456において、補正量算出部441は、ステップS455で算出した複数の候補値EstC1’,EstC2’を用い、それらの平均値を推定値EstC1,EstC2として算出する。なお、補正量算出部441は、平均値以外にも、重み付け平均値や中央値等の他の統計値によって算出した値を推定値EstC1,EstC2として算出してもよい。また、補正量算出部441は、補正係数の数が類似する2画素を算出した候補値の平均値を算出した値を推定値Estとして算出してもよい。これにより、ランダムノイズによる画素値のばらつきの影響を低減させることができる。
図23に戻り、ステップS443以降の説明を続ける。
ステップS443において、補正量算出部441は、上述したステップS442において算出した各色成分の推定値に、注目画素(x,y)の各色成分の推定値に補正係数を乗じることによって、注目画素(x,y)の画素値に対する各色成分の補正量を算出する。ステップS443の後、画像処理装置40は、図17の各色成分の補正量算出処理へ戻る。
以上説明した本発明の実施の形態5によれば、補正量算出部441が周辺同色画素における画素値と周辺同色画素の補正係数と推定値との関係式を画素毎に立てた連立方程式を解くことによって、推定値を算出することができる。
なお、本発明の実施の形態5では、2つの成分の連立方程式を解くことによって、推定値を算出していたが、R成分、G成分およびB成分の3つの成分の連立方程式を解くことによって、推定値を算出してもよい。
(実施の形態6)
次に、本発明の実施の形態6について説明する。本実施の形態6に係る撮像システムは、上述した実施の形態3に係る撮像システム1と同一の構成を有し、画像処理装置が実行する各色成分の補正量算出処理が異なる。以下においては、本実施の形態6に係る画像処理装置が実行する各色成分の補正量算出処理について説明する。
〔各色成分の補正量算出処理〕
図25は、本実施の形態6に係る画像処理装置40が実行する各色成分の補正量算出処理の概要を示すフローチャートである。図25において、ステップS461、ステップS463は、上述した図23のステップS441およびステップS443それぞれに対応する。
ステップS462において、補正量算出部441は、画素値と補正係数の比による異色成分推定値算出処理を実行する。
〔画素値と補正係数の比による異色成分推定値算出処理〕
図26は、図25のステップS462において説明した画素値と補正係数の比による異色成分推定値算出処理の概要を示すフローチャートである。
図26に示すように、まず、補正量算出部441は、注目画素(x,y)の周辺の注目画素(x,y)と同色画素の異色成分補正係数の平均値AveCoefC1および平均値AveCoefC2を算出する(ステップS471)。
続いて、補正量算出部441は、注目画素(x,y)の周辺の注目画素(x,y)と同色画素の画素値の平均値AvePixを算出する(ステップS472)。この場合、補正量算出部441は、参照画素の画素値から画素値の平均値AvePixを算出することが望ましい。このとき、補正量算出部441は、平均値以外に統計値を算出してもよい。例えば、補正量算出部441は、重み付け平均値および中央値等を算出してもよい。
その後、補正量算出部441は、各画素における補正係数の平均値からの差ΔCoefC1,ΔCoefC2を算出する(ステップS473)。具体的には、補正量算出部441は、参照画素(x+Δx,y+Δy)において、C1成分の補正係数CoefC1(x+Δx,y+Δy)およびC2成分の補正係数CoefC2(x+Δx,y+Δy)と、ステップS471において算出した異色成分補正係数の平均値AveCoefC1およびAveCoefC2との差ΔCoefC1,ΔCoefC2を画素毎に算出する。より具体的には、補正量算出部441は、以下の式(21)および(22)によって、ΔCoefC1,ΔCoefC2を画素毎に算出する。
ΔCoefC1(x+Δx,y+Δy)
=CoefC1(x+Δx,y+Δy)−AveCoefC1
・・・(21)
ΔCoefC2(x+Δx,y+Δy)
=CoefC2(x+Δx,y+Δy)−AveCoefC2
・・・(22)
続いて、補正量算出部441は、各画素における画素値の平均値からの差ΔValを算出する(ステップS474)。具体的には、補正量算出部441は、参照画素(x+Δx,y+Δy)において、画素値Pix(x+Δx,y+Δy)と、上述したステップS472において算出した画素値の平均値AvePixの差ΔVal(x+Δx,y+Δy)を画素毎に算出する。より具体的には、補正量算出部441は、以下の式(23)によって、ΔVal(x+Δx,y+Δy)を算出する。
ΔVal(x+Δx,y+Δy)
=Pix(x+Δx,y+Δy)−AvePix
・・・(23)
その後、補正量算出部441は、注目画素(x,y)の近傍のC1,C2と同色画素の画素値の比ValC2/ValC1を算出する(ステップS475)。具体的には、補正量算出部441は、注目画素(x,y)の近傍にあるC1成分,C2成分と同色画素の画素値をValC1,ValC2とし、それらの比ValC2/ValC1を算出する。なお、補正量算出部441は、注目画素(x,y)を中心に、M×N画素の範囲内にあるC1,C2と同色画素の画素値平均値をValC1,ValC2としてもよい。また、補正量算出部441は、近傍にある画素が飽和している場合、C1とC2の画素値の比が算出できる最も注目画素に近い画素の領域において画素値ValC1,ValC2を算出してもよい。
図27は、注目画素(x,y)近傍の異色画素が飽和した場合の比Ratioの算出領域を模式的に示す図である。図27において、横軸がx座標を示し、縦軸が画素値を示す。また、図27において、曲線L10がR画素の画素値を示し、曲線L11がB画素の画素値を示す。さらに、図27において、斜線領域W1が飽和している領域を示す。
図27に示すように、斜線領域W1は、画素C1および画素C2のいずれも飽和しているため、比ValC2/ValC1を正しく算出することができない。このため、補正量算出部441は、C1とC2の画素値の比が算出できる最も注目画素に近い画素の領域において画素値ValC1,ValC2を算出する。
図26に戻り、ステップS476以降の説明を続ける。
ステップS476において、補正量算出部441は、各画素におけるC1成分の候補値EstC1’を算出する。具体的には、補正量算出部441は、以下の式(24)によって、候補値EstC1’を画素毎に算出する。
Figure 2017068702
なお、補正量算出部441は、上式の分母が0の場合、EstC1’ (x+Δx,y+Δy)=0とするか、または、その画素(x+Δx,y+Δy)の処理を除外する。画素の処理を除外するとき、補正量算出部441は、次の平均値算出処理でも、同様にその画素を除外して算出する。
その後、補正量算出部441は、候補値EstC1’の平均値を推定値EstC1として算出する(ステップS477)。具体的には、補正量算出部441は、上述したステップS476において算出した全画素の候補値EstC1’の平均値を推定値EstC1として算出する。この場合、補正量算出部441は、単純な平均値以外にも、重み付け平均値や中央値等の他の統計値によって求められた値を推定値EstC1として算出してもよい。なお、補正量算出部441は、ステップS477の処理を行う前に、EstC1を0に初期化しているものとする。
続いて、補正量算出部441は、推定値EstC2を算出する(ステップS478)。具体的には、補正量算出部441は、上述したステップS477において算出した推定値EstC1とステップS475において算出した比ValC2/ValC1を用いて、推定値EstC2を算出する。より具体的には、補正量算出部441は、以下の式(25)によって、推定値EstC2を算出する。
EstC2=EstC1×(ValC2/ValC1) ・・・(25)
ステップS478の後、画像処理装置40は、図25の各色成分の補正量算出処理へ戻る。
以上説明した本発明の実施の形態6によれば、画素値が飽和していない周辺画素における各画素の画素値と周辺同色画素における各画素の補正係数の比とに基づいて、推定値を算出することができる。
なお、本発明の実施の形態6では、画素値が飽和していない周辺画素における各画素の画素値と周辺同色画素における各画素の補正係数の比とに基づいて、推定値を算出していたが、例えば、この方法を用いて上述した実施の形態1,3等において類似度の最小値を探索してもよい。
(その他の実施の形態)
本発明の実施の形態に係るカラーフィルタは、Rフィルタ、GフィルタおよびBフィルタで構成されたベイヤー配列のカラーフィルタであったが、他のカラーフィルタであっても本発明を適用することができる。例えば、本発明では、上述した実施の形態に係るカラーフィルタのRフィルタに換えて、補色のMg(マゼンタ)フィルタ、GフィルタおよびBフィルタによって構成されたカラーフィルタであってもよい。また、本発明では、Cy(シアン)フィルタ、MgフィルタおよびYe(イエロー)フィルタを用いた補色フィルタのカラーフィルタであってもよい。このようなカラーフィルタを用いる場合、周知の補色から原色に補間する補間方法によって行えばよい。
また、本発明の実施の形態では、1つの撮像素子に互いに異なる分光透過率を有する複数のカラーフィルタを設けていたが、例えば緑色の波長領域を透過するGフィルタのみを各画素の受光面または、撮像素子全面に設けた撮像素子と、赤色または青色の波長領域を透過するRフィルタおよびBフィルタを市松模様になるように互い違いに各画素の受光面に設けた撮像素子とを用いる2板式や、Rフィルタのみ、Gフィルタのみ、Bフィルタのみをそれぞれ設けた撮像素子を用いる3板式の撮像装置であっても本発明を適用することができる。この場合、一方の撮像素子におけるG画素の補正係数を算出する場合、該G画素の座標に対応する他方の撮像素子のR画素またはB画素の画素値を用いることによって本発明の補正量を算出することができる。
本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、本発明の説明に用いた撮像システム以外にも、携帯電話やスマートフォンにおける撮像素子を備えた携帯機器、ビデオカメラ、内視鏡、監視カメラ、顕微鏡のような光学機器を通して被写体を撮影する撮像装置等、被写体を撮像可能ないずれの機器に、本発明の画像処理装置を画像処理エンジンとして搭載させてもよい。
また、本明細書において、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」、「続いて」、「その後」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
また、上述した実施形態における画像処理装置による各処理の手法、即ち、各フローチャートに示す処理は、いずれもCPU等の制御部に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード(ROMカード、RAMカード等)、磁気ディスク(フレキシブルディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、CPU等の制御部は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
また、本発明は、上述した実施の形態および変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上述した実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態および変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、各実施例および変形例で説明した構成要素を適宜組み合わせてもよい。
また、明細書または図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書または図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
1 撮像システム
10 撮像装置
40 画像処理装置
41 第2外部I/F部
42 第2記録部
43,114 バス
44 分光感度ばらつき補正部
45 画像処理部
50 表示装置
101 光学系
102 絞り
103 シャッタ
104 ドライバ
105 撮像素子
106 カラーフィルタ
107 アナログ処理部
108 A/D変換部
109 第1操作部
110 メモリI/F部
111 記録媒体
112 揮発メモリ
113 不揮発メモリ
113a プログラム記録部
113b 補正係数記録部
115 撮像制御部
116 第1外部I/F部
421 第2プログラム記録部
422 第2バッファ部
441 補正量算出部
442 画素値補正部

Claims (13)

  1. 互いに異なる分光透過率を有する複数色のカラーフィルタを用いて所定の配列パターンを形成し、個々のカラーフィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データと、注目画素において分光感度と予め設定した基準分光感度との所定波長域における差に対応する画素値の差分を補正するための補正係数を画素毎に記録する記録部から前記補正係数と、を取得する取得部と、
    前記注目画素の周辺における周辺同色画素であって、前記注目画素に配置されたカラーフィルタの色と同色のカラーフィルタが配置された周辺同色画素における各画素の画素値と前記補正係数とを用いて前記注目画素における補正対象の色成分の推定値を算出し、該推定値と前記注目画素の前記補正係数とに基づいて、前記注目画素の画素値の補正量を算出する補正量算出部と、
    前記補正量算出部が算出した前記補正量に基づいて、前記注目画素の画素値を補正する画素値補正部と、
    を備えたことを特徴とする画像処理装置。
  2. 前記補正量算出部は、候補値と前記周辺同色画素における各画素の前記補正係数に基づいて算出された前記周辺同色画素における画素値の理論値と前記周辺同色画素における画素値の実測値から類似度を算出し、類似度が高い前記候補値を、前記推定値として算出することを特徴とする請求項1に記載の画像処理装置。
  3. 前記理論値は、前記候補値と前記周辺同色画素における各画素の前記補正係数との積であることを特徴とする請求項2に記載の画像処理装置。
  4. 前記類似度は、前記周辺同色画素における各画素の前記理論値と前記実測値との差に基づく値であることを特徴とする請求項2または3に記載の画像処理装置。
  5. 前記補正量算出部は、前記周辺同色画素における各画素の画素値を前記補正係数によって除算し、この除算した値に基づいて、前記推定値を算出することを特徴とする請求項1に記載の画像処理装置。
  6. 前記補正量算出部は、前記周辺同色画素における各画素の画素値を前記補正係数によって除算して得られる値の統計値を、前記推定値として算出することを特徴とする請求項5に記載の画像処理装置。
  7. 前記補正量算出部は、前記周辺同色画素において、前記周辺同色画素における画素値と前記補正係数と前記推定値との関係式を画素毎に立てた連立方程式を解くことによって、前記推定値を算出することを特徴とする請求項1に記載の画像処理装置。
  8. 前記補正量算出部は、前記周辺同色画素のうち複数の画素の各々を組み合わせて算出した前記推定値の統計値を、前記推定値として算出することを特徴とする請求項7に記載の画像処理装置。
  9. 前記補正量算出部は、前記注目画素の周囲において、画素値が飽和していない周辺画素における各画素の画素値と前記周辺同色画素における各画素の前記補正係数の比とに基づいて、前記推定値を算出することを特徴とする請求項1に記載の画像処理装置。
  10. 前記画素値補正部は、前記注目画素の補正後の画素値が、前記周辺同色画素における各画素の画素値の平均値から前記注目画素の画素値までの間に入るよう、前記補正量を用いて前記注目画素の画素値を補正することを特徴とする請求項1〜9のいずれか一つに記載の画像処理装置。
  11. 前記画素値補正部は、前記注目画素の画素値から前記補正量を減算した値と前記周辺同色画素の画素値の平均値との差が所定値より大きい場合、前記注目画素の画素値から前記補正量を減算しないことを特徴とする請求項1〜10のいずれか一つに記載の画像処理装置。
  12. 互いに異なる分光透過率を有する複数色のカラーフィルタを用いて所定の配列パターンを形成し、個々のカラーフィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データと、注目画素において分光感度と予め設定した基準分光感度との所定波長域における差に対応する画素値の差分を補正するための補正係数を画素毎に記録する記録部から前記補正係数と、を取得する取得ステップと、
    前記注目画素の周辺における周辺同色画素であって、前記注目画素に配置されたカラーフィルタの色と同色のカラーフィルタが配置された周辺同色画素における各画素の画素値と前記補正係数とを用いて前記注目画素における補正対象の色成分の推定値を算出する算出ステップと、
    前記算出ステップにおいて算出した前記推定値と前記注目画素の前記補正係数とに基づいて、前記注目画素の画素値の補正量を算出する補正量算出ステップと、
    前記補正量算出ステップにおいて算出した前記補正量に基づいて、前記注目画素の画素値を補正する画素値補正ステップと、
    を含むことを特徴とする画像処理方法。
  13. 互いに異なる分光透過率を有する複数色のカラーフィルタを用いて所定の配列パターンを形成し、個々のカラーフィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データと、注目画素において分光感度と予め設定した基準分光感度との所定波長域における差に対応する画素値の差分を補正するための補正係数を画素毎に記録する記録部から前記補正係数と、を取得する取得ステップと、
    前記注目画素の周辺における周辺同色画素であって、前記注目画素に配置されたカラーフィルタの色と同色のカラーフィルタが配置された周辺同色画素における各画素の画素値と前記補正係数とを用いて前記注目画素における補正対象の色成分の推定値を算出する算出ステップと、
    前記算出ステップにおいて算出した前記推定値と前記注目画素の前記補正係数とに基づいて、前記注目画素の画素値の補正量を算出する補正量算出ステップと、
    前記補正量算出ステップにおいて算出した前記補正量に基づいて、前記注目画素の画素値を補正する画素値補正ステップと、
    を画像処理装置に実行させることを特徴とするプログラム。
JP2017546358A 2015-10-22 2015-10-22 画像処理装置、画像処理方法およびプログラム Active JP6670844B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/079896 WO2017068702A1 (ja) 2015-10-22 2015-10-22 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2017068702A1 true JPWO2017068702A1 (ja) 2018-08-09
JP6670844B2 JP6670844B2 (ja) 2020-03-25

Family

ID=58556766

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017546358A Active JP6670844B2 (ja) 2015-10-22 2015-10-22 画像処理装置、画像処理方法およびプログラム

Country Status (5)

Country Link
US (1) US10531029B2 (ja)
EP (1) EP3367679A4 (ja)
JP (1) JP6670844B2 (ja)
CN (1) CN108141573A (ja)
WO (1) WO2017068702A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019069414A1 (ja) * 2017-10-04 2019-04-11 オリンパス株式会社 内視鏡装置、画像処理方法およびプログラム
JP7308609B2 (ja) * 2018-11-27 2023-07-14 キヤノン株式会社 放射線撮像装置、放射線撮像システム、放射線撮像装置の制御方法、および、プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007010364A (ja) * 2005-06-28 2007-01-18 Konica Minolta Sensing Inc 分光装置の波長校正方法及び分光装置
JP2010193378A (ja) * 2009-02-20 2010-09-02 Nikon Corp 調整装置及び調整方法、並びに撮像装置
JP2010190741A (ja) * 2009-02-18 2010-09-02 Nikon Corp 測定装置、測定方法および撮像装置
JP2013183282A (ja) * 2012-03-01 2013-09-12 Sony Corp 欠陥画素補正装置、および、その制御方法ならびに当該方法をコンピュータに実行させるためのプログラム
JP2015070348A (ja) * 2013-09-27 2015-04-13 池上通信機株式会社 色むら補正方法及び色むら補正処理部を有した撮像装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3587433B2 (ja) * 1998-09-08 2004-11-10 シャープ株式会社 固体撮像素子の画素欠陥検出装置
TW200632856A (en) * 2005-03-09 2006-09-16 Sunplus Technology Co Ltd System and method for color signal interpolation
JP4754939B2 (ja) * 2005-11-01 2011-08-24 オリンパス株式会社 画像処理装置
JP2007189589A (ja) * 2006-01-16 2007-07-26 Sony Corp 情報処理装置および情報処理方法、学習装置および学習方法、並びにプログラム
JP5464982B2 (ja) * 2009-11-20 2014-04-09 キヤノン株式会社 撮像装置および画像処理方法
JP5672776B2 (ja) * 2010-06-02 2015-02-18 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US9160937B2 (en) * 2011-08-30 2015-10-13 Sharp Kabushika Kaisha Signal processing apparatus and signal processing method, solid-state imaging apparatus, electronic information device, signal processing program, and computer readable storage medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007010364A (ja) * 2005-06-28 2007-01-18 Konica Minolta Sensing Inc 分光装置の波長校正方法及び分光装置
JP2010190741A (ja) * 2009-02-18 2010-09-02 Nikon Corp 測定装置、測定方法および撮像装置
JP2010193378A (ja) * 2009-02-20 2010-09-02 Nikon Corp 調整装置及び調整方法、並びに撮像装置
JP2013183282A (ja) * 2012-03-01 2013-09-12 Sony Corp 欠陥画素補正装置、および、その制御方法ならびに当該方法をコンピュータに実行させるためのプログラム
JP2015070348A (ja) * 2013-09-27 2015-04-13 池上通信機株式会社 色むら補正方法及び色むら補正処理部を有した撮像装置

Also Published As

Publication number Publication date
US10531029B2 (en) 2020-01-07
EP3367679A1 (en) 2018-08-29
WO2017068702A1 (ja) 2017-04-27
CN108141573A (zh) 2018-06-08
JP6670844B2 (ja) 2020-03-25
US20180234650A1 (en) 2018-08-16
EP3367679A4 (en) 2019-06-05

Similar Documents

Publication Publication Date Title
US8754957B2 (en) Image processing apparatus and method
JP5147994B2 (ja) 画像処理装置およびそれを用いた撮像装置
US10630920B2 (en) Image processing apparatus
WO2017119134A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP6227084B2 (ja) 画像処理装置、撮像装置及び画像処理方法
US8284278B2 (en) Image processing apparatus, imaging apparatus, method of correction coefficient calculation, and storage medium storing image processing program
US11228701B2 (en) Image capturing apparatus
JP5464982B2 (ja) 撮像装置および画像処理方法
US10270991B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
US8441543B2 (en) Image processing apparatus, image processing method, and computer program
US20190174081A1 (en) Image processing apparatus, image processing method, and non-transitory computer readable recording medium
JP2015194736A (ja) 撮像装置およびその制御方法
JP6670844B2 (ja) 画像処理装置、画像処理方法およびプログラム
US10104323B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP2011013857A (ja) 画像処理装置
JP2015087543A (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
CN108496360B (zh) 图像处理装置、图像处理方法和记录了程序的介质
US10791289B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable recording medium
JP6727973B2 (ja) 画像処理装置及びその制御方法
JP6856999B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2011217274A (ja) 画像回復装置、画像回復方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200302

R151 Written notification of patent or utility model registration

Ref document number: 6670844

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250