JPWO2016143134A1 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JPWO2016143134A1
JPWO2016143134A1 JP2017504536A JP2017504536A JPWO2016143134A1 JP WO2016143134 A1 JPWO2016143134 A1 JP WO2016143134A1 JP 2017504536 A JP2017504536 A JP 2017504536A JP 2017504536 A JP2017504536 A JP 2017504536A JP WO2016143134 A1 JPWO2016143134 A1 JP WO2016143134A1
Authority
JP
Japan
Prior art keywords
pixel
correction amount
image processing
target pixel
correction coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017504536A
Other languages
English (en)
Other versions
JP6538818B2 (ja
Inventor
学 市川
学 市川
裕輝 丸山
裕輝 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2016143134A1 publication Critical patent/JPWO2016143134A1/ja
Application granted granted Critical
Publication of JP6538818B2 publication Critical patent/JP6538818B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/027Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/52Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
    • G01J3/524Calibration of colorimeters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6033Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis
    • H04N1/6041Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis for controlling uniformity of color across image area
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85Camera processing pipelines; Components thereof for processing colour signals for matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

撮像素子を構成する複数の画素それぞれの分光感度のばらつきを補正することができる画像処理装置、画像処理方法およびプログラムを提供する。第2画像処理装置40は、補正係数記録部113bが記録する注目画素における補正係数と注目画素における周囲の画素の画素値とに基づいて、注目画素の画素値を補正するための補正量を算出する補正量算出部404と、補正量算出部404が算出した補正量を用いて注目画素の画素値を補正する画素値補正部405と、を備える。

Description

本発明は、撮像素子を構成する複数の画素の各々に設けられたカラーフィルタの分光感度特性を補正する画像処理装置、画像処理方法およびプログラムに関する。
従来、デジタルカメラ等の撮像装置において、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子の受光面に設けられたカラーフィルタの分光透過率のばらつきによる画素の分光感度のばらつきを撮像素子毎に調整する技術が知られている(特許文献1参照)。この技術では、プリズムでスペクトル分光された可視光を撮像素子で光電変換することによってR(赤)、G(緑)およびB(青)の各々の色成分の組み合わせからなる画像データから波長毎にR、GおよびBそれぞれの値を算出し、この算出したR、GおよびBそれぞれの値と予め波長毎に算出された基準値との差分の各々が小さくなるように、R、GおよびBそれぞれの値に乗じる係数を算出する。
特開2010−193378号公報
ところで、撮像素子の微細化にともなって、撮像素子を構成する複数の画素の各々に配置されるカラーフィルタも小さくなり、撮像素子の製造段階で生じる画素ごとのカラーフィルタの分光透過率のばらつきも増加する。このため、上述した特許文献1のように、撮像素子毎に分光感度特性のばらつきを調整しても、画素毎に分光感度のばらつきが生じる。この結果、上述した特許文献1では、画素毎に画素値の出力結果が変化してしまうという問題点があった。さらに、上述した特許文献1では、1つの画素に注目した場合、波長に応じて分光感度のばらつき度合いが異なるため、受光する光の波長によって画素値のばらつき度合いも変化してしまうという問題があった。
本発明は、上記に鑑みてなされたものであって、撮像素子を構成する複数の画素それぞれの分光感度のばらつきを補正することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、互いに異なる分光透過率を有する複数色のカラーフィルタを用いて所定の配列パターンを形成し、該配列パターンを形成する個々のカラーフィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データに基づいて、注目画素において分光感度と予め設定した基準分光感度との所定波長域における差に対応する画素値の差分を補正するための補正係数を前記複数の画素毎に記録する記録部と、前記記録部が記録する前記注目画素における前記補正係数と前記注目画素における周囲の画素の画素値とに基づいて、前記注目画素の画素値を補正するための補正量を算出する補正量算出部と、前記補正量算出部が算出した前記補正量を用いて前記注目画素の画素値を補正する画素値補正部と、を備えたことを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記補正量算出部は、前記注目画素と異なる色の前記カラーフィルタを有する前記周囲の画素の画素値に基づいて、前記補正量を算出することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記補正量算出部は、前記注目画素と同色の前記カラーフィルタを有する前記周囲の画素の画素値に基づいて、前記補正量を算出することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記周囲の画素は、前記注目画素に上下左右に隣接する画素、前記注目画素の斜め方向に近接する画素および前記注目画素から所定の画素間だけ離れた上下左右の画素のいずれかであることを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記補正量算出部は、所定の色の前記カラーフィルタが配置された前記注目画素の前記補正量のみを算出することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記記録部は、互いに異なる波長領域の光を照射する光源毎に前記補正係数を記録し、前記補正量算出部は、前記光源に応じて前記補正係数を選択し、該選択した前記補正係数を用いて前記補正量を算出することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記画素値補正部は、前記注目画素の画素値に前記補正量算出部によって算出された前記補正量を加算または減算することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記画素値補正部は、前記撮像素子が連続的に生成する動画データにおける前記注目画素の画素値を、前記補正量を用いて補正することを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記撮像素子によって生成された画像データに基づいて、前記注目画素において分光感度と予め設定した基準分光感度との差に対応する画素値の差分を補正するための補正係数を前記複数の画素毎に算出する補正係数算出部をさらに備えたことを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記カラーフィルタの色は、赤、緑および青であることを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記カラーフィルタの色は、シアン、マゼンタ、イエローおよび緑であることを特徴とする。
また、本発明に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、互いに異なる分光透過率を有する複数色のカラーフィルタを用いて所定の配列パターンを形成し、該配列パターンを形成する個々のカラーフィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データと、注目画素において分光感度と予め設定した基準分光感度との所定波長域における差による画素値の差分を補正するための補正係数と、を取得する取得ステップと、前記取得ステップにおいて取得した前記注目画素の前記補正係数と前記注目画素における周囲の画素の画素値とに基づいて、前記注目画素の画素値を補正するための補正量を算出する補正量算出ステップと、前記補正量算出ステップにおいて算出した前記補正量を用いて前記注目画素の画素値を補正する画素値補正ステップと、を含むことを特徴とする。
また、本発明に係るプログラムは、互いに異なる分光透過率を有する複数色のカラーフィルタを用いて所定の配列パターンを形成し、該配列パターンを形成する個々のカラーフィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データと、注目画素において分光感度と予め設定した基準分光感度との所定波長域における差による画素値の差分を補正するための補正係数と、を取得する取得ステップと、前記取得ステップにおいて取得した前記注目画素の前記補正係数と前記注目画素における周囲の画素の画素値とに基づいて、前記注目画素の画素値を補正するための補正量を算出する補正量算出ステップと、前記補正量算出ステップにおいて算出した前記補正量を用いて前記注目画素の画素値を補正する画素値補正ステップと、を画像処理装置に実行させることを特徴とする。
本発明によれば、撮像素子を構成する複数の画素それぞれの分光感度のばらつきを補正することができるという効果を奏する。
図1は、本発明の実施の形態1に係る撮像システムの構成を模式的に示すブロック図である。 図2は、本発明の実施の形態1に係るカラーフィルタの構成を模式的に示す図である。 図3は、本発明の実施の形態1に係る撮像素子を構成するR画素、G画素およびB画素それぞれの分光感度特性の平均を示す図である。 図4は、本発明の実施の形態1に係る撮像素子を構成するR画素の分光感度特性を示す図である。 図5は、本発明の実施の形態1に係る撮像素子を構成するG画素の分光感度特性を示す図である。 図6は、本発明の実施の形態1に係る撮像素子を構成するB画素の分光感度特性を示す図である。 図7は、本発明の実施の形態1に係る撮像素子が平坦な赤色の被写体を撮影した場合における撮像素子を構成する複数のG画素それぞれの画素値を模式的に示す図である。 図8は、本発明の実施の形態1に係る第1画像処理装置が実行する処理の概要を示すフローチャートである。 図9は、図8の撮影処理の概要を示すフローチャートである。 図10は、図8の補正係数算出処理の概要を示すフローチャートである。 図11は、通常光を用いた場合における補正係数算出時の分光特性を模式的に示す図である。 図12は、狭帯域光を用いた場合における補正係数算出時の分光特性を模式的に示す図である。 図13は、本発明の実施の形態1に係る第2画像処理装置が実行する処理の概要を示すフローチャートである。 図14は、図13の補正量算出処理の概要を示すフローチャートである。 図15は、図14のR成分補正量算出処理の概要を示すフローチャートである。 図16Aは、注目画素がB画素の場合にR成分を推定する補間方法を模式的に説明する図である。 図16Bは、注目画素がG画素の場合にR成分を推定する補間方法を模式的に説明する図である。 図16Cは、注目画素がG画素の場合にR成分を推定する補間方法を模式的に説明する図である。 図16Dは、注目画素がR画素の場合にR成分を推定する補間方法を模式的に説明する図である。 図17は、図14のG成分補正量算出処理の概要を示すフローチャートである。 図18Aは、注目画素がR画素の場合にG成分を推定する補間方法を模式的に説明する図である。 図18Bは、注目画素がB画素の場合にG成分を推定する補間方法を模式的に説明する図である。 図18Cは、注目画素がG画素の場合にG成分を推定する補間方法を模式的に説明する図である。 図18Dは、注目画素がG画素の場合にG成分を推定する補間方法を模式的に説明する図である。 図19は、図14のB成分補正量算出処理の概要を示すフローチャートである。 図20Aは、注目画素がG画素の場合にB成分を推定する補間方法を模式的に説明する図である。 図20Bは、注目画素がG画素の場合にB成分を推定する補間方法を模式的に説明する図である。 図20Cは、注目画素がR画素の場合にB成分を推定する補間方法を模式的に説明する図である。 図20Dは、注目画素がB画素の場合にB成分を推定する補間方法を模式的に説明する図である。 図21は、本発明の実施の形態2に係る第1画像処理装置が実行する処理の概要を示すフローチャートである。 図22は、本発明の実施の形態2に係る第1画像処理装置が実行する補正係数算出時における赤色被写体の分光特性を模式的に示す図である。 図23は、本発明の実施の形態2に係る第1画像処理装置が実行する補正係数算出時における緑色被写体の分光特性を模式的に示す図である。 図24は、本発明の実施の形態2に係る第1画像処理装置が実行する補正係数算出時における青色被写体の分光特性を模式的に示す図である。 図25Aは、注目画素がG画素の場合におけるR成分の補正係数算出を模式的に説明する図である。 図25Bは、注目画素がG画素の場合におけるB成分の補正係数算出を模式的に説明する図である。 図26は、本発明の実施の形態3に係る撮像装置の構成を模式的に示すブロック図である。 図27は、本発明の実施の形態1〜3の変形例1に係るカラーフィルタの構成を模式的に示す図である。 図28は、本発明の実施の形態1〜3の変形例2に係るカラーフィルタの構成を模式的に示す図である。 図29は、本発明の実施の形態1〜3の変形例3に係るカラーフィルタの構成を模式的に示す図である。
以下、図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。
(実施の形態1)
〔撮像システムの構成〕
図1は、本発明の実施の形態1に係る撮像システムの構成を模式的に示すブロック図である。図1に示す撮像システム1は、後述の補正係数を算出する場合には外部からの光が遮光された遮光空間が形成された筐体100内に配置される。また、図1に示す撮像システム1は、通常撮影を行う場合には、筐体100外に配置される。撮像システム1は、撮像装置10と、光源装置20(被写体)と、第1画像処理装置30と、第2画像処理装置40と、表示装置50と、を備える。なお、第1画像処理装置30、第2画像処理装置40および表示装置50は、後述の補正係数を算出する場合においても、筐体100の外部に配置されていてもよい。
〔撮像装置の構成〕
まず、撮像装置10の構成について説明する。撮像装置10は、光学系101と、絞り102と、シャッタ103と、ドライバ104と、撮像素子105と、カラーフィルタ106と、アナログ処理部107と、A/D変換部108と、第1操作部109と、メモリI/F部110と、記録媒体111と、揮発メモリ112と、不揮発メモリ113と、バス114と、撮像制御部115と、第1外部I/F部116と、を備える。
光学系101は、単数または複数のレンズを用いて構成される。光学系101は、例えばフォーカスレンズとズームレンズとを用いて構成される。
絞り102は、光学系101が集光した光の入射量を制限することで露出の調整を行う。絞り102は、撮像制御部115の制御のもと、光学系101が集光した光の入射量を制限する。絞り102を用いずに、シャッタ103や撮像素子105における電子シャッタを用いて光の入射量を制御するようにしてもよい。
シャッタ103は、撮像制御部115の制御のもと、撮像素子105の状態を露光状態または遮光状態に設定する。シャッタ103は、例えばフォーカルプレーンシャッタ等を用いて構成される。シャッタ103を用いずに、撮像素子105における電子シャッタを用いてもよい。
ドライバ104は、後述する撮像制御部115の制御のもと、光学系101、絞り102およびシャッタ103を駆動する。例えば、ドライバ104は、光学系101を光軸O1に沿って移動させることによって、撮像装置10のズーム倍率の変更またはピント位置の調整を行う。
撮像素子105は、後述する撮像制御部115の制御のもと、光学系101が集光した光を受光して画像データ(電気信号)に変換して出力する。撮像素子105は、複数の画素が2次元状に配置されたCMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)等のイメージセンサを用いて構成される。また、撮像素子105は、受光量を電子的に制御可能な電子シャッタ機能を有する。
カラーフィルタ106は、撮像素子105の受光面に積層して設けられる。カラーフィルタ106は、互いに異なる波長領域の光を透過する複数のカラーフィルタの各々が所定の配列パターンを形成し、この配列パターンを形成する個々のカラーフィルタが撮像素子105を構成する複数の画素のいずれかに対応する位置に配置される。
図2は、カラーフィルタ106の構成を模式的に示す図である。図2に示すカラーフィルタ106は、ベイヤー配列における赤色の波長領域の光を透過するフィルタR、緑色の波長領域の光を透過するフィルタGおよび青色の波長領域の光を透過するフィルタBの各々が撮像素子105の各画素の受光面に設けられる。なお、以下においては、フィルタRを受光面に配置した画素をR画素、フィルタGを受光面に配置した画素をG画素およびフィルタBを受光面に配置した画素をB画素として説明する。
アナログ処理部107は、撮像素子105から出力されるアナログ信号に対して、所定のアナログ処理を施してA/D変換部108へ出力する。具体的には、アナログ処理部107は、撮像素子105から入力されるアナログ信号に対して、ノイズ低減処理およびゲインアップ処理等を行う。例えば、アナログ処理部107は、アナログ信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。
A/D変換部108は、アナログ処理部107から入力されるアナログ信号に対して、A/D変換を行うことによってデジタルの画像データ(以下、「RAW画像データ」という)を生成し、バス114を介して揮発メモリ112に出力する。なお、A/D変換部108は、後述する撮像装置10の各部に対してRAW画像データを直接出力するようにしてもよい。なお、上述したカラーフィルタ106、アナログ処理部107とA/D変換部108を撮像素子105に設け、撮像素子105がデジタルのRAW画像データを直接出力するようにしてもよい。
第1操作部109は、撮像装置10の各種の指示を与える。具体的には、第1操作部109は、撮像装置10の電源状態をオン状態またはオフ状態に切り替える電源スイッチ、静止画撮影の指示を与えるレリーズスイッチ、撮像装置10の各種設定を切り替える操作スイッチおよび動画撮影の指示を与える動画スイッチ等を有する。
記録媒体111は、撮像装置10の外部から装着されるメモリカードを用いて構成され、メモリI/F部110を介して撮像装置10に着脱自在に装着される。また、記録媒体111は、撮像制御部115の制御のもと、メモリI/F部110を介してプログラムおよび各種情報それぞれを不揮発メモリ113に出力してもよい。
揮発メモリ112は、バス114を介してA/D変換部108から入力される画像データを一時的に記憶する。例えば、揮発メモリ112は、アナログ処理部107、A/D変換部108およびバス114を介して、撮像素子105が1フレーム毎に順次出力する画像データを一時的に記憶する。揮発メモリ112は、SDRAM(Synchronous Dynamic Random Access Memory)等を用いて構成される。
不揮発メモリ113は、撮像装置10を動作させるための各種プログラム、プログラムの実行中に使用される各種データを記録する。また、不揮発メモリ113は、プログラム記録部113aと、第1外部I/F部116を介して入力される撮像素子105を構成する複数の画素の各々の分光感度のばらつきを補正するための補正係数を記録する補正係数記録部113bと、を有する。不揮発メモリ113は、Flashメモリ等を用いて構成される。
バス114は、撮像装置10の各構成部位を接続する伝送路等を用いて構成され、撮像装置10の内部で発生した各種データを撮像装置10の各構成部位に転送する。
撮像制御部115は、CPU(Central Processing Unit)等を用いて構成され、第1操作部109からの指示信号やレリーズ信号に応じて撮像装置10を構成する各部に対する指示やデータの転送等を行って撮像装置10の動作を統括的に制御する。例えば、撮像制御部115は、第1操作部109からセカンドレリーズ信号が入力された場合、撮像装置10における撮影動作を開始する制御を行う。ここで、撮像装置10における撮影動作とは、撮像素子105が出力したアナログ信号に対し、アナログ処理部107およびA/D変換部108が所定の処理を施す動作をいう。このように処理が施された画像データは、撮像制御部115の制御のもと、バス114およびメモリI/F部110を介して記録媒体111に記録される。
第1外部I/F部116は、バス114を介して外部の機器から入力される情報を不揮発メモリ113または揮発メモリ112へ出力する一方、バス114を介して外部の機器へ揮発メモリ112が記憶する情報、不揮発メモリ113が記録する情報および撮像素子105が生成した画像データを出力する。具体的には、第1外部I/F部116は、バス114を介して第1画像処理装置30および第2画像処理装置40に撮像素子105が生成した画像データを出力する。
〔光源装置の構成〕
次に、光源装置20の構成について説明する。光源装置20は、後述の補正係数を算出する場合に、第1画像処理装置30の制御のもと、所定の波長領域の光を撮像装置10に向けて平行光の照明光を被写体として照射する。具体的には、光源装置20は、第1画像処理装置30の制御のもと、例えば380nm〜780nmの可視光を10nm間隔で撮像装置10に向けて照射する。光源装置20は、例えば互いに波長領域が異なる光を透過させる複数のフィルタが設けられた回転フィルタ、タングステンランプまたはキセノンランプ等の光源および回転フィルタを回転させるモータ等のドライバを用いて構成される。なお、光源装置20は、所定の波長領域の平行光を照射する蛍光灯、LED(Light Emitting Diode)およびレーザ光等を用いてもよい。また、光源装置20は、10nm間隔でなく、所定の波長領域、例えば赤、緑および青の各々の波長領域の光を切り換えて撮像装置10に向けて照射してもよい。また、本実施の形態では、撮像装置10を光学系101および絞り102が一体型に構成されたコンパクトデジタルカメラを想定しているが、光学系101および絞り102を有するレンズ部を本体部(ボディ部)に対して着脱自在なデジタルカメラであっても適用することができる。この場合、光源装置20からの光は、平行光として撮像装置10に入射することが好ましい。このため、レンズ部を着脱可能なデジタルカメラの場合には、本体部からレンズ部を取り外した状態で撮影することが好ましい。なお、光源装置20は、可能な限り均一な平行光を撮像装置10に向けて照射することが好ましい。
〔第1画像処理装置の構成〕
次に、第1画像処理装置30の構成について説明する。第1画像処理装置30は、第2外部I/F部301と、光源制御部302と、第2操作部303と、第1記録部304と、第1画像処理制御部305と、第1バス306と、補正係数算出部307と、を備える。
第2外部I/F部301は、撮像装置10の第1外部I/F部116を介して撮像素子105によって生成された画像データを取得し、取得した画像データを補正係数算出部307または第1バッファ部304bへ出力する。また、第2外部I/F部301は、補正係数算出部307から入力された情報を撮像装置10へ出力する。第2外部I/F部301および第1外部I/F部116は、例えば双方向に情報をやり取り可能な制御ケーブルや無線通信路等を介して接続されている。
光源制御部302は、CPUを用いて構成され、光源装置20が照射する光の波長領域を制御する。具体的には、光源制御部302は、光源装置20に10nm毎の波長領域の光を撮像装置10に照射させる。
第2操作部303は、第1画像処理装置30の各種の指示を与える。具体的には、第2操作部303は、光源装置20に波長領域が異なる光を順次照射させる指示を与える。
第1記録部304は、揮発メモリおよび不揮発メモリを用いて構成され、撮像装置10から入力された画像データ、第1画像処理装置30を動作させるための各種プログラム、プログラムの実行中に使用される各種データを記録する。また、第1記録部304は、第1画像処理装置30を動作させるための各種プログラムを記録する第1プログラム記録部304aと、撮像装置10から入力された画像データ等を一時的に記憶する第1バッファ部304bと、を有する。
第1画像処理制御部305は、CPU等を用いて構成され、第2操作部303からの指示に応じて第1画像処理装置30を構成する各部に対する指示やデータの転送等を行って第1画像処理装置30の動作を統括的に制御する。
補正係数算出部307は、撮像素子105によって生成された画像データに基づいて、注目画素において分光感度と予め設定した基準分光感度との差に対応する画素値の差分を補正するための補正係数を撮像素子105の複数の画素毎に算出し、算出した算出結果を撮像装置10の補正係数記録部113bに記録する。
第1バス306は、第1画像処理装置30の各構成部位を接続する伝送路等を用いて構成され、第1画像処理装置30の内部で発生した各種データを第1画像処理装置30の各構成部位に転送する。
〔第2画像処理装置の構成〕
次に、第2画像処理装置40の構成について説明する。
第2画像処理装置40は、第3外部I/F部401と、第2記録部402と、第2バス403と、補正量算出部404と、画素値補正部405と、画像処理部406と、を備える。
第3外部I/F部401は、撮像装置10の第1外部I/F部116を介して撮像素子105によって生成された画像データおよび補正係数記録部113bから補正係数をそれぞれ取得し、取得した画像データおよび補正係数を補正量算出部404または第2バッファ部402bへ出力する。第3外部I/F部401および第1外部I/F部116は、例えば双方向に情報をやり取り可能な制御ケーブルや無線通信路等を介して接続されている。
第2記録部402は、揮発メモリおよび不揮発メモリを用いて構成され、撮像装置10から入力された画像データ、補正係数、第2画像処理装置40を動作させるための各種プログラム、プログラムの実行中に使用される各種データを記録する。また、第2記録部402は、第2画像処理装置40を駆動するための第2プログラム記録部402aと、撮像装置10から入力された画像データおよび注目画素の補正係数等を一時的に記憶する第2バッファ部402bを有する。
補正量算出部404は、補正係数記録部113bが記録する注目画素における補正係数と注目画素における周囲の画素の画素値とに基づいて、注目画素の画素値を補正するための補正量を算出する。また、補正量算出部404は、注目画素と周囲の画素の画素値に基づいて、注目画素の画素値を補正するための補正量を算出する。ここで、周囲の画素とは、注目画素に隣接する画素または注目画素の近傍に位置する画素である。また、注目画素に隣接する画素とは、注目画素を基準に左右上下方向に位置する画素である。さらに、注目画素の近傍に位置する画素とは、注目画素を基準に斜め方向に位置する画素、または、注目画素と同色で最も注目画素に近い画素である。さらに、補正量算出部404は、光源に応じた補正係数を補正係数記録部113bから選択して取得し、取得した補正係数を用いて注目画素の画素値を補正するための補正量を算出する。
画素値補正部405は、補正量算出部404が算出した補正量を用いて注目画素の画素値を補正する。
画像処理部406は、画素値補正部405によって分光感度ばらつきが補正された画像データに対して、所定の画像処理を行って表示装置50へ出力する。ここで、所定の画像処理とは、オプティカルブラック減算処理、ホワイトバランス調整処理、撮像素子105がベイヤー配列の場合には画像データの同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理、ノイズ低減処理等を含む基本の画像処理のことである。また、画像処理部406は、予め設定された各画像処理のパラメータに基づいて、自然な画像を再現する画像処理を行う。ここで、各画像処理のパラメータとは、コントラスト、シャープネス、彩度、ホワイトバランスおよび階調の値である。なお、所定の画像処理を行った画像データを、第3外部I/F部401を経由して不揮発メモリ113や記録媒体111に記録するようにしてもよい。
〔表示装置の構成〕
次に、表示装置50の構成について説明する。表示装置50は、第2画像処理装置40から入力される画像データに対応する画像を表示する。表示装置50は、液晶または有機EL(Electro Luminescence)等の表示パネル等を用いて構成される。
以上の構成を有する撮像システム1は、第1画像処理装置30が撮像素子105の各画素の分光感度と基準分光感度との差による画素値の差を補正するための補正係数を算出し、第2画像処理装置40が第1画像処理装置30によって算出された補正係数を用いて注目画素の画素値を補正するための補正量を算出し、この算出した補正量を用いて注目画素の画素値を補正し、表示装置50が第2画像処理装置40によって画像処理が施された画像データに対応する画像を表示する。
〔分光感度特性の概要〕
次に、撮像素子105を構成するR画素、G画素およびB画素それぞれの分光感度特性について説明する。図3は、撮像素子105を構成するR画素、G画素およびB画素それぞれの分光感度特性の平均の例を示す図である。図4は、R画素の分光感度特性の例を示す図である。図5は、G画素の分光感度特性の例を示す図である。図6は、B画素の分光感度特性の例を示す図である。図3〜6において、横軸が波長を示し、縦軸が相対分光感度を示す。また、図3〜図6において、曲線LB1が複数のB画素それぞれの分光感度を平均化した平均分光感度特性を示し、曲線LG1が複数のG画素それぞれの分光感度を平均化した平均分光感度特性を示し、曲線LR1が複数のR画素それぞれの分光感度を平均化した平均分光感度特性を示す。また、図4の曲線LR2がR画素の分光感度特性の一例を示し、図5の曲線LG2がG画素の分光感度特性の一例を示し、図6の曲線LB2がB画素の分光感度特性の一例を示す。図4〜図6において、ここで、分光感度の差とは、平均分光感度に対する各画素の分光感度の差を意味し、撮像素子105の製造段階において各フィルタの厚みのばらつき等によって生じる分光透過率のばらつきや、各画素の回路パターンや回路特性の差などによって生じる分光反射率や分光吸収率のばらつき等に起因するものである。また、撮像素子105における全ての画素を用いて各R、G、B画素にそれぞれに対する平均分光感度特性を算出しても良いし、注目画素およびその同色の周辺の画素を用いて、注目画素に対する平均分光感度特性(即ち、局所的な平均分光感度特性)を算出するようにしてもよい。なお、注目画素に対する平均分光感度特性は、注目画素を含めずに注目画素と同色の周辺の画素を用いて算出してもよい。注目画素に対する平均分光感度特性を算出する場合、光源装置20からの光が均一ではない場合や光学系101によりシェーディング発生する場合等、撮像素子105に照射される光が不均一な場合に、その不均一な光による影響を排除した平均分光感度特性が得られる。また、平均分光感度特性が本実施の形態における基準分光感度特性に該当する。
図4〜図6に示すように、分光感度の差が波長領域によって変化する。具体的に例を挙げると、R画素では、図4の曲線LR1および曲線LR2に示すように、平均分光感度に対して550nm近傍より短波長側の波長領域R1において差が生じる。G画素では、図5の曲線LG1および曲線LG2に示すように、平均分光感度に対して500nm近傍より短波長側の波長領域G1と600nm近傍より長波長側の波長領域G2において差が生じる。さらに、B画素では、図6の曲線LG1および曲線LG2に示すように、平均分光感度に対して550nm近傍より長波長側の波長領域B1において差が生じる。
なお、図4〜図6においては、分光感度が低い波長領域で平均分光感度よりも高い分光感度を有するR画素、G画素およびB画素それぞれの一例を説明したが、撮像素子105を構成する各画素によっては、以下の(a)〜(d)いずれかの画素が存在する。
(a)分光感度が低い領域で平均分光感度よりも低い分光感度または同様の分光感度を有する画素
(b)分光感度が高い波長領域で平均分光感度よりも高い分光感度若しくは低い分光感度または同様の分光感度を有する画素
(c)分光感度が低い波長領域と高い波長領域とで平均分光感度との大小関係が変わる、または変わらない分光感度を有する画素
(d)分光感度の高低に関わらず波長によって平均分光感度に対して大小が変化する分光感度を有する画素
このように撮像素子105は、製造段階において各カラーフィルタの厚みのばらつき等によって分光感度のばらつきが画素単位で発生する。本実施の形態では、一例として、分光感度のばらつきは、波長による変化が小さく、いずれの波長でも同程度の小さなばらつきをもつこの場合、例えば平坦な赤色の被写体を撮影するとき、R画素は、分光感度が高い波長領域のため、ランダムノイズによる画素値のばらつきが支配的になり、分光感度のばらつきが画質にあまり影響しない。
これに対して、平坦な赤色の被写体を撮影するとき、G画素およびB画素の各々は、分光感度が低い波長領域のため、ランダムノイズによる画素値のばらつきが小さく、分光感度のばらつきによる画素値のばらつきが相対的に大きくなることで、分光感度のばらつきが画質に影響する。このような分光感度のばらつきによる画素値のばらつきは、特に平坦な被写体において画像のざらつきとして見える。このざらつきは、画素の画素値に依存するため、多少の凹凸を有する被写体が動いても、ざらつきが停止して見えるため、違和感が生じる。したがって、他の色の画素の分光感度に比べ低い分光感度をもつ波長領域を優先的に補正することが望ましい。
図7は、撮像素子105が平坦な赤色または平坦な緑色の被写体を撮影した場合における撮像素子105を構成する複数のG画素それぞれの画素値を模式的に示す図である。図7において、横軸が画素列を示し、縦軸が画素値を示す。また、図7において、直線MR2が平坦な赤色の被写体を撮影した際の各G画素における画素値の平均値を示し、直線MG2が平坦な緑色の被写体を撮影した際の各G画素における画素値の平均値を示す。なお、図7において、各G画素で生じるランダムノイズRN1、RN2、GN1およびGN2の各々をハッチングで表現した。また、図7においては、撮像素子105を構成するR画素、G画素およびB画素のうち、6つのG画素を一例に説明する。
図7に示すように、撮像素子105が平坦な赤の被写体を撮影した場合、G画素G1〜G6の各々は、分光感度が低い波長領域のため、ランダムノイズよりも製造段階における各カラーフィルタの厚みのばらつき等による分光感度ばらつきによる影響を受けて、G画素G1〜G6の各々の画素値が大きくばらつく(図7(a)を参照)。これに対して、撮像素子105が平坦な緑色の被写体を撮影した場合、G画素G1〜G6の各々は、分光感度が高い波長領域のため、製造段階における各カラーフィルタの厚みのばらつき等による分光感度ばらつきよりも、ランダムノイズによる画素値のばらつきが支配的になりG画素G1〜G6の各々の画素値がほぼ一定となる(図7(b)を参照)。よって、被写体の分光特性により、ざらつきが見えたり見えなかったりする。このように、各画素は、画素毎に分光感度によるばらつきが異なるため、従来のように各画素に対して一律のゲインをかけたり、一律のオフセットを加減算したりしても、上述したばらつきを補正することができない。そこで、本実施の形態では、後述の補正係数の算出や補正処理を行うことで、上述したざらつきを低減し、被写体が平坦な場合にはMR2に示すような画素値に補正することができる(図7(c)を参照)。このため、本実施の形態では、撮像素子105を構成する複数の画素の各々の分光感度の差によって生じる画質劣化を防止することで、高画質な画像を得る。
〔第1画像処理装置の処理〕
次に、第1画像処理装置30が実行する処理について説明する。図8は、第1画像処理装置30が実行する処理の概要を示すフローチャートであり、メインルーチンを示す。なお、図8においては、第1画像処理装置30が実行する各画素の分光感度ばらつきを補正するための補正係数を算出する処理について説明する。本実施の形態では、撮像素子105の各画素は、RGBいずれかのカラーフィルタ106を有しているため、各画素においてR画素値を用いた補正用の補正係数、G画素値を用いた補正用の補正係数、B画素値を用いた補正用の補正係数を算出する。勿論、一部の補正係数のみ算出するようにしてもよい。
図8に示すように、光源制御部302は、光源装置20が照射する波長領域を示すλを380nmに設定する(ステップS101)。なお、本実施の形態では、光源制御部302は、可視光波長領域として380nm〜780nmを設定するが、これに限定されず、赤外等の他の波長領域であってもよい。
続いて、光源制御部302は、光源装置20が照射する照明光の波長を波長λに設定して照明光を照射させる(ステップS102)。これにより、光源装置20は、被写体として波長λの単波長平面の照明光を撮像装置10に向けて照射する。
その後、第1画像処理制御部305は、光源装置20が照射する照明光を所定回数撮影して撮像素子105を構成する複数の画素の各々の画素値の平均値を算出する撮影処理を撮像装置10に実行させる(ステップS103)。
図9は、図8のステップS103の撮影処理の概要を示すフローチャートである。図9に示すように、第1画像処理制御部305は、第1記録部304の第1バッファ部304bに記憶された撮像素子105が生成した画像データに対応する各画素の画素値の蓄積値を算出するためのバッファ領域を初期化する(ステップS201)。
続いて、第1画像処理制御部305は、カウンタiを0に設定し(ステップS202)、第1バス306、第2外部I/F部301、第1外部I/F部116およびバス114を介して撮像素子105に露光を開始(光源装置20が照射する照明光の撮影を開始)させるとともに(ステップS203)、撮像素子105から画像データの取り込みを行う(ステップS204)。
その後、第1画像処理制御部305は、第1バッファ部304bに記憶されている各画素の画素値と、撮像素子105から取り込んだ最新の画像データの画素毎に画素値を加算し、この加算した画素値を第1バッファ部304bに記憶されている画素値と置き換える(ステップS205)。
続いて、第1画像処理制御部305は、カウンタiをインクリメント(i=i+1)し(ステップS206)、画像データの取り込んだ枚数(i)が所定枚数未満(例えば100枚)である場合(ステップS207:Yes)、第1画像処理装置30は、ステップS203へ戻る。これに対して、画像データの取り込んだ枚数(i)が所定枚数未満でない場合(ステップS207:No)、第1画像処理装置30は、ステップS208へ移行する。
その後、第1画像処理制御部305は、第1バッファ部304bに記憶されている各画素の画素値を、画像データを取り込んだ所定枚数(例えば100枚)で除算し、この除算した結果を第1バッファ部304bに記憶されている画素毎の画素値に置き換える(ステップS208)。これにより、第1バッファ部304bに記憶されている画素毎の画素値は、平均画素値となる。なお、第1画像処理制御部305は、撮像素子105から取り込んだ画像データの各画素において、欠陥画素が含まれている場合、この欠陥画素を補正するようにしてもよい。ステップS208の後、第1画像処理装置30は、上述した図8のメインルーチンへ戻る。なお、図9における撮影処理においては、平均画素値を算出したが、少なくとも画像データにおけるランダムノイズやRTSノイズ等の点滅欠陥等、時間的に変動するノイズが除去された画像データを取得できれば良い。そのため、公知のノイズ低減方法等を用い、時間的に変動するノイズを低減した画像データを取得するようにしても良い。
図8に戻り、ステップS104以降の説明を続ける。
ステップS104において、光源制御部302は、光源装置20が照射する照明光の波長を波長λに10nmを加算して設定する。なお、光源制御部302は、10nm間隔以外でも良く、例えば1nm間隔または5nm間隔であってもよい。もちろん、光源制御部302は、20nm間隔または50nm間隔であってもよい。さらに、光源制御部302は、例えば赤、緑および青の各々の3つの波長領域の間隔であってもよい。
続いて、光源装置20が照射する照明光の波長λが780nm以下(λ≦780nm)である場合(ステップS105:Yes)、第1画像処理装置30は、ステップS102へ戻る。これに対して、光源装置20が照射する照明光の波長λが780nm以下(λ≦780nm)でない場合(ステップS105:No)、第1画像処理装置30は、ステップS106へ移行する。
その後、補正係数算出部307は、第1バッファ部304bに記憶された380nm〜780nmまでの被写体(光源装置20が照射した照明光)を撮影した画像データを用いて、分光感度特性を画素毎に算出する(ステップS106)。このとき、補正係数算出部307は、380nm〜780nmまで光の放射輝度が同一では無い場合、正規化した後、分光感度特性を画素毎に算出する。
続いて、補正係数算出部307は、第1バッファ部304bに記憶された380nm〜780nmまでの被写体(光源装置20が照射した照明光)を撮影した画像データを用いて、赤、緑および青の各々のカラーフィルタ毎に基準分光感度特性を算出する(ステップS107)。具体的には、補正係数算出部307は、第1バッファ部304bに記憶された380nm〜780nmまでの被写体(光源装置20が照射した照明光)を撮影した複数の画像データを用いて、基準分光感度特性として赤、緑および青の各々のカラーフィルタ毎に分光感度特性の平均値、最大値、最小値、中央値および最頻値等の統計的手法によっていずれか1つを算出する。なお、本実施の形態では、赤、緑および青の各々のカラーフィルタの分光感度特性の平均値を基準分光感度特性として説明する。また、補正係数算出部307は、被写体が完全に平坦でない場合または光学系101によりシェーディングが発生する場合等均一な光が撮像素子105に照射されない場合、注目画素毎に、その注目画素の周囲の同色画素の分光感度特性を用いて基準分光感度を算出するようにしてもよい。
その後、補正係数算出部307は、撮像素子105の画素毎に分光感度特性を補正するための補正係数を算出する補正係数算出処理を実行する(ステップS108)。
図10は、図8のステップS108の補正係数算出処理の概要を示すフローチャートである。
図10に示すように、補正係数算出部307は、基準分光感度特性に基づいて、各色の波長領域を決定する(ステップS301)。具体的には、図11に示すように、補正係数算出部307は、基準分光感度特性に基づいて、フィルタBのB波長領域、フィルタGのG波長領域およびフィルタRのR波長領域の各々を決定する。例えば、図11に示す場合、補正係数算出部307は、B波長領域を380nm〜500nm、G波長領域を500nm〜600nmおよびR波長領域を600nm〜780nmの各々に決定する。なお、補正係数算出部307は、波長領域の一部が重なるようにB波長領域、G波長領域およびR波長領域の各々の波長領域を決定してもよい。また反対に、補正係数算出部307は、波長領域の一部がいずれの波長領域にも該当しないように各々の波長領域を決定してもよい。また、各色の波長領域は、分光感度特性の設計値等に基づき、あらかじめ決定しておくようにしてもよい。
続いて、補正係数算出部307は、各画素の分光感度特性に基づいて、各画素の画素値を算出する(ステップS302)。具体的には、補正係数算出部307は、各画素と同色の波長領域における画素の分光感度特性の累積値を算出し、その値を画素値として算出する。この画素値は、同色の波長領域のみの特性が1、それ以外の波長領域の特性が0となるような矩形の分光特性を有する被写体(照明光)を露光した場合の画素値に相当する。なお、補正係数算出部307は、予め想定する被写体(光源または照明光の波長領域)を限定または特定できる場合、その被写体の分光特性に応じて重み付け加算することによって、その被写体を露光したときの画素値に相当する値を求めるようにしてもよい。
その後、補正係数算出部307は、注目画素における周囲であり、注目画素におけるフィルタの色と異なるフィルタを有する異色画素の画素値を用いて補間することによって、注目画素において該画素と異なる色の異色画素値を推定する(ステップS303)。具体的には、補正係数算出部307は、注目画素がG画素の場合、異なる色であるR波長領域とB波長領域の画素値を算出する。また、ステップS303において、補正係数算出部307は、注目画素におけるフィルタの色と同じフィルタを有する周辺画素値を用いて補間することによって、該画素と同じ色の平均画素値を推定する。具体的には、補正係数算出部307は、注目画素がG画素の場合、G波長領域の平均画素値を算出する。
図11は、通常光を用いた場合における補正係数算出時の分光特性を模式的に示す図である。図12は、狭帯域光を用いた場合における補正係数算出時の分光特性を模式的に示す図である。図11および図12において、横軸が波長を示し、縦軸が相対分光感度を示す。ここで、通常光とは、タングステンランプまたはキセノンランプの光源が照射する可視光の光や、太陽光などの自然光の光であって、分光特性が連続的に変化する光である。また、狭帯域光とは、蛍光灯、LED(Light Emitting Diode)ランプまたはレーザ光源、一部の波長域を通過させるフィルタを有する光源等の光源が照射する光であって、分光特性が離散的な光である。ここで、分光特性が離散的な光とは、一部の波長域の強度が強く、他の波長域の強度が著しく弱い光である場合も含む。
図11に示すように、補正係数算出部307は、撮影時に通常光(狭帯域光以外)を用いる場合において、注目画素がG画素のとき、注目画素と異なる色であるR波長領域の画素値Sr1およびB波長領域の画素値Sb1、および注目画素と同じ色であるG波長域の平均画素値Sg1それぞれを算出することによって、注目画素において該注目画素と異なる色の異色画素値と注目画素と同じ色の平均画素値を推定する。また、図12に示すように、補正係数算出部307は、撮影時に狭帯域光を用いる場合において、注目画素がG画素のとき、異なる色であるR波長領域の画素値Sr2およびB波長領域の画素値Sb2、および注目画素と同じ色であるG波長域の平均画素値Sg2それぞれを算出することによって、注目画素において該注目画素と異なる色の異色画素値と注目画素と同じ色の平均画素値を推定する。図12に示す状況下において、補正係数算出部307は、用いる狭帯域光の主要な波長領域に合わせて、R波長領域、G波長域およびB波長領域それぞれの波長領域の幅を狭く設定する。具体的には、図12に示す場合、狭帯域光NRL、狭帯域光NGLおよび狭帯域光NBLに設定する。なお、図11および図12において、補正係数算出部307は、画素値Sb1、画素値Sb2、画素値Sr1および画素値Sr2それぞれの補間方法を後述する第2画像処理装置40が実行する補正量算出処理において用いる補間方法と同一にすることが好ましい。同様に、平均画素値Sg1および平均画素値Sg2それぞれの算出方法を後述する第2画像処理装置40が実行する補正量算出処理において用いる補間方法と同一にすることが好ましい。このため、画素値Sb1、画素値Sb2、画素値Sg1、画素値Sg2、画素値Sr1および画素値Sr2それぞれの補間方法は、後述する。
続いて、補正係数算出部307は、各画素において、該画素と異なる色の波長領域における誤差量を算出する(ステップS304)。具体的には、補正係数算出部307は、図11に示す場合、各画素において、分光感度特性と基準分光感度特性との差を、各波長領域で累積した値によって算出する。例えば、図11の曲線LG1および曲線LG2に示すように、補正係数算出部307は、注目画素がG画素の場合、曲線LG2と曲線LG1との差をR波長領域、G波長域およびB波長領域の各々において累積した値を誤差量Δr1、誤差量Δg1および誤差量Δb1として算出する。また、狭帯域光の場合、図12の曲線LG1および曲線LG2に示すように、補正係数算出部307は、注目画素がG画素のとき、曲線LG1と曲線LG2との差をR波長領域、G波長域およびB波長領域の各々において累積した値を誤差量Δr2、誤差量Δg2および誤差量Δb2として算出する。ここで、誤差量は、基準分光感度特性よりも分光感度特性が大きい(高い)場合には正の値、小さい(低い)場合には負の値とする。
その後、補正係数算出部307は、各画素において、誤差量を推定した異色画素値または平均画素値で除算することによって、その画素における補正係数を算出する(ステップS305)。例えば、図11に示す場合において、注目画素がG画素のとき、補正係数算出部307は、上述したステップS304で算出したR波長領域の誤差量を上述したステップ303で推定したR波長領域の画素値で除算した値(Δr1/Sr1)をR成分の補正係数とし、上述したステップS304で算出したG波長領域の誤差量を上述したステップ303で推定したG波長領域の平均画素値で除算した値(Δg1/Sg1)をG成分の補正係数とし、上述したステップS304で算出したB波長領域の誤差量を上述したステップS303で推定したB波長領域の画素値で除算した値(Δb1/Sb1)をB成分の補正係数として算出する。また、図12に示す場合において、注目画素がG画素のとき、補正係数算出部307は、上述したステップS304で算出したR波長領域の誤差量を上述したステップ303で推定したR波長領域の画素値で除算した値(Δr2/Sr2)をR成分の補正係数とし、上述したステップS304で算出したG波長領域の誤差量を上述したステップ303で推定したG波長領域の平均画素値で除算した値(Δg2/Sg2)をG成分の補正係数とし、上述したステップS304で算出したB波長領域の誤差量を上述したステップS303で推定したB波長領域の画素値で除算した値(Δb2/Sb2)をB成分の補正係数として算出する。さらに、補正係数算出部307は、各画素に対して、他の色、例えばR画素およびB画素それぞれも同様に補正係数を算出する。ステップS305の後、第1画像処理装置300は、図8のメインルーチンへ戻る。
図8に戻り、ステップS109以降の説明を続ける。
ステップS109において、補正係数算出部307は、撮像素子105の各画素において、算出した補正係数を、その画素の補正係数として撮像装置10の補正係数記録部113bに記録する。撮影時には、太陽光などの自然光以外にも、特に暗所などでは、図1に図示していない発光部より光を発光させて被写体に照射し、その反射光を撮像素子105に撮像させる。上述の分光感度ばらつきは、波長に応じて、ばらつき度合いが異なる場合がある。このため、補正係数算出部307は、発光部から発光する光(被写体に照射する光)に合わせた補正を行うことが好ましい。特に、発光する光が狭帯域であるほど、自然光等の通常光とばらつき度合いが異なりやすい。よって、補正係数算出部307は、撮影時に用いる光源の種別毎に応じた補正係数を補正係数記録部113bに記録する。具体的には、補正係数算出部307は、撮影時に用いる光源の種別と補正係数とを対応付けて補正係数記録部113bに記録する。例えば、補正係数算出部307は、通常光であることを示す情報と、上述した図11のように算出した補正係数とを対応付けて補正係数記録部113bに記録する。また、狭帯域光であることを示す情報と、上述した図12のように算出した補正係数とを対応付けて補正係数記録部113bに記録する。これにより、複数の光源それぞれに対応させた各画素の補正係数を記録することができる。ステップS109の後、第1画像処理装置30は、本処理を終了する。
このように第1画像処理装置30は、互いに異なる分光透過率を有する複数のカラーフィルタを所定のパターンで複数の画素の各々の受光面に配置した撮像素子105によって生成された画像データに基づいて、該画像データにおける注目画素の分光感度と予め設定した基準分光感度との差を、画素値の差によって補正するための補正係数を画素毎に算出する。この結果、撮像素子105を構成する複数の画素それぞれの分光感度のばらつきを補正するための補正係数を画素毎に算出することができる。
〔第2画像処理装置の処理〕
次に、第2画像処理装置40が実行する処理について説明する。図13は、第2画像処理装置40が実行する処理の概要を示すフローチャートであり、メインルーチンを示す。
図13に示すように、まず、補正量算出部404は、撮像装置10から撮像素子105が生成した画像データと補正係数記録部113bが記録する補正係数を取得し、取得した画像データにおける注目画素の画素値の補正量を算出する補正量算出処理を実行する(ステップS401)。なお、補正量算出処理の概要は、後述する。
続いて、画素値補正部405は、補正量算出部404が算出した各画素の補正量を減算することで各画素の画素値を補正する(ステップS402)。ステップS402の後、第2画像処理装置40は、本処理を終了する。
次に、図13のステップS401で説明した補正量算出処理の詳細について説明する。図14は、補正量算出処理の概要を示すフローチャートである。
図14に示すように、補正量算出部404は、まず、第2記録部402の第2バッファ部402bに記憶された画像データに対応する画像の高さ方向(縦方向)における画素の位置を示すカウンタyを初期化(カウンタy=0)し(ステップS501)、画像データに対応する画像の幅方向(横方向)における画素の位置を示すカウンタxを初期化(カウンタx=0)する(ステップS502)。
続いて、画像データにおける座標(x,y)の注目画素に対して、R波長領域の分光感度ばらつきを補正する場合(ステップS503:Yes)、補正量算出部404は、後述するステップS504へ移行する。これに対して、座標(x,y)の注目画素に対して、R波長領域の分光感度ばらつきを補正しない場合(ステップS503:No)、補正量算出部404は、後述するステップS505へ移行する。
ステップS504において、補正量算出部404は、R成分の補正量を算出するR成分補正量算出処理を実行する。ここで、R成分とは、R波長領域の画素値である。
図15は、上述したステップS504のR成分補正量算出処理の概要を示すフローチャートである。図15に示すように、補正量算出部404は、第2バッファ部402bから座標(x,y)の注目画素における周囲のR画素の画素値を取得する(ステップS601)。
続いて、補正量算出部404は、ステップS601で取得した周囲のR画素の画素値を用いて補間することによって、座標(x,y)の注目画素におけるR成分の画素値を推定する(ステップS602)。例えば、図16A〜図16Dに示すように、補正量算出部404が行う補間方法としては、座標(x,y)の注目画素におけるフィルタの色に応じて、注目画素の周囲のR画素の画素値の平均値とすることによって、座標(x,y)の注目画素におけるR成分の画素値を推定する。具体的には、補正量算出部404は、図16Aに示すように、座標(x,y)の注目画素におけるフィルタの色が青色のB画素の場合、斜め4方向のR画素の画素値の平均値(図16Aを参照)を座標(x,y)の注目画素におけるR成分の画素値として推定し、座標(x,y)の注目画素におけるフィルタの色が緑色のG画素の場合、隣接するR画素の画素値の平均値(図16Bおよび図16Cを参照)を座標(x,y)の注目画素におけるR成分の画素値として推定する。また、補正量算出部404は、注目画素におけるフィルタの色が赤色のR画素の場合、上下左右における距離2画素の4つのR画素値の平均値(図16Dを参照)を、座標(x,y)の注目画素におけるR成分の平均画素値として推定する。ここで、補正量算出部404は、注目画素がR画素の場合、注目画素を含めた平均値をR成分の平均画素値として算出するようにしてもよい。また、エッジ方向などを検出してエッジ方向の画素値の重みを大きくする等、重み付けを行った平均値を算出するようにしてもよい。
その後、狭帯域光を被写体に照射して撮影した場合(ステップS603:Yes)、補正量算出部404は、後述するステップS604へ移行する。これに対して、狭帯域光を被写体に照射せずに撮影した場合(ステップS603:No)、補正量算出部404は、後述するステップS605へ移行する。なお、光源の判定は、例えばメニューから選択してもよいし、補正量算出部404が画像データに対応する画像の色分布に基づいて、判定するようにしてもよい。また、補正量算出部404が外部の光源の情報を直接取得するようにしてもよい。また、補正量算出部404は、通常光と狭帯域光とが混合した混合光の場合(例えばLEDランプによる光+通常光の場合)、LEDランプが照射する光が届く範囲では、狭帯域光を優先して選択する一方、それ以外の範囲では通常光を選択するようにしてもよい。このとき、補正量算出部404は、画像データに対応する画像を構成する複数の画素それぞれに対して、複数の光源が映りこんでいるか否かを検出し、この検出結果に応じて混合光であるか否かを判定後、画素毎に狭帯域光の補正係数または通常光の補正係数を選択や、混合光の混合割合に応じて画素毎に狭帯域光の補正係数と通常光の補正係数を混合するようにしてもよい。
ステップS604において、補正量算出部404は、第2バッファ部402bから狭帯域光の光源に応じた座標(x,y)の注目画素におけるR成分の補正係数を取得する。ステップS604の後、補正量算出部404は、後述するステップS606へ移行する。
ステップS605において、補正量算出部404は、第2バッファ部402bから通常光に応じた座標(x,y)の注目画素におけるR成分の補正係数を取得する。ステップS605の後、補正量算出部404は、後述するステップS606へ移行する。
続いて、補正量算出部404は、上述したステップS602で推定した座標(x,y)の注目画素におけるR画素の画素値(注目画素がR画素である場合にはR成分の平均画素値)に、座標(x,y)の注目画素におけるR成分の補正係数を乗じることによって、座標(x,y)の注目画素における画素値に対するR成分の補正量を算出する(ステップS606)。ステップS606の後、補正量算出部404は、図14の補正量算出処理へ戻る。
図14に戻り、ステップS505以降の説明を続ける。
ステップS505において、座標(x,y)の注目画素に対して、G波長領域の分光感度ばらつきを補正する場合(ステップS505:Yes)、補正量算出部404は、後述するステップS506へ移行する。これに対して、座標(x,y)の注目画素に対して、G波長領域の分光感度ばらつきを補正しない場合(ステップS505:No)、補正量算出部404は、後述するステップS507へ移行する。
ステップS506において、補正量算出部404は、G成分の補正量を算出するG成分補正量算出処理を実行する。ここで、G成分とは、G波長領域の画素値である。
図17は、上述したステップS506のG成分補正量算出処理の概要を示すフローチャートである。図17に示すように、補正量算出部404は、第2バッファ部402bから座標(x,y)の注目画素における周囲のG画素の画素値を取得する(ステップS701)。
続いて、補正量算出部404は、ステップS701で取得した周囲のG画素の画素値を用いて補間することによって、座標(x,y)の注目画素におけるG成分の画素値を推定する(ステップS702)。例えば、補正量算出部404は、図18A〜図18Dに示すように、座標(x,y)の注目画素におけるフィルタの色が赤色のR画素の場合、上下左右のG画素の画素値の平均値(図18Aを参照)を座標(x,y)の注目画素におけるG成分の画素値として推定し、座標(x,y)の注目画素におけるフィルタの色が青色のB画素の場合、上下左右のG画素の画素値の平均値(図18Bを参照)を座標(x,y)の注目画素におけるG成分の画素値として推定する。また、補正量算出部404は、注目画素におけるフィルタの色が緑色のG画素の場合、斜め4方向のG画素値の平均値(図18Cおよび図18Dを参照)を、座標(x,y)の注目画素におけるG成分の平均画素値として推定する。ここで、補正量算出部404は、注目画素がG画素の場合、注目画素を含めた平均値をG成分の平均画素値として算出するようにしてもよい。また、補正量算出部404は、エッジ方向などを検出してエッジ方向の画素値の重みを大きくする等、重み付けを行った平均値を算出するようにしてもよい。
その後、狭帯域光を被写体に照射して撮影した場合(ステップS703:Yes)、補正量算出部404は、後述するステップS704へ移行する。これに対して、狭帯域光を被写体に照射せずに撮影した場合(ステップS703:No)、補正量算出部404は、後述するステップS705へ移行する。
ステップS704において、補正量算出部404は、第2バッファ部402bから狭帯域光の光源に応じた座標(x,y)の注目画素におけるG成分(G波長領域の画素値)の補正係数を取得する。ステップS704の後、補正量算出部404は、後述するステップS706へ移行する。
ステップS705において、補正量算出部404は、第2バッファ部402bから通常光に応じた座標(x,y)の注目画素におけるG成分の補正係数を取得する。ステップS705の後、補正量算出部404は、後述するステップS706へ移行する。
続いて、補正量算出部404は、上述したステップS702で推定した座標(x,y)の注目画素におけるG成分の画素値(注目画素がG画素である場合にはG成分の平均画素値)に、座標(x,y)の注目画素におけるG成分の補正係数を乗じることによって、座標(x,y)の注目画素の画素値に対するG成分の補正量を算出する(ステップS706)。ステップS706の後、補正量算出部404は、図14の補正量算出処理へ戻る。
図14に戻り、ステップS507以降の説明を続ける。
ステップS507において、座標(x,y)の注目画素に対して、B波長領域の分光感度ばらつきを補正する場合(ステップS507:Yes)、補正量算出部404は、後述するステップS508へ移行する。これに対して、座標(x,y)の注目画素に対して、B波長領域の分光感度ばらつきを補正しない場合(ステップS507:No)、補正量算出部404は、後述するステップS509へ移行する。
ステップS508において、補正量算出部404は、B成分の補正量を算出するB成分補正量算出処理を実行する。ここで、B成分とは、B波長領域の画素値である。
図19は、上述したステップS508のB成分補正量算出処理の概要を示すフローチャートである。図19に示すように、補正量算出部404は、第2バッファ部402bから座標(x,y)の注目画素における周囲のB画素の画素値を取得する(ステップS801)。
続いて、補正量算出部404は、ステップS801で取得した周囲のB画素の画素値を用いて補間することによって、座標(x,y)の注目画素におけるB成分の画素値を推定する(ステップS802)。例えば、補正量算出部404は、図20A〜図20Dに示すように、座標(x,y)の注目画素におけるフィルタの色が緑色のG画素の場合、上下または左右のB画素の画素値の平均値(図20Aおよび図20Bを参照)を座標(x,y)の注目画素におけるB成分の画素値として推定し、座標(x,y)の注目画素におけるフィルタの色が赤色のR画素の場合、斜め方向のB画素の画素値の平均値(図20Cを参照)を座標(x,y)の注目画素におけるB成分の画素値として推定する。また、補正量算出部404は、注目画素におけるフィルタの色が青色のB画素の場合、上下左右における距離2画素の4つのB画素値の平均値(図20Dを参照)を、座標(x,y)の注目画素におけるB成分の平均画素値として推定する。ここで、補正量算出部404は、注目画素がB画素の場合、注目画素を含めた平均値をB成分の平均画素値として算出するようにしてもよい。また、補正量算出部404は、エッジ方向などを検出してエッジ方向の画素値の重みを大きくする等、重み付けを行った平均値を算出するようにしてもよい。
その後、狭帯域光を被写体に照射して撮影した場合(ステップS803:Yes)、補正量算出部404は、後述するステップS804へ移行する。これに対して、狭帯域光を被写体に照射せずに撮影した場合(ステップS803:No)、補正量算出部404は、後述するステップS805へ移行する。
ステップS804において、補正量算出部404は、第2バッファ部402bから狭帯域光の光源に応じた座標(x,y)のB成分の補正係数を取得する。ステップS804の後、補正量算出部404は、後述するステップS806へ移行する。
ステップS805において、補正量算出部404は、第2バッファ部402bから通常光に応じた座標(x,y)のB成分の補正係数を取得する。ステップS805の後、補正量算出部404は、後述するステップS806へ移行する。
続いて、補正量算出部404は、上述したステップS802で推定した座標(x,y)の注目画素におけるB成分の画素値(注目画素がB画素である場合にはB成分の平均画素値)に、座標(x,y)の注目画素におけるB成分の補正係数を乗じることによって、座標(x,y)の注目画素の画素値に対するB成分の補正量を算出する(ステップS806)。ステップS806の後、補正量算出部404は、図14の補正量算出処理へ戻る。
図14に戻り、ステップS509以降の説明を続ける。
ステップS509において、補正量算出部404は、上述したステップS503〜ステップS508で算出した座標(x,y)の注目画素における補正量(算出しなかった成分の補正量は0とする)の和を、座標(x,y)の注目画素の補正量として算出する。
続いて、補正量算出部404は、カウンタxをインクリメント(x=x+1)する(ステップS510)。
その後、カウンタxが画像データに対応する画像の幅より小さい場合(ステップS511:Yes)、補正量算出部404は、ステップS503へ戻る。これに対して、カウンタxが画像データに対応する画像の幅より小さくない場合(ステップS511:No)、補正量算出部404は、ステップS512へ移行する。
続いて、補正量算出部404は、カウンタyをインクリメント(y=y+1)する(ステップS512)。
その後、カウンタyが画像データに対応する画像の高さより小さい場合(ステップS513:Yes)、補正量算出部404は、ステップS502へ戻る。これに対して、カウンタyが画像データに対応する画像の高さより小さくない場合(ステップS513:No)、補正量算出部404は、図13のメインルーチンへ戻る。
このように、第2画像処理装置40は、補正量算出部404が撮像装置10の補正係数記録部113bが記録する補正係数を取得し、取得した補正係数と、注目画素における周囲の画素の画素値とに基づいて、注目画素の画素値を補正するための補正量を算出し、画素値補正部405が補正量算出部404によって算出された補正量を用いて注目画素の画素値を補正する。これにより、撮像素子105を構成する複数の画素それぞれの分光感度のばらつきを補正することができる。なお、第2画像処理装置40は、R画素、G画素およびB画素の各々の画素値を補正していたが、例えばG画素のR成分の画素値だけ補正するようにしてもよい。
また、上述のように、第2画像処理装置40は、分光感度が相対的に低い波長域のほうが、相対的に高い波長域よりも分光感度ばらつきによる影響が大きいため、注目画素におけるフィルタと異なる色の波長領域のみ補正するようにしてもよい。その場合、ステップS503では注目画素がR画素では無い場合にYesと判定し、ステップS505では注目画素がG画素では無い場合にYesと判定し、ステップS507では注目画素がB画素では無い場合にYesと判定するようにすればよい。このようにすることで、上述に比べ、演算量を削減することができる。
以上説明した本発明の実施の形態1によれば、補正係数算出部307が互いに異なる分光透過率を有する複数色のカラーフィルタ106のいずれか1つを複数の画素の各々の受光面に設けられた撮像素子105によって生成された画像データに対し、注目画素において分光感度と予め設定した基準分光感度との差による画素値の差分を補正するための補正係数を複数の画素毎に算出するので、撮像素子105を構成する複数の画素それぞれの分光感度のばらつきを画素毎に補正するための補正係数を効率的に算出することができる。
また、本発明の実施の形態1によれば、補正係数算出部307が撮影時に用いる光源に応じて検出方法を変更することによって、光源に応じて画素毎に適切な分光感度のばらつきを補正するための補正係数を算出することができる。
また、本発明の実施の形態1によれば、補正量算出部404が補正係数記録部113bによって記録された注目画素における補正係数と注目画素における周囲の画素の画素値とに基づいて、注目画素の画素値を補正するための補正量を算出し、画素値補正部405が補正量算出部404によって算出された補正量に基づいて、注目画素の画素値を補正するので、画素毎に分光感度のばらつきに起因して生じる画素値の差を補正することができる。
また、本発明の実施の形態1によれば、補正量算出部404が撮影時に用いた光源に応じた補正係数を補正係数記録部113bから取得するので、光源に応じて適切な注目画素の画素値の補正量を算出することができる。
なお、本発明の実施の形態1では、撮像装置10と第1画像処理装置30とがそれぞれ別に設けられていたが、撮像装置10内に第1画像処理装置30を設けてもよい。
また、本発明の実施の形態1では、撮像装置10と第2画像処理装置40とがそれぞれ別に設けられていたが、撮像装置10内に第2画像処理装置40を設けてもよい。
(実施の形態2)
次に、本発明の実施の形態2について説明する。本実施の形態2に係る撮像システムは、上述した実施の形態1に係る撮像システム1と同様の構成を有し、第1画像処理装置が実行する処理が異なる。具体的には、上述した実施の形態1では、被写体としての光源装置20が通常光または特定の波長の光を照射していたが、本実施の形態2では、赤、緑および青それぞれの波長領域の光を光源装置20に照射させる。このため、本実施の形態2に係る第2画像処理装置が実行する処理について説明する。なお、上述した実施の形態1に係る撮像システム1と同一の構成には同一の符号を付して説明を省略する。
〔第2画像処理装置の処理〕
図21は、第1画像処理装置30が実行する処理の概要を示すフローチャートであり、メインルーチンを示す。なお、図21において、第1画像処理装置30が実行する各画素の分光感度を補正するための補正係数を算出する処理について説明する。
図21に示すように、光源制御部302は、光源装置20が照射する光(被写体)の波長領域を赤色の波長領域に設定し、赤色均一被写体の被写体として照明光を照射させる(ステップS901)。具体的には、図22の曲線LR10に示すように、光源制御部302は、光源装置20が照射する光の波長領域を600nm〜780nmに設定して、分光放射輝度が他の波長領域に比べて高い一様な赤色の光を被写体として撮像装置10に向けて照射させる。なお、図22の曲線LR11に示すように、光源制御部302は、波長領域600nm〜780nmよりも波長領域が狭い狭帯域光を光源装置20に照射させてもよい。
続いて、第1画像処理装置30は、撮像装置10に光源装置20が照射する赤色の照明光を複数回撮影して撮像素子105を構成する各画素の画素値の平均値を算出する撮影処理を実行させる(ステップS902)。なお、撮影処理は、上述した図9の撮影処理と同様のため、説明を省略する。
その後、光源制御部302は、光源装置20が照射する光の波長領域を緑色の波長領域に設定して照射させる(ステップS903)。具体的には、図23の曲線LG10に示すように、光源制御部302は、光源装置20が照射する光の波長領域を500nm〜600nmに設定して、分光放射輝度が他の波長領域に比べて高い一様な緑色の光を被写体として撮像装置10に向けて照射させる。なお、図23の曲線LG11に示すように、光源制御部302は、波長領域500nm〜600nmよりも波長領域が狭い狭帯域光を光源装置20に照射させてもよい。
続いて、第1画像処理装置30は、撮像装置10に光源装置20が照射する緑色の照明光を複数回撮影して撮像素子105を構成する各画素の画素値の平均値を算出する撮影処理を実行させる(ステップS904)。なお、撮影処理は、上述した図9の撮影処理と同様のため、説明を省略する。
その後、光源制御部302は、光源装置20が照射する光の波長領域を青色の波長領域に設定して照射させる(ステップS905)。具体的には、図24の曲線LB10に示すように、光源制御部302は、光源装置20が照射する光の波長領域を380nm〜500nmに設定して、分光放射輝度が他の波長領域に比べて高い一様な青色の光を被写体として撮像装置10に向けて照射させる。なお、図24の曲線LB11に示すように、光源制御部302は、波長領域380nm〜500nmよりも波長領域が狭い狭帯域光を光源装置20に照射させてもよい。
続いて、第1画像処理装置30は、撮像装置10に光源装置20が照射する青色の照明光を複数回撮影して撮像素子105を構成する各画素の画素値の平均値を算出する撮影処理を実行させる(ステップS906)。なお、撮影処理は、上述した図9の撮影処理と同様のため、説明を省略する。
その後、補正係数算出部307は、第1バッファ部304bに記録された画像データに対応する画像の高さ方向(縦方向)における画素の位置を示すカウンタyを初期化(カウンタy=0)するとともに(ステップS907)、画像データに対応する画像の幅方向(横方向)における画素の位置を示すカウンタxを初期化(カウンタx=0)する(ステップS908)。
続いて、補正係数算出部307は、座標(x,y)の注目画素とカラーフィルタの色が同色の周囲画素を用いて、座標(x,y)の注目画素における近傍平均値を算出する(ステップS909)。具体的には、補正係数算出部307は、注目画素の色と異なる色の照明光を撮影した画素の周囲画素を用いて座標(x,y)の注目画素における近傍平均値を算出する。例えば、図25Aおよび図25Bに示すように、補正係数算出部307は、注目画素がG画素である場合、赤色の照明光を撮像した画像PRおよび青色の照明光を撮像した画像PBそれぞれの周囲画素を用いて、座標(x,y)の注目画素における近傍平均値Rおよび近傍平均値Bそれぞれを算出する。ここで、周囲画素とは、注目画素を中心に5×5の範囲に含まれる画素であって、注目画素を除く注目画素と同色の画素である。なお、補正係数算出部307は、注目画素を中心に3×3や7×7等、他の大きさの範囲に含まれる画素であって、注目画素を除く周囲画素を用いて近傍平均値Rおよび近傍平均値Bそれぞれを算出してもよい。また、補正係数算出部307は、注目画素を中心に3×3や5×5、7×7等の大きさの範囲に含まれる画素であって、注目画素を含む周囲画素を用いて近傍平均値Rおよび近傍平均値Bそれぞれを算出してもよい。
その後、補正係数算出部307は、座標(x,y)の注目画素と異なる色の照明光を撮像した画像における座標(x,y)の注目画素の周囲にある画素であり、かつ、被写体と同色の画素の画素値を用いて補間することで、座標(x,y)の注目画素における異色画素値を推定する(ステップS910)。ここで、周囲にある画素とは、注目画素に隣接する位置する画素または注目画素の近傍に位置する画素である。具体的には、図25Aおよび図25Bに示すように、補正係数算出部307は、座標(x,y)の注目画素がG画素である場合、赤色の照明光を撮像した画像PRにおける座標(x,y)の注目画素における周囲のR画素を用いて座標(x,y)の注目画素におけるR画素の異色画素値(R)を推定し、青色の照明光を撮像した画像PBにおける座標(x,y)の注目画素における周囲のB画素を用いて座標(x,y)の注目画素におけるB画素の異色画素値(B)を推定する。
続いて、補正係数算出部307は、ステップS909で算出した座標(x,y)の注目画素における近傍平均値と、近傍平均値を算出した画像における座標(x,y)の注目画素の画素値との差を誤差量として算出する(ステップS911)。ここで、誤差量は近傍平均値より座標(x,y)の注目画素の画素値が大きい場合には正の値、小さい場合には負の値とする。
その後、補正係数算出部307は、上述したステップS911で算出した座標(x,y)の注目画素における誤差量を、ステップS910で推定した異色画素値で除算することによって補正係数を算出する(ステップS912)。具体的には、補正係数算出部307は、注目画素がG画素である場合、赤色の照明光を撮像した画像から算出した誤差量を、同じ画像から注目画素の周囲にあるR画素の画素値を用いて推定した異色画素値(R)で除算し、青色の照明光を撮像した画像から算出した誤差量を、同じ画像から注目画素の周囲にあるB画素の画素値を用いて推定した異色画素値(B)で除算することによって、R成分の補正係数およびB成分の補正係数それぞれを算出する。
続いて、補正係数算出部307は、カウンタxをインクリメント(x=x+1)する(ステップS913)。
その後、カウンタxが画像データに対応する画像の幅より小さい場合(ステップS914:Yes)、補正係数算出部307は、ステップS909へ戻る。これに対して、カウンタxが画像データに対応する画像の幅より小さくない場合(ステップS914:No)、補正係数算出部307は、ステップS915へ移行する。
続いて、補正係数算出部307は、カウンタyをインクリメント(y=y+1)する(ステップS915)。
その後、カウンタyが画像データに対応する画像の高さより小さい場合(ステップS916:Yes)、補正係数算出部307は、ステップS908へ戻る。これに対して、カウンタyが画像データに対応する画像の高さより小さくない場合(ステップS916:No)、補正係数算出部307は、ステップS917へ移行する。
続いて、補正係数算出部307は、撮像素子105の各画素において、カラーフィルタ106と同じ波長領域以外の波長領域で算出した補正係数を、その画素の補正係数として第1記録部304に記録する(ステップS917)。例えば、補正係数算出部307は、カラーフィルタ106がRGBのベイヤー配列の場合において、R画像のとき、BおよびGそれぞれの波長領域で算出した補正係数を、G画素のとき、RおよびBそれぞれの波長領域で算出した補正係数を、B画素のとき、RおよびGそれぞれの波長領域で算出した補正係数を、その画素の補正係数として撮像装置10の補正係数記録部113bに記録する。ステップS917の後、第2画像処理装置40は、本処理を終了する。
以上説明した本発明の実施の形態2によれば、赤色、緑色および青色それぞれの波長領域の光を被写体として照射することによって、補正係数算出部307が画素毎の分光感度のばらつきを補正するための補正係数を簡易に算出することができる。
また、本発明の実施の形態2によれば、補正係数算出部307が注目画素の周囲の画素の画素値を用いて近傍平均値を算出し、この近傍平均値と注目画素の画素値とに基づいて画素毎に分光感度のばらつきを補正するための補正係数を算出するので、被写体に多少のムラが生じていたとしても精度良く補正係数を算出することができる。
また、本発明の実施の形態2によれば、補正量算出部404が所定の波長領域における一部の色に対する補正量を算出するので、視覚的に補正効果を維持しながら演算量を削減した補正量を算出することができる。
なお、本発明の実施の形態2では、注目画素の色成分(例えば、G画素のG成分)にも分光感度のばらつきが発生する場合もあるため、注目画素の色成分の補正係数を同様に算出しておいてもよい。この場合、補正係数算出部307は、注目画素と同色の照明光を撮像した画像に基づいて、注目画素と同じカラーフィルタを有する周囲の画素の画素値から注目画素の近傍平均値を算出し、その近傍平均値と注目画素の画素値との差を誤差量として算出し、その誤差量を注目画素の近傍平均値で除算することによって注目画素の色成分の補正係数を算出すればよい。
(実施の形態3)
次に、本発明の実施の形態3について説明する。上述した実施の形態1,2では、撮像装置10、第1画像処理装置30および第2画像処理装置40それぞれが個別に設けられていたが、本実施の形態3では、撮像装置内に第1画像処理装置および第2画像処理装置を設けた。このため、以下においては、本実施の形態3に係る撮像システムについて説明する。なお、上述した実施の形態1に係る撮像システム1と同一の構成には同一の符号を付して説明を省略する。
〔撮像システムの構成〕
図26は、本発明の実施の形態3に係る撮像装置の構成を模式的に示すブロック図である。図26に示す撮像装置10aは、補正係数を算出する場合には筐体100に配置され、通常の撮影時には筐体100外に配置される。また、補正係数を算出する場合には、撮像装置10aは、光源装置20に通信ケーブル等を介して接続される。撮像装置10aは、上述した実施の形態1に係る撮像装置10の構成に加えて、光源制御部302aと、第1画像処理部60と、第2画像処理部70と、第3画像処理部80と、表示部90と、を備える。
第1画像処理部60は、ランダムノイズ除去部501と、補正係数算出部307と、を有する。
ランダムノイズ除去部501は、撮像素子105が生成した画像データのランダムノイズを除去し、この除去した画像データを補正係数算出部307へ出力する。ランダムノイズ除去部501は、周知の技術を用いて画像データに対応する画像を構成する複数の画素それぞれに対して発生するランダムノイズを除去する。
第2画像処理部70は、ランダムノイズ除去部502と、補正量算出部404と、画素値補正部405と、を有する。
ランダムノイズ除去部502は、上述したランダムノイズ除去部501と同様の機能を有し、撮像素子105が生成した画像データのランダムノイズを除去し、この除去した画像データを補正量算出部404へ出力する。
第3画像処理部80は、上述した画像処理部406と同様の機能を有し、画素値補正部405が画素値を補正した画像データに対して、所定の画像処理を行い、この画像処理を行った画像データを表示部90へ出力する。
表示部90は、撮像装置10aに関する各種情報、画像データに対応する画像を表示する。表示部90は、液晶または有機EL等の表示パネルを用いて構成される。
このように構成された撮像装置10aは、上述した実施の形態1,2と同様の処理を第1画像処理部60および第2画像処理部70がそれぞれ実行する。具体的には、第1画像処理部60が補正係数を算出する処理を実行し、第2画像処理部70が補正量を補正する処理を実行する。
以上説明した本発明の実施の形態3によれば、上述した実施の形態1,2と同様の効果を有する。
(その他の実施の形態)
本発明の実施の形態1〜3に係るカラーフィルタ106は、Rフィルタ、GフィルタおよびBフィルタで構成されたベイヤー配列のカラーフィルタであったが、他のカラーフィルタであっても本発明を適用することができる。図27に示すように、本発明では、上述した実施の形態1〜3に係るカラーフィルタ106のRフィルタに換えて、補色のMg(マゼンタ)フィルタ、GフィルタおよびBフィルタによって構成されたカラーフィルタ106aであってもよい。また、図28に示すように、本発明では、Rフィルタ、GフィルタおよびBフィルタそれぞれが斜めに配置されたカラーフィルタ106bであってもよい。なお、図28に示す状況下では、撮像素子の各画素も斜めに配置されている。さらにまた、図29に示すように、本発明では、Cy(シアン)フィルタ、MgフィルタおよびYe(イエロー)フィルタを用いた補色フィルタのカラーフィルタであってもよい。図29に示すカラーフィルタ106cを用いる場合、周知の補色から原色に補間する補間方法によって行えばよい。
また、本発明の実施の形態1〜3では、1つの撮像素子に互いに異なる分光透過率を有する複数のカラーフィルタを設けていたが、例えば緑色の波長領域を透過するGフィルタのみを各画素の受光面または、撮像素子全面に設けた撮像素子と、赤色または青色の波長領域を透過するRフィルタおよびBフィルタを市松模様になるように互い違いに各画素の受光面に設けた撮像素子とを用いる2板式の撮像装置であっても本発明を適用することができる。この場合、一方の撮像素子におけるG画素の補正係数を算出する場合、該G画素の座標に対応する他方の撮像素子のR画素またはB画素の画素値を用いることによって本発明の補正係数および補正量を算出することができる。
本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、本発明の説明に用いた撮像装置以外にも、携帯電話やスマートフォンにおける撮像素子を備えた携帯機器、ビデオカメラ、内視鏡、監視カメラ、顕微鏡のような光学機器を通して被写体を撮影する撮像装置等、被写体を撮像可能ないずれの機器にも適用できる。
また、本明細書において、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」、「続いて」、「その後」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
また、上述した実施形態における画像処理装置による各処理の手法、即ち、各フローチャートに示す処理は、いずれもCPU等の制御部に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード(ROMカード、RAMカード等)、磁気ディスク(フロッピディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、CPU等の制御部は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
また、本発明は、上述した実施の形態および変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上述した実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態および変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、各実施例および変形例で説明した構成要素を適宜組み合わせてもよい。
また、明細書または図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書または図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
1 撮像システム
10,10a 撮像装置
20 光源装置
30 第1画像処理装置
40 第2画像処理装置
50 表示装置
60 第1画像処理部
70 第2画像処理部
80 第3画像処理部
90 表示部
100 筐体
101 光学系
102 絞り
103 シャッタ
104 ドライバ
105 撮像素子
106,106a,106b,106c カラーフィルタ
107 アナログ処理部
108 A/D変換部
109 第1操作部
110 メモリI/F部
111 記録媒体
112 揮発メモリ
113 不揮発メモリ
113a プログラム記録部
113b 補正係数記録部
114 バス
115 撮像制御部
116 第1外部I/F部
301 第2外部I/F部
302 光源制御部
302a 光源制御部
303 第2操作部
304 第1記録部
304a 第1プログラム記録部
304b 第1バッファ部
305 第1画像処理制御部
306 第1バス
307 補正係数算出部
401 第3外部I/F部
402 第2記録部
402a 第2プログラム記録部
402b 第2バッファ部
403 第2バス
404 補正量算出部
405 画素値補正部
406 画像処理部
501,502 ランダムノイズ除去部

Claims (13)

  1. 互いに異なる分光透過率を有する複数色のカラーフィルタを用いて所定の配列パターンを形成し、該配列パターンを形成する個々のカラーフィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データに基づいて、注目画素において分光感度と予め設定した基準分光感度との所定波長域における差に対応する画素値の差分を補正するための補正係数を前記複数の画素毎に記録する記録部と、
    前記記録部が記録する前記注目画素における前記補正係数と前記注目画素における周囲の画素の画素値とに基づいて、前記注目画素の画素値を補正するための補正量を算出する補正量算出部と、
    前記補正量算出部が算出した前記補正量を用いて前記注目画素の画素値を補正する画素値補正部と、
    を備えたことを特徴とする画像処理装置。
  2. 前記補正量算出部は、前記注目画素と異なる色の前記カラーフィルタを有する前記周囲の画素の画素値に基づいて、前記補正量を算出することを特徴とする請求項1に記載の画像処理装置。
  3. 前記補正量算出部は、前記注目画素と同色の前記カラーフィルタを有する前記周囲の画素の画素値に基づいて、前記補正量を算出することを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記周囲の画素は、前記注目画素に上下左右に隣接する画素、前記注目画素の斜め方向に近接する画素および前記注目画素から所定の画素間だけ離れた上下左右の画素のいずれかであることを特徴とする請求項1〜3のいずれか一つに記載の画像処理装置。
  5. 前記補正量算出部は、所定の色の前記カラーフィルタが配置された前記注目画素の前記補正量のみを算出することを特徴とする請求項1〜4のいずれか一つに記載の画像処理装置。
  6. 前記記録部は、互いに異なる波長領域の光を照射する光源毎に前記補正係数を記録し、
    前記補正量算出部は、前記光源に応じて前記補正係数を選択し、該選択した前記補正係数を用いて前記補正量を算出することを特徴とする請求項1〜5のいずれか一つに記載の画像処理装置。
  7. 前記画素値補正部は、前記注目画素の画素値に前記補正量算出部によって算出された前記補正量を加算または減算することを特徴とする請求項1〜6のいずれか一つに記載の画像処理装置。
  8. 前記画素値補正部は、前記撮像素子が連続的に生成する動画データにおける前記注目画素の画素値を、前記補正量を用いて補正することを特徴とする請求項1〜7のいずれか一つに記載の画像処理装置。
  9. 前記撮像素子によって生成された画像データに基づいて、前記注目画素において分光感度と予め設定した基準分光感度との差に対応する画素値の差分を補正するための補正係数を前記複数の画素毎に算出する補正係数算出部をさらに備えたことを特徴とする請求項1〜8のいずれか一つに記載の画像処理装置。
  10. 前記カラーフィルタの色は、赤、緑および青であることを特徴とする請求項1〜9のいずれか一つに記載の画像処理装置。
  11. 前記カラーフィルタの色は、シアン、マゼンタ、イエローおよび緑であることを特徴とする請求項1〜9のいずれか一つに記載の画像処理装置。
  12. 画像処理装置が実行する画像処理方法であって、
    互いに異なる分光透過率を有する複数色のカラーフィルタを用いて所定の配列パターンを形成し、該配列パターンを形成する個々のカラーフィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データと、注目画素において分光感度と予め設定した基準分光感度との所定波長域における差による画素値の差分を補正するための補正係数と、を取得する取得ステップと、
    前記取得ステップにおいて取得した前記注目画素の前記補正係数と前記注目画素における周囲の画素の画素値とに基づいて、前記注目画素の画素値を補正するための補正量を算出する補正量算出ステップと、
    前記補正量算出ステップにおいて算出した前記補正量を用いて前記注目画素の画素値を補正する画素値補正ステップと、
    を含むことを特徴とする画像処理方法。
  13. 互いに異なる分光透過率を有する複数色のカラーフィルタを用いて所定の配列パターンを形成し、該配列パターンを形成する個々のカラーフィルタが複数の画素のいずれかに対応する位置に配置された撮像素子によって生成された画像データと、注目画素において分光感度と予め設定した基準分光感度との所定波長域における差による画素値の差分を補正するための補正係数と、を取得する取得ステップと、
    前記取得ステップにおいて取得した前記注目画素の前記補正係数と前記注目画素における周囲の画素の画素値とに基づいて、前記注目画素の画素値を補正するための補正量を算出する補正量算出ステップと、
    前記補正量算出ステップにおいて算出した前記補正量を用いて前記注目画素の画素値を補正する画素値補正ステップと、
    を画像処理装置に実行させることを特徴とするプログラム。
JP2017504536A 2015-03-12 2015-03-12 画像処理装置、画像処理方法およびプログラム Active JP6538818B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/057372 WO2016143134A1 (ja) 2015-03-12 2015-03-12 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2016143134A1 true JPWO2016143134A1 (ja) 2017-12-28
JP6538818B2 JP6538818B2 (ja) 2019-07-03

Family

ID=56878587

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017504536A Active JP6538818B2 (ja) 2015-03-12 2015-03-12 画像処理装置、画像処理方法およびプログラム

Country Status (5)

Country Link
US (1) US10416026B2 (ja)
EP (1) EP3270586A4 (ja)
JP (1) JP6538818B2 (ja)
CN (1) CN107409200B (ja)
WO (1) WO2016143134A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10514335B2 (en) * 2017-09-08 2019-12-24 Arizona Board Of Regents On Behalf Of The University Of Arizona Systems and methods for optical spectrometer calibration
WO2019069414A1 (ja) * 2017-10-04 2019-04-11 オリンパス株式会社 内視鏡装置、画像処理方法およびプログラム
CN113518574B (zh) * 2019-03-05 2024-06-18 奥林巴斯株式会社 内窥镜装置和图像处理方法
WO2020254438A1 (en) * 2019-06-18 2020-12-24 ams Sensors Germany GmbH Spectral reconstruction of detector sensitivity
WO2021131859A1 (ja) * 2019-12-27 2021-07-01 株式会社ソシオネクスト 画像処理装置および画像処理方法
CN116664577B (zh) * 2023-08-01 2023-11-14 山东天亚达新材料科技有限公司 基于碳纤维连接头图像处理的异常识别提取方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007010364A (ja) * 2005-06-28 2007-01-18 Konica Minolta Sensing Inc 分光装置の波長校正方法及び分光装置
US20090147098A1 (en) * 2007-12-10 2009-06-11 Omnivision Technologies, Inc. Image sensor apparatus and method for color correction with an illuminant-dependent color correction matrix
JP2010193378A (ja) * 2009-02-20 2010-09-02 Nikon Corp 調整装置及び調整方法、並びに撮像装置
JP2010190741A (ja) * 2009-02-18 2010-09-02 Nikon Corp 測定装置、測定方法および撮像装置
JP2011521591A (ja) * 2008-05-22 2011-07-21 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. カメラセンサの補正
JP2011254321A (ja) * 2010-06-02 2011-12-15 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7301571B2 (en) * 2003-01-17 2007-11-27 Fujifilm Corporation Method and imaging apparatus for correcting defective pixel of solid-state image sensor, and method for creating pixel information
WO2010123499A1 (en) * 2009-04-22 2010-10-28 Hewlett-Packard Development Company, L.P. Spatially-varying spectral response calibration data
US8619163B2 (en) * 2009-09-18 2013-12-31 Canon Kabushiki Kaisha Solid state imaging using a correction parameter for correcting a cross talk between adjacent pixels
JP2012209709A (ja) * 2011-03-29 2012-10-25 Sony Corp 画像処理装置および方法、記録媒体並びにプログラム
CN103597821B (zh) * 2011-07-13 2015-11-25 富士胶片株式会社 图像拾取设备和信号值校正方法
US9172869B2 (en) * 2013-12-04 2015-10-27 Omnivision Technologies, Inc. Image data aggregating high dynamic range imaging systems and associated methods
KR102521043B1 (ko) * 2014-03-17 2023-04-14 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 비백색광 일반 조명기를 포함하는 수술 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007010364A (ja) * 2005-06-28 2007-01-18 Konica Minolta Sensing Inc 分光装置の波長校正方法及び分光装置
US20090147098A1 (en) * 2007-12-10 2009-06-11 Omnivision Technologies, Inc. Image sensor apparatus and method for color correction with an illuminant-dependent color correction matrix
JP2011521591A (ja) * 2008-05-22 2011-07-21 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. カメラセンサの補正
JP2010190741A (ja) * 2009-02-18 2010-09-02 Nikon Corp 測定装置、測定方法および撮像装置
JP2010193378A (ja) * 2009-02-20 2010-09-02 Nikon Corp 調整装置及び調整方法、並びに撮像装置
JP2011254321A (ja) * 2010-06-02 2011-12-15 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
JP6538818B2 (ja) 2019-07-03
EP3270586A4 (en) 2018-09-26
US20180010966A1 (en) 2018-01-11
EP3270586A1 (en) 2018-01-17
CN107409200B (zh) 2019-02-12
WO2016143134A1 (ja) 2016-09-15
CN107409200A (zh) 2017-11-28
US10416026B2 (en) 2019-09-17

Similar Documents

Publication Publication Date Title
JP6538819B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6725613B2 (ja) 撮像装置および撮像処理方法
JP5527448B2 (ja) 画像入力装置
TWI462055B (zh) 具有合成全色影像之彩色濾光器陣列影像
TWI496463B (zh) 形成全彩色影像之方法
US10630920B2 (en) Image processing apparatus
JP5349790B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6538818B2 (ja) 画像処理装置、画像処理方法およびプログラム
EP2594062B1 (en) Flash system for multi-aperture imaging
JP5397788B2 (ja) 画像入力装置
JP2009260620A (ja) 画像処理装置及び画像処理方法
JP2020533883A (ja) ダブルカメラベースの撮像のための方法および装置
WO2017119134A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP2009284009A (ja) 画像処理装置、撮像装置及び画像処理方法
US10623674B2 (en) Image processing device, image processing method and computer readable recording medium
JP5464008B2 (ja) 画像入力装置
WO2018020687A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP2010098085A (ja) 固体撮像素子及びそれを備えた撮像装置

Legal Events

Date Code Title Description
A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A527

Effective date: 20170829

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190606

R151 Written notification of patent or utility model registration

Ref document number: 6538818

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250