JPWO2010010871A1 - 撮像装置 - Google Patents

Abstract

【課題】非基準光電変換特性により得られた画素値をばらつきなく基準光電変換特性により得られた画素値に変換することができ、固定パターンノイズが画像に現れることを防止する。撮像センサ３は、変曲点を境に低輝度側をリニア特性、高輝度側をログ特性とする光電変換特性を有する画素からなる。変換情報記憶部６８は、各画素におけるログ特性の近似式である２種類の一次関数（ｙ＝ｃ・ｌｏｇ（ｘ）＋ｄ、ｙ＝ｅ・ｌｏｇ（ｘ）＋ｆ）の係数ｃ，ｄ，ｅ，ｆを変換情報として記憶する。但し、ｙは画素値を示し、ｘは入射光の輝度値を示す。リニア変換部６４は、係数によって規定される近似式を用いてログ特性により得られた画素値をリニア特性により得られた画素値に変換する。

Description

本発明は、変曲点を境に異なる光電変換特性を有する複数の画素からなる撮像素子を備える撮像装置に関するものである。

近年、変曲点を境に異なる光電変換特性を有する複数の画素からなる撮像素子、例えば、変曲点よりも低輝度側は線形の光電変換特性（以下、リニア特性という）、高輝度側は対数の光電変換特性（以下、ログ特性という）を有する撮像素子が知られている。なお、リニア特性とログ特性とからなる光電変換特性をリニアログ特性という。

このような撮像素子を備える撮像装置においては、ログ特性により得られた画素値をリニア特性により得られた画素値に変換することがなされている。

しかしながら、リニア特性とログ特性との境界においては両特性の過渡的な光電変換特性を有する領域があるため、ログ特性の全域をリニア特性に変換すると、過渡的な光電変換特性により得られた画素値にがリニア特性により得られた画素値に精度良く変換されないという問題がある。

そこで、特許文献１には、リニア特性とログ特性により得られた画素値と過渡的な光電変換特性により得られた画素値とを基準光電変換特性により得られた画素値に変換する撮像装置が開示されている。

ところで、撮像素子においては、各画素におけるログ特性のばらつきが大きいことが知られている。図１３はリニアログ特性を示したグラフであり、縦軸は画素値を示し、横軸は輝度を対数で示したものである。図１４は、図１３に示すログ特性をリニア特性に変換した場合のリニア特性を示したグラフであり、縦軸は画素値を示し、横軸は輝度を対数で示したものである。

図１３に示すように、各画素のリニアログ特性をグラフ上にプロットすると、リニア特性においてはばらつきが少ないことが分かる。一方、ログ特性においては、実線で示す各画素のログ特性が、点線で示す想定される全画素共通のログ特性に一致せず、大きくばらついていることが分かる。

しかしながら、特許文献１の撮像装置は、各画素におけるログ特性のばらつきを考慮せず、全画素共通のログ特性の近似式を用いて、ログ特性により得られた画素値がリニア特性により得られた画素値に変換されている。

そのため、図１４に示すように各画素の変換後のリニア特性が、変換されるべきリニア特性に一致せず、ログ特性により得られた画素値を、ばらつきなくリニア特性により得られた画素値に変換できないという問題があった。その結果、画像中に固定パターンノイズが生じるという問題があった。

本発明の目的は、非基準光電変換特性により得られた画素値をばらつきなく基準光電変換特性により得られた画素値に変換することができ、固定パターンノイズが画像に現れることを防止することができる撮像装置を提供することである。

特開２００７−２５１８９８号公報

本発明の一局面による撮像装置は、変曲点を境に異なる光電変換特性を有する複数の画素からなる撮像素子と、前記異なる光電変換特性のうち、一方を基準光電変換特性とし、他方を非基準光電変換特性として、前記非基準光電変換特性によって得られた画素値を、前記基準光電変換特性によって得られた画素値に変換する特性変換部とを備え、前記特性変換部は、各画素の非基準光電変換特性のばらつきに起因する、各画素の変換後の基準光電変換特性のばらつきをなくすために、各画素において予め定められた変換情報を用いて前記非基準光電変換特性により得られた画素値を前記基準光電変換特性により得られた画素値に変換する。

本発明の実施の形態１による撮像装置のブロック図を示している。 図１に示す画像処理部のブロック図を示している。 本発明の実施の形態１における撮像センサの光電変換特性を示すグラフである。 本発明の実施の形態２における撮像センサの光電変換特性を示すグラフである。 本発明の実施の形態３による画像処理部のブロック図を示している。 本発明の実施の形態３における撮像センサの光電変換特性を示すグラフである。 ある２つのルックアップテーブルにおける画素値と補正量との関係を示したグラフである。 本発明の実施の形態５による画像処理部のブロック図である。 本発明の実施の形態５による撮像センサの光電変換特性を示したグラフである。 係数ｇと変曲点の画素値との関係を示すグラフである。 係数ｈと変曲点の画素値との関係を示すグラフである。 係数ｉと変曲点の画素値との関係を示すグラフである。 リニアログ特性を示したグラフである。 図１３に示すログ特性をリニア特性に変換した場合のリニア特性を示したグラフである。

（実施の形態１）
図１は、本発明の実施の形態１による撮像装置のブロック図を示している。図１に示すように撮像装置は、デジタルカメラから構成され、レンズ部２、撮像センサ３（撮像素子の一例）、アンプ４、Ａ／Ｄ変換部５、画像処理部６、画像メモリ７、制御部８、モニタ部９、及び操作部１０を備えている。

レンズ部２は、被写体の光像を取り込み、撮像センサ３へ導く光学レンズ系から構成される。光学レンズ系としては、被写体の光像の光軸Ｌに沿って直列的に配置される例えばズームレンズやフォーカスレンズ、その他の固定レンズブロック等を採用することができる。また、レンズ部２は、透過光量を調節するための絞り（図略）、シャッタ（図略）等を備え、制御部８の制御の下、絞り及びシャッタの駆動が制御される。

撮像センサ３は、レンズ部２において結像された光像を光電変換して、光量に応じたレベルを有するＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分の画素値からなる画像データを生成し、アンプ４へ出力する。ここで、撮像センサ３としては、ＣＭＯＳイメージセンサ、ＶＭＩＳ（Threshold Voltage Modulation Image Sensor）イメージセンサ、又はＣＣＤイメージセンサ等の撮像センサを採用してもよい。また、本実施の形態では、撮像センサ３として、各色成分の画素が例えばベイヤー配列により配列された撮像センサが採用されている。

アンプ４は、例えばＡＧＣ（オートゲインコントロール）回路、及びＣＤＳ（相関二重サンプリング）回路等を含み、撮像センサ３から出力された画像データを増幅する。Ａ／Ｄ変換部５は、アンプ４により増幅されたＲ，Ｇ，Ｂ各色の画像データをＲ，Ｇ，Ｂ各色のデジタルの画像データに変換する。本実施の形態では、撮像センサ３の各画素で受光された画像データは、例えば１２ビットの階調値を有する画像データに変換される。

画像処理部６は、後述するような画像処理を実行する。画像メモリ７は、例えばＲＡＭ（Random Access Memory）から構成され、画像処理部６で画像処理が施された画像データ等を保存する。

制御部８は、各種制御プログラム等を記憶するＲＯＭ、一時的にデータを格納するＲＡＭ及び制御プログラム等をＲＯＭから読み出して実行する中央演算処理装置（ＣＰＵ）等からなり、撮像装置全体の動作制御を司る。

モニタ部９は、例えば撮像装置のハウジングの背面に配設されたカラー液晶表示器が採用され、撮像センサ３で撮影された画像或いは画像メモリ７に保存されていた画像等をモニタ表示する。

操作部１０は、電源スイッチ、レリーズスイッチ、各種撮影モードを設定するモード設定スイッチ、メニュー選択スイッチ等の各種の操作スイッチ群等を含む。レリーズスイッチが押されることで、撮像動作、すなわち撮像センサ３により被写体が撮像され、この撮像により得られた画像データに対して所定の画像処理が施され、画像メモリ７等に記録されるというように一連の撮影動作が実行される。なお、画像メモリ７等に記憶せず、画像処理部６からデジタル信号として出力したり、Ｄ／Ａ変換してＮＴＳＣ等のアナログ信号として出力したりして一連の撮像動作を終えてもよい。

図２は、図１に示す画像処理部６のブロック図を示している。画像処理部６は、黒バラツキ補正部６１、欠陥補間部６２、変曲点バラツキ補正部６３、リニア変換部６４（特性変換部の一例）、階調変換部６５、ベイヤー補間部６６、トーンカーブ補正部６７、及び変換情報記憶部６８を備えている。

黒バラツキ補正部６１は、撮像センサ３を構成する各画素の黒レベルのばらつきを補正する。欠陥補間部６２は、所定の基準値以下の画素値しか得ることができない欠陥画素の画素値を、周辺の画素の画素値を用いて補間する補間処理を行う。ここで、補間処理としては例えば、線形補間やスプライン補間を採用することができる。

変曲点バラツキ補正部６３は、各画素における光電変換特性の変曲点のバラツキを補正する。本実施の形態では、撮像センサ３を構成する各画素は、図３に示すように、変曲点Ｐ１を境に低輝度側がリニア特性を有し、高輝度側がログ特性を有するリニアログ特性の光電変換特性を有するリニアログセンサが採用されている。

そして、この変曲点Ｐ１は各画素においてばらつきがある。そこで、変曲点バラツキ補正部６３は、この変曲点Ｐ１のばらつきを補正する処理を行う。具体的には、変曲点バラツキ補正部６３は、各画素の変曲点が予め定められた基準となる変曲点上にくるように各画素の光電変換特性を補正するための所定の補正係数を用いて、各画素の画素値を補正することにより、変曲点Ｐ１のばらつきを補正する。

リニア変換部６４は、ログ特性（非基準光電変換特性の一例）により得られた画素値をリニア特性（基準光電変換特性の一例）により得られた画素値に変換する。ここで、リニア変換部６４は、各画素において予め定められた変換情報を用いて各画素のログ特性における近似式を算出し、算出した近似式を用いてログ特性により得られた画素値をリニア特性により得られた画素値に変換する。本実施の形態では、変換情報として、各画素におけるログ特性の近似式の係数が採用される。そして、リニア変換部６４は、各画素におけるログ特性の近似式の係数によって規定される近似式を用いてログ特性により得られた画素値をリニア特性により得られた画素値に変換する。

ここで、ログ特性により得られた画素値とは、図３に示すように変曲点Ｐ１よりも高輝度側のログ特性領域Ｄ１とログ特性領域Ｄ２とからなるログ特性領域に属する画素値を示す。また、リニア特性により得られた画素値とは、変曲点Ｐ１よりも低輝度側のリニア特性領域に属する画素値を示す。

図２に示す変換情報記憶部６８は、変換情報等を記憶する。階調変換部６５は、リニア変換部６４から出力された画素値からなる１枚の画像データのダイナミックレンジを圧縮するためのダイナミックレンジ圧縮処理を実行する。ここで、階調変換部６５は、リニア変換部６４から出力された画素値からなる１枚の画像データに対して、所定行×所定列のローパスフィルタを用いたデジタルフィルタ処理を施し、当該画像データを照明成分と反射率成分とに分離し、照明成分のダイナミックレンジが所定の圧縮特性となるように照明成分を圧縮し、圧縮後の照明成分に反射率成分を乗じることでダイナミックレンジ圧縮処理を実行する。

ベイヤー補間部６６は、撮像センサ３を構成する各画素がベイヤー配列であるために生じる各色成分における欠落画素を補間するための補間処理であるベイヤー補間を実行する。なお、撮像センサ３がモノクロの撮像センサである場合はベイヤー補間部６６を省略すればよい。トーンカーブ補正部６７は、ベイヤー補間部６６から出力された画像データをガンマ補正する。

図３は、本実施の形態における撮像センサ３の光電変換特性を示すグラフであり、縦軸は画素値を示し、横軸は入射光の輝度を対数で示したものである。以下、図３を用いてリニア変換部６４の処理について説明する。ここで、リニア変換部６４は、各画素のログ特性を２つの一次関数である近似式Ｅ１，Ｅ２を用いて近似する。近似式Ｅ１は、ログ特性の変曲点Ｐ２よりも低輝度側のログ特性を一次関数で近似したものであり、近似式Ｅ２は、変曲点Ｐ２よりも高輝度側のログ特性を一次関数で近似したものである。

また、光電変換特性がリニア特性により表される領域をリニア特性領域と呼び、光電変換特性が近似式Ｅ１により表される領域をログ特性領域Ｄ１と呼び、光電変換特性が近似式Ｅ２により表される領域をログ特性領域Ｄ２と呼ぶことにする。

近似式Ｅ１は、ｙ＝ｃ・ｌｏｇ（ｘ）＋ｄにより表され、近似式Ｅ２はｙ＝ｅ・ｌｏｇ（ｘ）＋ｆにより表される。また、リニア特性はｙ＝ａ・ｘ＋ｂで表される。なお、ｙは画素値を示し、ｘは輝度を示し、ａ，ｂ，ｃ，ｄ，ｅ，ｆは係数を示している。

図３において、ｓは変曲点Ｐ１の画素値を示し、ｔは近似式Ｅ１と近似式Ｅ２との交点Ｐ２´の画素値を示している。

ログ特性は各画素において大きくばらついているため、近似式Ｅ１，Ｅ２の係数ｃ，ｄ，ｅ，ｆも各画素においてばらついている。そこで、本実施の形態では、各画素における係数ｃ，ｄ，ｅ，ｆを実験的に予め求めておき、この係数を予め変換情報記憶部６８に記憶させておく。

なお、リニア特性は各画素において大きくばらついていないため、全画素共通の係数ａ，ｂを実験的に予め求めておき、この係数を予め変換情報記憶部６８に記憶させておく。また、ｓ，ｔも全画素共通の値を予め実験的に求めておき、この値を予め変換情報記憶部６８に記憶させておく。

そして、リニア変換部６４は、以下の処理を実行する。
ｉｆ（ｖ≦ｓ）
ｖ´＝ｖ （１）
ｅｌｓｅ ｉｆ（ｖ≦ｔ）
ｖ´＝ｅｘｐ（（ｖ−ｄ）／ｃ）・ａ＋ｂ （２）
ｅｌｓｅ
ｖ´＝ｅｘｐ（（ｖ−ｆ）／ｅ）・ａ＋ｂ （３）
なお、ｖはある画素の画素値を示し、ｖ´は処理後の画素値を示している。

すなわち、リニア変換部６４は、ｖがｖ≦ｓ、つまり、ｖがリニア特性により得られた画素値である場合、式（１）の処理を実行する。

また、リニア変換部６４は、ｖがｓ＜ｖ≦ｔ、つまり、ｖがログ特性領域Ｄ１により得られた画素値である場合、式（２）の処理を実行する。

また、リニア変換部６４は、ｖがｖ＞ｔ、つまり、ｖがログ特性領域Ｄ２により得られた画素値である場合、式（３）の処理を実行する。なお、式（２）は近似式Ｅ１をｘについて解き、ｙ＝ａ・ｘ＋ｂに代入することで得られ、式（３）は近似式Ｅ２をｘについて解き、ｙ＝ａ・ｘ＋ｂに代入することで得られる。

次に、本実施の形態による撮像装置の動作について説明する。まず、操作部１０がユーザからの撮像指令を受け付けると、撮像センサ３により撮像された画像データはアンプ４により所定レベルに増幅され、Ａ／Ｄ変換部５によりＡ／Ｄ変換がなされた後、画像処理部６に入力される。

画像処理部６に入力された画像データは、黒バラツキ補正部６１により黒レベルが補正され、欠陥補間部６２により欠陥画素が補間され、変曲点バラツキ補正部６３により変曲点のばらつきが補正された後、リニア変換部６４に入力される。

リニア変換部６４に入力された画像データは、画素値ｖがｖ≦ｓの画素は式（１）により、ｖ≦ｔの画素は式（２）により、ｖ＞ｔの画素は式（３）により処理される。

リニア変換部６４により処理された画像データは、階調変換部６５によりダイナミックレンジが圧縮され、ベイヤー補間部６６によりベイヤー補間が行われ、トーンカーブ補正部６７によりガンマ補正が行われ画像メモリ７に格納される。

このように本実施の形態による撮像装置によれば、各画素に対して予め定められた係数ａ〜ｅによって規定される近似式Ｅ１，Ｅ２を用いて、ログ特性により得られた画素値がリニア特性に変換されるため、ログ特性により得られた画素値を、ばらつきなくリニア特性により得られた画素値に変換することができる。よって、固定パターンノイズが画像に現れることを防止することができる。

なお、本実施の形態においては、ログ特性を近似式Ｅ１，Ｅ２と２つの近似式により近似したが、これに限定されず、１つの近似式により近似してもよいし、３つ以上の近似式により近似してもよい。この場合、各近似式の各画素における係数を予め実験的に求め、この係数を予め変換情報記憶部６８に記憶させておけばよい。そして、リニア変換部６４は、画素値の値に応じて対応する近似式を特定し、特定した近似式を用いてログ特性により得られた画素値をリニア特性により得られた画素値に変換すればよい。

また、本実施の形態では、非基準光電変換特性としてログ特性、基準光電変換特性としてログ特性を採用したが、これに限定されず、非基準光電変換特性をリニア特性とし、基準光電変換特性としてログ特性を採用してもよい。これらの変形例は下記の実施の形態にも適用可能である。

（実施の形態２）
実施の形態２による撮像装置は、ログ特性の近似式として二次関数を採用したことを特徴とする。なお、本実施の形態において実施の形態１と同一のものは説明を省略する。

本実施の形態において、リニア変換部６４は、各画素のログ特性を二次関数で近似した近似式Ｅ３を用いて、ログ特性により得られた画素値をリニア特性により得られた画素値に変換する。また、変換情報として、近似式Ｅ３の各画素における係数を採用する。

図４は、本実施の形態における撮像センサ３の光電変換特性を示すグラフであり、縦軸は画素値を示し、横軸は入射光の輝度を対数で示したものである。

以下、図４を用いてリニア変換部６４の処理について説明する。近似式Ｅ３は、ｙ＝ｇ・（ｌｏｇ（ｘ））^２＋ｈ・ｌｏｇ（ｘ）＋ｉにより表される。なお、ｙは画素値を示し、ｘは輝度を示し、ｇ，ｈ，ｉは係数を示している。

ログ特性は各画素において大きくばらついているため、近似式Ｅ３の係数ｇ，ｈ，ｉも各画素においてばらついている。そこで、本実施の形態では、各画素における係数ｇ，ｈ，ｉを実験的に予め求めておき、この係数を予め変換情報記憶部６８に記憶させておく。

そして、リニア変換部６４は、以下の処理を実行する。
ｉｆ（ｖ≦ｓ）
ｖ´＝ｖ （４）
ｅｌｓｅ
ｖ´＝ｅｘｐ（（−ｈ＋（ｈ^２−４・ｇ・ｉ）^１／２）／２・ｇ）・ａ＋ｂ （５）

すなわち、リニア変換部６４は、画素値ｖがｖ≦ｓ、つまり、ｖがリニア特性により得られた画素値である場合、式（４）の処理を行う。

また、リニア変換部６４は、画素値ｖがｖ＞ｓ、つまり、ｖがログ特性により得られた画素値である場合、式（５）の処理を行う。なお、式（５）は近似式Ｅ３をｘについて解き、ｙ＝ａ・ｘ＋ｂに代入することで得られる。

このように、本実施の形態における撮像装置によれば、各画素におけるログ特性を精度良く近似した二次関数を用いて、ログ特性により得られた画素値がリニア特性により得られた画素値に変換されているため、ログ特性により得られた画素値を、ばらつきなくリニア特性に変換することが可能となり、画像中に固定パターンノイズが生じることを防止することができる。

（実施の形態３）
実施の形態３による撮像装置は、複数のルックアップテーブルを用いて、リニア特性により得られた画素値に変換することを特徴とする。なお、本実施の形態において、実施の形態１、２と同一のものは説明を省略する。

図５は、本実施の形態による画像処理部６のブロック図を示している。図５に示すように画像処理部６は、テーブル記憶部６９を備えている。テーブル記憶部６９は、各画素におけるログ特性を予め定められた全画素共通のログ特性に補正するためのｎ（ｎは２以上の整数）個のルックアップテーブルＬＵＴ１〜ＬＵＴｎを記憶する。

本実施の形態において、変換情報は、各画素におけるログ特性を、想定される全画素共通のログ特性に補正するうえで最も好ましいルックアップテーブルを複数のルックアップテーブルの中から選択するための情報である。具体的には、ある画素αは、ルックアップテーブルＬＵＴ２を選択する、ある画素βは、ルックアップテーブルＬＵＴ５を選択するというような情報が変換情報となる。

また、本実施の形態において、リニア変換部６４は、変換情報を用いてルックアップテーブルＬＵＴ１〜ＬＵＴｎの中から１つのルックアップテーブルを選択し、選択したルックアップテーブルを用いてログ特性により得られた画素値を補正し、補正した画素値をリニア特性により得られた画素値に変換する。

図６は、本実施の形態における撮像センサ３の光電変換特性を示すグラフであり、縦軸は画素値を示し、横軸は入射光の輝度を対数で示したものである。以下、図６を用いてリニア変換部６４の処理について説明する。

図６に示す実線はある画素αのログ特性を示し、点線は全画素共通のログ特性を示している。この全画素共通のログ特性は、例えば一次関数で近似されｙ＝ｃ・ｌｏｇ（ｘ）＋ｄにより表される。ここで、ｙは画素値を示し、ｘは輝度を示し、ｃ，ｄは予め定められた係数を示している。

そして、リニア変換部６４は、変換情報から画素αに対応付けられたルックアップテーブルを選択し、選択したルックアップテーブルにログ特性により得られた画素値を入力する。そうすると、入力された画素値は、点線で示す全画素共通のログ特性の画素値となるように補正される。

具体的には、リニア変換部６４は、以下の処理を実行する。
ｉｆ（ｖ≦ｓ）
ｖ´＝ｖ （６）
ｅｌｓｅ
ｖ´＝ｅｘｐ（（ＬＵＴｉ（ｖ）−ｄ）／ｃ）・ａ＋ｂ （７）
但し、ＬＵＴｉ（ｖ）のｉはルックアップテーブルを特定するための番号であり、ｉ＝１〜ｎである。

すなわち、リニア変換部６４は、画素値ｖがｖ≦ｓ、つまり、ｖが線形特性により得られた画素値である場合、式（６）の処理を行う。

また、リニア変換部６４は、画素値ｖがｖ＞ｓ、つまり、ｖがログ特性により得られた画素値である場合、式（７）の処理を行う。なお、式（７）は全画素共通のログ特性の近似式であるｙ＝ＬＵＴｉ（ｖ）＝ｃ・ｌｏｇ（ｘ）＋ｄをｘについて解き、ｙ＝ａ・ｘ＋ｂに代入することで得られる。

ログ特性は、各画素において大きくばらついているため、本来的には各画素に対応するルックアップテーブルを予め用意しておき、このルックアップテーブルを用いてログ特性により得られた画素値を補正すると、当該画素値は確実に全画素共通のログ特性の画素値に補正することができる。

しかしながら、各画素に対応するルックアップテーブルをテーブル記憶部６９に記憶させると、テーブル記憶部６９の記憶容量を大規模化しなければならず、好ましくない。そこで、本実施の形態では、代表的なｎ個のルックアップテーブルＬＵＴ１〜ＬＵＴｎを予め用意しておく。そして、変換情報は、これらのルックアップテーブルＬＵＴ１〜ＬＵＴｎのうち、各画素のログ特性を全画素共通のログ特性に最も近く補正することができるように、各画素とルックアップテーブルとを対応付ける。これにより、各画素におけるログ特性のばらつきが抑制され、ログ特性により得られた画素値をばらつきなくリニア特性に変換することができる。なお、ｎの値は撮像センサ３の画素数よりも小さい。

図７は、ある２つのルックアップテーブルにおける画素値と補正量との関係を示したグラフであり、縦軸は補正量Δｖを示し、横軸は画素値を示している。実線はあるルックアップテーブルＬＵＴａにおける補正量を示し、点線は別のルックアップテーブルＬＵＴｂにおける補正量を示している。なお、補正量Δｖは、各画素のログ特性と、全画素共通のログ特性との関係から実験的に予め得られた値が採用され、元の画素値に加算される場合はプラスの値となり、元の画素値から減算される場合はマイナスの値となる。

そして、リニア変換部６４は、変換情報によりある画素に対して例えばルックアップテーブルＬＵＴａが対応付けられており、ｓ１の画素値が入力されたとすると、ｓ１をルックアップテーブルＬＵＴａに入力する。そうすると、ルックアップテーブルＬＵＴａからｓ１＋Δｖ１が出力され、この画素値が全画素共通の光電変換特性となるように補正される。そして、リニア変換部６４は、ｓ１＋Δｖ１を式（７）のＬＵＴｉ（ｖ）に代入することで、ｖ´を算出し、ｓ１をリニア特性により得られた画素値に変換する。

このように、本実施の形態による撮像装置によれば、各画素に対するルックアップテーブルを用意しなくても、ログ特性により得られた画素値をばらつきなくリニア特性により得られた画素値に変換することができ、ルックアップテーブルを記憶するためのメモリ容量を削減することができる。

（実施の形態４）
実施の形態４による撮像装置は、１つのルックアップテーブルを用いてリニア特性に変換することを特徴とする。なお、本実施の形態において、実施の形態１〜３と同一のものは説明を省略する。

本実施の形態における画像処理部６のブロック図は図５と同一である。テーブル記憶部６９は、各画素におけるログ特性を予め定められた全画素共通のログ特性に補正するための１個のルックアップテーブルを記憶する。

本実施の形態において、変換情報は、ログ特性により得られた画素値を、全画素共通のログ特性に変更するために、ルックアップテーブルを各画素に応じたルックアップテーブルに変更するための変更値である。具体的には、テーブル記憶部６９が記憶するルックアップテーブルをＬＵＴｏ（ｖ）と表し、各画素に応じたルックアップテーブルをＬＵＴｉ（ｖ）と表すと、変更値Ｋｉは、ＬＵＴｏ（ｖ・Ｋｉ）＝ＬＵＴｉ（ｖ）により与えられる。但し、ｉは画素を特定するための番号である。すなわち、変更値Ｋｉは各画素に応じた値が存在する。また、変更値Ｋｉは実験的に予め得られた値が採用される。

リニア変換部６４は、変更値Ｋｉを用いて変更されたルックアップテーブルＬＵＴｉ（ｖ・Ｋｉ）を用いて、ログ特性により得られた画素値をリニア特性により得られた画素値に変換する。

具体的には、リニア変換部６４は、以下の処理を実行する。
ｉｆ（ｖ≦ｓ）
ｖ´＝ｖ （８）
ｅｌｓｅ
ｖ´＝ｅｘｐ（（ＬＵＴｏ（ｖ・Ｋｉ）−ｄ）／ｃ）・ａ＋ｂ （９）

すなわち、リニア変換部６４は、画素値ｖがｖ≦ｓ、つまり、ｖがリニア特性により得られた画素値である場合、式（８）の処理を行う。

また、リニア変換部６４は、画素値ｖがｓ＜ｖ、つまり、ｖがログ特性により得られた画素値である場合、式（９）の処理を行う。

このように、本実施の形態による撮像装置によれば、各画素に対するルックアップテーブルを用意しなくても、１つのルックアップテーブルＬＵＴｏ（ｘ）を用意するだけで、ログ特性により得られた画素値をばらつきなく基準光電変換特性により得られた画素値に変換することができ、テーブル記憶部６９のメモリ容量を削減することができる。

（実施の形態５）
実施の形態５による撮像装置は、各画素における変曲点から各画素におけるログ特性の近似式を求め、この近似式を用いてログ特性により得られた画素値をリニア特性により得られた画素値に変換することを特徴とする。なお、本実施の形態において実施の形態１〜４と同一のものは説明を省略する。図８は、実施の形態５による画像処理部６のブロック図である。図８に示すように実施の形態５においては、変曲点のばらつきに着目しているため、変曲点バラツキ補正部６３が省かれている。

また、本実施の形態において、変換情報としては、各画素における変曲点からログ特性の近似式の係数を定めるために予め定められた係数算出関数が採用される。

リニア変換部６４は、各画素における変曲点から係数算出関数を用いて各画素における近似式の係数を算出し、算出した係数によって規定される近似式を用いてログ特性により得られた画素値をリニア特性により得られた画素値に変換する。ここで、ログ特性の近似式としては、下記の式（１０）を採用することができる。そのため、近似式の係数は、ｇ，ｈ，ｉとなる。
ｙ＝ｇ・（ｌｏｇ（ｘ））^２＋ｈ・ｌｏｇ（ｘ）＋ｉ （１０）

図９は、本実施の形態による撮像センサ３の光電変換特性を示したグラフであり、縦軸は画素値を示し、横軸は輝度を示している。図９に示すように各画素のログ特性はばらつきを有していると共に、変曲点Ｐ１もばらつきを有している。ここで、ログ特性のばらつきは、変曲点の画素値（ｓ：ｓ１〜ｓ３）に応じて変化する。

図１０〜図１２はそれぞれ係数ｇと変曲点の画素値ｓとの関係、係数ｈと変曲点の画素値ｓとの関係、及び係数ｉと変曲点の画素値ｓとの関係を示すグラフであり、縦軸は係数ｇ，ｈ，ｉの値を示し、横軸は変曲点の画素値ｓを示している。なお、図１０〜図１２に示す各点は、各画素における変曲点の画素値ｓと係数ｇ，ｈ，ｉとの測定結果をプロットしたものである。図１０〜図１２に示すように、係数ｇ，ｈ，ｉは、いずれも変曲点の画素値ｓに対してほぼ線形に変化しており、係数ｇ，ｈ，ｉと変曲点の画素値ｓとは相関があるといえる。なお、図１０〜図１２における、相関係数は０．８以上である。したがって、係数ｇ，ｈ，ｉと変曲点の画素値ｓとの関係は、下記の式（１１）〜（１３）に示すように一次関数で近似することが可能となる。
ｇ＝ｊ・ｓ＋ｋ （１１）
ｈ＝ｌ・ｓ＋ｍ （１２）
ｉ＝ｎ・ｓ＋ｏ （１３）

そこで、本実施の形態では、図１０〜図１２に示す測定結果から、式（１１）〜（１３）を係数算出関数として予め算出しておき、変換情報記憶部６８に記憶させておく。具体的には、式（１１）〜（１３）の係数ｊ，ｋ，ｌ，ｍ，ｎ，ｏを変換情報記憶部６８に記憶させておく。また、各画素における変曲点も実験的に予め求めておき、変換情報記憶部６８に記憶させておく。

そして、リニア変換部６４は、各画素における変曲点の画素値ｓを式（１１）〜（１３）に代入すると共に、係数ｊ，ｋ，ｌ，ｍ，ｎ，ｏを変換情報記憶部６８から読み出し、式（１１）〜（１３）に代入し、係数ｇ，ｈ，ｉを算出する。そして、リニア変換部６４は、算出した係数ｇ，ｈ，ｉを式（１０）に代入してログ特性の近似式を求め、この近似式を用いてログ特性により得られた画素値をリニア特性により得られた画素値に変換する。

具体的には、リニア変換部６４は、以下の処理を実行する。
ｉｆ（ｖ≦ｓ）
ｖ´＝ｖ
ｅｌｓｅ｛
ｇ＝ｊ・ｓ＋ｋ
ｈ＝ｌ・ｓ＋ｍ
ｉ＝ｎ・ｓ＋ｏ
ｖ´＝ｅｘｐ（（−ｈ＋（ｈ^２−４・ｇ・ｉ）^１／２）／２・ｇ）・ａ＋ｂ
｝
なお、ｅｌｓｅのかっこ内の１〜４行目の式はそれぞれ、式（１１）〜（１３），（５）である。

ｖ≦ｓ、すなわち、ｖがリニア特性により得られた画素値である場合、リニア変換部６４は、ｖ´＝ｖを実行する。一方、ｖ＞ｓ、すなわち、ｖがログ特性により得られた画素値である場合、リニア変換部６４は、式（１０）〜（１３）を実行する。

このように、本実施の形態の撮像装置によれば、各画素における変曲点の画素値ｓから各画素における近似式の係数が算出され、算出された係数によって規定される近似式を用いてログ特性により得られた画素値がリニア特性により得られた画素値に変換されるため、当該画素値を、ばらつきなくリニア特性により得られた画素値に変換することができる。

なお、本実施の形態では、ログ特性の近似式として、式（１０）に示す二次関数を用いたが、これに限定されず、一次関数を用いてもよい。この場合、一次関数の各係数と変曲点の画素値との関係を示す係数算出関数の係数を予め求めておき、変換情報記憶部６８に記憶させておけばよい。

また、実施の形態１〜５では、ログ特性の近似式として、一次関数又は二次関数が用いられていたが、これに限定されず、三次関数、四次関数等のより高次元の関数を用いてもよい。こうすることで、ログ特性をより精度良く近似することが可能となるが、その分、変換情報記憶部６８に記憶させておくべき係数等が増大するため、一次関数又は二次関数を用いることが好ましい。

上述の実施の形態の技術的特徴は以下のようにまとめることができる。

（１）上記撮像装置は、変曲点を境に異なる光電変換特性を有する複数の画素からなる撮像素子と、前記異なる光電変換特性のうち、一方を基準光電変換特性とし、他方を非基準光電変換特性として、前記非基準光電変換特性によって得られた画素値を、前記基準光電変換特性によって得られた画素値に変換する特性変換部とを備え、前記特性変換部は、各画素の非基準光電変換特性のばらつきに起因する、各画素の変換後の基準光電変換特性のばらつきをなくすために、各画素において予め定められた変換情報を用いて前記非基準光電変換特性により得られた画素値を前記基準光電変換特性により得られた画素値に変換する。

この構成によれば、各画素の非基準光電変換特性のばらつきに起因する、各画素の変換後の基準光電変換特性のばらつきをなくすために、各画素において予め定められた変換情報を用いて、非基準光電変換特性により得られた画素値が、基準光電変換特性により得られた画素値に変換される。そのため、非基準光電変換特性により得られた画素値をばらつきなく基準光電変換特性により得られた画素値に変換することができ、画像中に固定パターンノイズが現れることを防止することができる。

（２）上記撮像装置において、前記特性変換部は、前記変換情報を用いて前記非基準光電変換特性の各画素における近似式を算出し、算出した近似式を用いて前記非基準光電変換特性により得られた画素値を前記基準光電変換特性により得られた画素値に変換することが好ましい。

この構成によれば、変換情報を用いて非基準光電変換特性の各画素における近似式が算出され、この近似式を用いて、非基準光電変換特性により得られた画素値が基準光電変換特性により得られた画素値に変換されるため、非基準光電変換特性により得られた画素値をよりばらつきなく基準光電変換特性により得られた画素値に変換することができる。

（３）上記撮像装置において、前記変換情報は、各画素において予め定められた前記近似式の係数であり、前記特性変換部は、前記係数により規定される近似式を用いて前記非基準光電変換特性により得られた画素値を前記基準光電変換特性により得られた画素値に変換することが好ましい。

この構成によれば、各画素において予め定められた近似式の係数を記憶するだけで、非基準光電変換特性により得られた画素値が基準光電変換特性により得られた画素値に変換されるため、メモリ容量を削減することができる。

（４）上記撮像装置において、前記近似式は、前記非基準光電変換特性を２種類の一次関数で近似したものであり、前記変換情報は、各一次関数の係数であることが好ましい。

この構成によれば、非基準光電変換特性が２種類の一次関数で近似されているため、各画素の非基準光電変換特性を精度良く近似することができる。

（５）上記撮像装置において、前記近似式は、前記非基準光電変換特性を二次関数で近似したものであり、前記変換情報は、前記二次関数の係数であることが好ましい。

この構成によれば、非基準光電変換特性が二次関数で近似されるため、各画素の非基準光電変換特性を精度良く近似することができる。

（６）上記撮像装置において、各画素における非基準光電変換特性を予め想定される全画素共通の非基準光電変換特性に補正するための補正テーブルを記憶するテーブル記憶部を更に備え、前記特性変換部は、前記変換情報と前記補正テーブルとを用いて前記非基準光電変換特性により得られた画素値を補正し、補正した画素値を前記基準光電変換特性により得られた画素値に変換することが好ましい。

この構成によれば、非基準光電変換特性により得られた画素値が、想定される全画素共通の非基準光電変換特性に補正された後、基準光電変換特性により得られた画素値に変換されるため、当該画素値をばらつきなく基準光電変換特性により得られた画素値に変換することができる。

（７）上記撮像装置において、前記補正テーブルは、複数存在し、前記変換情報は、各画素における非基準光電変換特性を、前記全画素共通の非基準光電変換特性に補正するうえで最も好ましい補正テーブルを複数の補正テーブルの中から選択するための情報であり、前記特性変換部は、前記変換情報を用いて複数の補正テーブルから１つの補正テーブルを選択し、選択した補正テーブルを用いて前記非基準光電変換特性により得られた画素値を補正し、補正した画素値を前記基準光電変換特性により得られた画素値に変換することが好ましい。

この構成によれば、各画素に対する補正テーブルを用意しなくても、非基準光電変換特性により得られた画素値をばらつきなく基準光電変換特性により得られた画素値に変換することができ、補正テーブルを記憶するためのメモリ容量を削減することができる。

（８）上記撮像装置において、前記補正テーブルは１個であり、前記変換情報は、前記非基準光電変換特性により得られた画素値を、全画素共通の非基準光電変換特性により得られた画素値に変更するために、前記補正テーブルを各画素に応じた補正テーブルに変更するための変更値であり、前記特性変換部は、前記変更値を用いて変更された補正テーブルを用いて、非基準光電変換特性により得られた画素値を前記基準光電変換特性により得られた画素値に変換することが好ましい。

この構成によれば、各画素に対する補正テーブルを用意しなくても、１つの補正テーブルを用意するだけで、非基準光電変換特性により得られた画素値をばらつきなく基準光電変換特性により得られた画素値に変換することができ、補正テーブルを記憶するためのメモリ容量を削減することができる。

（９）上記撮像装置において、前記変換情報は、各画素における変曲点から前記非基準光電変換特性の近似式の係数を定めるために予め定められた係数算出関数であり、前記特性変換部は、各画素における変曲点から前記係数算出関数を用いて各画素における前記近似式の係数を算出し、算出した係数によって規定される近似式を用いて前記非基準光電変換特性により得られた画素値を前記基準光電変換特性により得られた画素値に変換することが好ましい。

この構成によれば、各画素における変曲点から各画素における近似式の係数が算出され、算出された係数によって規定される近似式を用いて非基準光電変換特性により得られた画素値が基準光電変換特性により得られた画素値に変換されるため、当該画素値をばらつきなく基準光電変換特性に変換することができる。

（１０）上記撮像装置において、前記基準光電変換特性は、線形の光電変換特性であり、前記非基準光電変換特性は、対数の光電変換特性であることが好ましい。

この構成によれば、対数の光電変換特性により得られた画素値をばらつきなく線形の光電変換特性により得られた画素値に変換することができる。

Claims (10)

1. 変曲点を境に異なる光電変換特性を有する複数の画素からなる撮像素子と、
   前記異なる光電変換特性のうち、一方を基準光電変換特性とし、他方を非基準光電変換特性として、前記非基準光電変換特性によって得られた画素値を、前記基準光電変換特性によって得られた画素値に変換する特性変換部とを備え、
   前記特性変換部は、各画素の非基準光電変換特性のばらつきに起因する、各画素の変換後の基準光電変換特性のばらつきをなくすために、各画素において予め定められた変換情報を用いて前記非基準光電変換特性により得られた画素値を前記基準光電変換特性により得られた画素値に変換することを特徴とする撮像装置。
2. 前記特性変換部は、前記変換情報を用いて前記非基準光電変換特性の各画素における近似式を算出し、算出した近似式を用いて前記非基準光電変換特性により得られた画素値を前記基準光電変換特性により得られた画素値に変換することを特徴とする請求項１記載の撮像装置。
3. 前記変換情報は、各画素において予め定められた前記近似式の係数であり、
   前記特性変換部は、前記係数により規定される近似式を用いて前記非基準光電変換特性により得られた画素値を前記基準光電変換特性により得られた画素値に変換することを特徴とする請求項２記載の撮像装置。
4. 前記近似式は、前記非基準光電変換特性を２種類の一次関数で近似したものであり、
   前記変換情報は、各一次関数の係数であることを特徴とする請求項２記載の撮像装置。
5. 前記近似式は、前記非基準光電変換特性を二次関数で近似したものであり、
   前記変換情報は、前記二次関数の係数であることを特徴とする請求項２記載の撮像装置。
6. 各画素における非基準光電変換特性を予め想定される全画素共通の非基準光電変換特性に補正するための補正テーブルを記憶するテーブル記憶部を更に備え、
   前記特性変換部は、前記変換情報と前記補正テーブルとを用いて前記非基準光電変換特性により得られた画素値を補正し、補正した画素値を前記基準光電変換特性により得られた画素値に変換することを特徴とする請求項１記載の撮像装置。
7. 前記補正テーブルは、複数存在し、
   前記変換情報は、各画素における非基準光電変換特性を、前記全画素共通の非基準光電変換特性に補正するうえで最も好ましい補正テーブルを複数の補正テーブルの中から選択するための情報であり、
   前記特性変換部は、前記変換情報を用いて複数の補正テーブルから１つの補正テーブルを選択し、選択した補正テーブルを用いて前記非基準光電変換特性により得られた画素値を補正し、補正した画素値を前記基準光電変換特性により得られた画素値に変換することを特徴とする請求項６記載の撮像装置。
8. 前記補正テーブルは１個であり、
   前記変換情報は、前記非基準光電変換特性により得られた画素値を、全画素共通の非基準光電変換特性により得られた画素値に変更するために、前記補正テーブルを各画素に応じた補正テーブルに変更するための変更値であり、
   前記特性変換部は、前記変更値を用いて変更された補正テーブルを用いて、非基準光電変換特性により得られた画素値を前記基準光電変換特性により得られた画素値に変換することを特徴とする請求項６記載の撮像装置。
9. 前記変換情報は、各画素における変曲点から前記非基準光電変換特性の近似式の係数を定めるために予め定められた係数算出関数であり、
   前記特性変換部は、各画素における変曲点から前記係数算出関数を用いて各画素における前記近似式の係数を算出し、算出した係数によって規定される近似式を用いて前記非基準光電変換特性により得られた画素値を前記基準光電変換特性により得られた画素値に変換することを特徴とする請求項２記載の撮像装置。
10. 前記基準光電変換特性は、線形の光電変換特性であり、
    前記非基準光電変換特性は、対数の光電変換特性であることを特徴とする請求項１〜９のいずれかに記載の撮像装置。

Images