WO2010146748A1

WO2010146748A1 - 撮像装置

Info

Publication number: WO2010146748A1
Application number: PCT/JP2010/001851
Authority: WO
Inventors: 片桐哲也; 掃部幸一
Original assignee: コニカミノルタオプト株式会社
Priority date: 2009-06-15
Filing date: 2010-03-16
Publication date: 2010-12-23
Also published as: JP4586942B1; JPWO2010146748A1; JP2011024246A; EP2445198A1; US20120092539A1; EP2445198A4

Abstract

変曲点バラツキ補正部６４１は、各画素で読み取られた画素データに所定の特性変換処理を実行することで、各画素データの光電変換特性をリニア特性に統一させる。変曲点補間部６４２は、複数の画素のうち、ある１つの画素である注目画素の屈曲開始レベルＳが所定の変曲点閾値より大きく、かつ、注目画素により読み取られた画素データの画素値ｄが所定の画素閾値より大きい場合、上記の特性変換処理により得られた画素値ｄ´ではなく、注目画素の近傍に位置する近傍画素により読み取られた画素データを用いた補間処理により得られた画素値ｄ´´を出力することで、注目画素により読み取られた画素データの光電変換特性をリニア特性に変換する。

Description

撮像装置

　本発明は、変曲点を境に異なる光電変換特性を有する複数の画素からなる撮像素子を備える撮像装置に関するものである。

　近年、ダイナミックレンジの拡大を図るために、変曲点を境に異なる光電変換特性を有する複数の画素からなる撮像素子が知られている。このような撮像素子としては、例えば、変曲点よりも低輝度側は線形の光電変換特性（以下、「リニア特性」という）、高輝度側は対数の光電変換特性（以下、ログ特性と言う）を有するものがある。なお、リニア特性とログ特性とからなる光電変換特性をリニアログ特性という。

　図５は、リニアログ特性を示したグラフであり、縦軸は画素値を示し、横軸は輝度を対数で示している。図５では、ある画素ＰＸ１の光電変換特性がグラフＧ１で示され、別のある画素ＰＸ２の光電変換特性がグラフＧ２で示されている。

　図５のグラフＧ１においては、Ｄ１で示す領域はリニア特性を有するリニア領域であり、Ｄ２で示す領域はログ特性を有するログ領域である。そして、リニアログ特性を有する画素により読み取られた画素データは、撮像素子の出力側に設けられた画像処理回路によって、種々の画像処理を行うための前処理として、リニア特性又はログ特性に光電変換特性を統一する処理が行われる。

　例えば、光電変換特性がリニア特性に統一される場合、図５に示すリニア領域Ｄ１に属する画素データはそのままの値で種々の画像処理が施され、ログ領域Ｄ２に属する画素データはリニア特性に変換された値で種々の画像処理が施される。

　ところで、リニアログ特性は、ログ領域Ｄ２の開始レベルである変曲点（変極点と記述する場合もある）Ｐ１が画素毎にばらついているのが一般的である。

　撮像素子のダイナミックレンジを決定する場合、図５に示すように、変曲点Ｐ１の画素値が低い画素ＰＸ２を基準にダイナミックレンジＤＬ１を設定すると、変曲点Ｐ１の画素値が高い画素ＰＸ１の光電変換特性において、高輝度側で多くの飽和領域ＳＤが発生してしまう。そのため、撮像素子のダイナミックレンジは、変曲点Ｐ１の画素値が高い画素を基準に決定される。

　しかしながら、変曲点Ｐ１の画素値が高い画素を基準にしてダイナミックレンジを決定すると、変曲点Ｐ１のばらつきが大きい場合、撮像素子全体のダイナミックレンジが低下するという問題が発生する。

　例えば、図５に示すように、変曲点Ｐ１の画素値が高い画素ＰＸ１を基準に設定されたダイナミックレンジＤＬ２の範囲は、変曲点の画素値が低い画素ＰＸ２を基準に設定されたダイナミックレンジＤＬ１の範囲に比べて大幅に狭くなっていることが分かる。

　そこで、従来では、ダイナミックレンジを稼ぐために、変曲点Ｐ１の画素値がある程度高い画素ＰＸｎを基準にしてダイナミックレンジが設定され、画素ＰＸｎよりも変曲点Ｐ１の画素値が高い画素は欠陥画素として取り扱われていた。なお、本出願に関連する先行技術として例えば特許文献１が存在する。

　しかしながら、上記従来技術では、変曲点の画素値が高い画素は欠陥画素とされ、画素値を問わず一律に隣接画素を用いた補間処理が実行されていた。そのため、撮像素子により撮像された画像の解像度が低下するという問題があった。また、ダイナミックレンジの拡大を図るために、画素ＰＸｎとして変曲点Ｐ１の画素値が低いものを採用すると、欠陥画素の個数が増大し、補間処理が行われる画素数が増大し、更なる解像度の低下を招いてしまう。

特開２００７－２５１８９８号公報

　本発明の目的は、解像度の低下を抑制すると同時にダイナミックレンジを拡大することができる撮像装置を提供することである。

　本発明の一局面による撮像装置は、変曲点を境に異なる光電変換特性を有する複数の画素を備える撮像素子と、各画素で読み取られた画素データに、所定の特性変換処理を実行することで、各画素データの光電変換特性を所定の基準光電変換特性に変換する特性変換部とを備え、前記特性変換部は、前記複数の画素のうち、ある１つの画素である注目画素の変曲点の画素値が所定の変曲点閾値より大きく、かつ、前記注目画素により読み取られた画素データの画素値が所定の画素閾値より大きい場合、前記特性変換処理に代えて、前記注目画素の近傍に位置する近傍画素により読み取られた画素データを用いた補間処理を行うことで、前記注目画素により読み取られた画素データの光電変換特性を前記基準光電変換特性に変換し、前記注目画素の変曲点の画素値が前記変曲点閾値以下、又は前記注目画素により読み取られた画素データの画素値が前記画素閾値以下の場合、前記特性変換処理が実行された前記注目画素の画素値をそのまま出力することで、前記注目画素により読み取られた画素データの光電変換特性を前記基準光電変換特性に変換する。

本発明の実施の形態１による撮像装置のブロック図を示している。図１に示す画像処理部の詳細な構成を示すブロック図である。ルックアップテーブルのデータ構造の一例を示した模式図である。変曲点の画素値が変曲点閾値を超える画素の光電変換特性を示したグラフである。リニアログ特性を示したグラフである。

　　（実施の形態１）
　図１は、本発明の実施の形態１による撮像装置のブロック図を示している。図１に示すように撮像装置は、デジタルカメラから構成され、レンズ部２、撮像センサ３（撮像素子の一例）、アンプ４、Ａ／Ｄ変換部５、画像処理部６、画像メモリ７、制御部８、モニタ部９、及び操作部１０を備えている。

　レンズ部２は、被写体の光像を取り込み、撮像センサ３へ導く光学レンズ系から構成される。光学レンズ系としては、被写体の光像の光軸Ｌに沿って直列的に配置される例えばズームレンズやフォーカスレンズ、その他の固定レンズブロック等を採用することができる。また、レンズ部２は、透過光量を調節するための絞り（図略）、シャッタ（図略）等を備え、制御部８の制御の下、絞り及びシャッタの駆動が制御される。

　撮像センサ３は、所定行×所定列でマトリックス状に配列され、変曲点を境に異なる光電変換特性を有する複数の画素を備え、レンズ部２において結像された光像を光電変換して、光量に応じたレベルを有するＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分の画素値からなる画像データを生成し、アンプ４へ出力する。

　ここで、撮像センサ３としては、ＣＭＯＳイメージセンサ、ＶＭＩＳ（Threshold Voltage Modulation　Image　Sensor）イメージセンサ、又はＣＣＤイメージセンサ等の撮像センサを採用してもよい。また、本実施の形態では、撮像センサ３として、各色成分の画素が例えばＲＧＢベイヤー配列により配列された撮像センサが採用されている。すなわち、撮像センサ３は、それぞれ色成分が異なる画素データを読み取るための複数種類の画素が一定のパターンで繰り返し配列された撮像センサである。

　なお、これは一例であり、モノクロ画像を撮像する撮像センサ３を用いてもよい。また、本実施の形態では、各行の画素の配列方向を水平方向、各列の画素の配列方向を垂直方向とする。そして、撮像センサ３は、例えば、左上端の画素から右下端の画素に向けてラスタ走査するように、各画素で読み取られた画素データを順次に出力する。

　また、本実施の形態では、図５に示すように、各画素は、低輝度側の光電変換特性がリニア特性であり、高輝度側の光電変換特性がログ特性となっている。また、図５に示すようにリニア特性とログ特性との境目が変曲点Ｐ１である。また、変曲点Ｐ１の画素値を屈曲開始レベルＳと記述する。

　アンプ４は、例えばＡＧＣ（オートゲインコントロール）回路、及びＣＤＳ（相関二重サンプリング）回路等を含み、撮像センサ３から出力された画像データを増幅する。Ａ／Ｄ変換部５は、アンプ４により増幅されたＲ，Ｇ，Ｂ各色の画像データをＲ，Ｇ，Ｂ各色のデジタルの画像データに変換する。本実施の形態では、撮像センサ３の各画素で受光された画素データは、例えば１２ビットの階調値を有する画素データに変換される。

　画像処理部６は、後述するような画像処理を実行する。画像メモリ７は、例えばＲＡＭ（Random Access Memory）から構成され、画像処理部６で画像処理が施された画像データ等を保存する。

　制御部８は、各種制御プログラム等を記憶するＲＯＭ、一時的にデータを格納するＲＡＭ及び制御プログラム等をＲＯＭから読み出して実行する中央演算処理装置（ＣＰＵ）等からなり、撮像装置全体の動作制御を司る。

　モニタ部９は、例えば撮像装置のハウジングの背面に配設されたカラー液晶表示器が採用され、撮像センサ３で撮影された画像或いは画像メモリ７に保存されていた画像等をモニタ表示する。

　操作部１０は、電源スイッチ、レリーズスイッチ、各種撮影モードを設定するモード設定スイッチ、メニュー選択スイッチ等の各種の操作スイッチ群等を含む。レリーズスイッチが押されることで、撮像動作、すなわち撮像センサ３により被写体が撮像され、この撮像により得られた画像データに対して所定の画像処理が施され、画像メモリ７等に記録されるというように一連の撮影動作が実行される。なお、画像データを画像メモリ７等に記憶せず、画像処理部６からデジタル信号として出力したり、Ｄ／Ａ変換してＮＴＳＣ等のアナログ信号として出力したりして一連の撮像動作を終えてもよい。

　図２は、図１に示す画像処理部６の詳細な構成を示すブロック図である。画像処理部６は、黒バラツキ補正部６１、欠陥補正部６２、ベイヤー補間部６３、特性変換部６４、階調変換部６５、及びトーンカーブ補正部６６を備えている。

　黒バラツキ補正部６１は、撮像センサ３を構成する各画素の黒レベルのばらつきを補正する。欠陥補正部６２は、所定の基準値以下の画素値しか出力することができない欠陥画素により読み出された画素データを、周辺の画素の画素値を用いて補間する補間処理を行う。ここで、補間処理としては例えば、線形補間やスプライン補間を採用することができる。

　ベイヤー補間部６３は、撮像センサ３を構成する各画素がベイヤー配列であるために生じる各色成分における欠落画素を補間するための補間処理であるベイヤー補間を実行する。これにより、１枚の画像を表す画像データは、Ｒ，Ｇ，Ｂの３つの色成分に対応する３枚の画像データにより表されることになる。なお、撮像センサ３がモノクロの撮像センサである場合はベイヤー補間部６３を省略すればよい。

　特性変換部６４は、変曲点バラツキ補正部６４１、変曲点補間部６４２、及びメモリ部６４３を備え、各画素データの光電変換特性を所定の基準光電変換特性に変換する。なお、ベイヤー補間部６３からはＲ，Ｇ，Ｂの色成分に対応する３枚の画像データが出力されるため、特性変換部６４は、各色成分に対応する３枚の画像データのそれぞれに対して、下記に示す処理を実行する。

　本実施の形態では、特性変換部６４は、基準光電変換特性としてリニア特性を採用し、ログ特性をリニア特性に変換することで、光電変換特性の統一処理を実行する。

　変曲点バラツキ補正部６４１は、各画素で読み取られた画素データに所定の特性変換処理を実行することで、各画素データの光電変換特性をリニア特性に統一させる。

　ここで、変曲点バラツキ補正部６４１は、各画素により読み取られた画素データの画素値ｄを、各画素に対して予め定められた屈曲開始レベルＳの値と比較することで、当該画素データがリニア特性の画素データであるか、ログ特性の画素データであるかを判定し、リニア特性の画素データである場合は、画素値ｄを画素値ｄ´としてそのまま出力し、ログ特性の画素データである場合は、画素値ｄに特性変換処理を実行し、得られた画素値ｄ´を出力する。

　具体的には、変曲点バラツキ補正部６４１は、ベイヤー補間部６３から出力された画素データの画素値ｄがｄ＜Ｓの場合、この画素データはリニア特性の画素データであると判定し、Ｓ≦ｄの場合、この画素データはログ特性の画素データであると判定する。

　ここで、変曲点バラツキ補正部６４１は、ログ領域Ｄ２の画素値をリニア特性の画素値に変換した場合の対応関係が予め定められたルックアップテーブルＴを用いて、ログ特性の画素データをリニア特性に変換すればよい。

　ここで、ルックアップテーブルＴは全画素共通のルックアップテーブルである。図３は、ルックアップテーブルＴのデータ構造の一例を示した模式図である。

　図３に示すようにルックアップテーブルＴは、それぞれ、「０」～「ｎ－１」のアドレスが付されたｎ（ｎは整数）個のセルにより構成されている。各アドレスは、屈曲開始レベルＳに対する画素値ｄの相対値、すなわちｄ－Ｓに対応している。各セルには、ログ領域Ｄ２の画素値ｄから屈曲開始レベルＳを減じた値をリニア特性に変換したときの変換後の値ｄ１～ｄｎが格納されている。

　つまり、ルックアップテーブルＴには、図５に示すログ領域Ｄ２に属する各画素値ｄがリニア領域Ｄ１の延長線Ｌ１上に乗るように変換したときの値が格納されている。

　したがって、変曲点バラツキ補正部６４１は、入力された画素データがログ特性の画素データである場合、当該画素データの画素値ｄから屈曲開始レベルＳを減じた値である、ｄ－Ｓのアドレスに格納されたルックアップテーブルＴの値を、変換後の値として出力することで、ログ特性をリニア特性に変換する。

　ここで、ルックアップテーブルＴの各アドレスをｄ－Ｓに対応させているのは、各画素の屈曲開始レベルＳのばらつきを考慮したからである。つまり、本実施の形態では、各画素のログ領域Ｄ２の光電変換特性は、屈曲開始レベルＳはばらついているが、波形はほぼ同じであると想定している。そのため、ルックアップテーブルＴの各アドレスをｄではなく、ｄ－Ｓに対応させることで、このルックアップテーブルＴを全画素に適用させることができる。

　また、変曲点バラツキ補正部６４１は、１枚の画像データを構成する画素データが所定の順序で入力されるため、この順序から入力された画素データを読み取った画素を特定することができ、これにより、各画素に対して予め定められた屈曲開始レベルＳを特定することができる。

　図２に戻り、変曲点補間部６４２は、複数の画素のうち、ある１つの画素である注目画素の屈曲開始レベルＳが所定の変曲点閾値より大きく、かつ、注目画素により読み取られた画素データの画素値ｄが所定の画素閾値より大きい場合、上記の特性変換処理により得られた画素値ｄ´ではなく、注目画素の近傍に位置する近傍画素により読み取られた画素データを補間することで得られた画素値ｄ´´を出力することで、注目画素により読み取られた画素データの光電変換特性をリニア特性に変換する。

　一方、変曲点補間部６４２は、注目画素の屈曲開始レベルＳが変曲点閾値以下、又は、注目画素により読み取られた画素データの画素値ｄが所定の画素閾値以下である場合、変曲点バラツキ補正部６４１により特性変換処理が実行された画素値ｄ´を画素値ｄ´´としてそのまま出力する。

　具体的には、変曲点補間部６４２の処理は、注目画素により読み取られた画素データの画素値をｄ（ｘ，ｙ）、変曲点バラツキ補正部６４１により特性変換処理が実行された画素データの画素値をｄ´（ｘ，ｙ）、注目画素の変曲点閾値をＳｔｈ、注目画素の画素閾値をＤｔｈとすると、下記のアルゴリズムにより表される。

　ｉｆ（Ｓ＞Ｓｔｈ＆ｄ（ｘ，ｙ）＞Ｄｔｈ）
　　ｄ´´（ｘ，ｙ）＝（（ｄ´（ｘ－１，ｙ）＋ｄ´（ｘ＋１，ｙ）＋ｄ´（ｘ，ｙ－１）＋ｄ´（ｘ，ｙ＋１））／４
　ｅｌｓｅ
　　ｄ´´（ｘ，ｙ）＝ｄ´（ｘ，ｙ）
　上記の例では、変曲点補間部６４２は、注目画素に対して水平及び垂直方向に隣接する４つの画素を近傍画素としている。そして、これら４つの近傍画素の平均値がｄ´´として出力される。

　また、変曲点補間部６４２は、注目画素に対して水平方向に隣接する２つ画素を近傍画素として特定し、２つの近傍画素の平均値をｄ´´として出力してもよい。

　この場合、変曲点補間部６４２の処理は下記のアルゴリズムにより表される。

　ｉｆ（Ｓ＞Ｓｔｈ＆ｄ（ｘ，ｙ）＞Ｄｔｈ）
　　ｄ´´（ｘ，ｙ）＝（（ｄ´（ｘ－１，ｙ）＋ｄ´（ｘ＋１，ｙ））／２
　ｅｌｓｅ
　　ｄ´´（ｘ，ｙ）＝ｄ´（ｘ，ｙ）
　図２では、ベイヤー補間部６３は、特性変換部６４の前段に設けられているが、特性変換部６４の後段、具体的には、階調変換部６５とトーンカーブ補正部６６との間に設けてもよい。

　この場合、特性変換部６４には、ベイヤー補間が行われる前の１枚の画像データが入力される。そのため、変曲点補間部６４２の処理は、下記のアルゴリズムにより表される。

　ｉｆ（Ｓ＞Ｓｔｈ＆ｄ（ｘ，ｙ）＞Ｄｔｈ）
　　ｄｒｂ´´（ｘ，ｙ）＝（（ｄｒｂ´（ｘ－２，ｙ）＋ｄｒｂ´（ｘ＋２，ｙ）＋ｄｒｂ´（ｘ，ｙ－２）＋ｄｒｂ´（ｘ，ｙ＋２））／４
　　ｄｇ´´（ｘ，ｙ）＝（（ｄｇ´（ｘ－１，ｙ－１）＋ｄｇ´（ｘ＋１，ｙ－１）＋ｄｇ´（ｘ－１，ｙ＋１）＋ｄｇ´（ｘ＋１，ｙ＋１））／４
　ｅｌｓｅ
　　ｄｒｂ´´（ｘ，ｙ）＝ｄｒｂ´（ｘ，ｙ）
　　ｄｇ´´（ｘ，ｙ）＝ｄｇ´（ｘ，ｙ）
　但し、ｄｒｂは、ベイヤー配列において、赤又は青のフィルターが取り付けられた画素（Ｒ画素又はＢ画素）により読み取られた画素データの画素値を示し、ｄｇは、緑のフィルターが取り付けられた画素（Ｇ画素）により読み取られた画素データの画素値を示す。

　この場合、変曲点補間部６４２は、注目画素と同一色のフィルターが取り付けられた画素であって、注目画素の近傍に位置する４つの画素が近傍画素とされ、これら４つの近傍画素の平均値がｄ´´として出力されている。

　具体的には、注目画素がＲ画素の場合、このＲ画素に対して水平方向の近傍に位置する２つのＲ画素と、垂直方向の近傍に位置する２つのＲ画素との４つの画素が近傍画素となる。注目画素がＢ画素の場合、近傍画素はＲ画素の場合と同じである。

　注目画素がＧ画素の場合、このＧ画素に対して右斜め上、右斜め下、左斜め上、及び左斜め下に隣接する４つのＧ画素が近傍画素となる。

　なお、近傍画素を４つとするのは一例であり、注目画素と同一色のフィルターが取り付けられた画素であって、注目画素に対して水平方向に隣接する２つの画素を近傍画素として採用してもよい。

　メモリ部６４３は、例えばＥＥＰＲＯＭ等の不揮発性の記録媒体により構成され、各画素に対して予め定められた、屈曲開始レベルＳを記憶する。また、メモリ部６４３は、変曲点閾値Ｓｔｈ、及び画素閾値Ｄｔｈ、ルックアップテーブルＴを記憶する。ここで、屈曲開始レベルＳは、各画素固有の値であり、変曲点閾値Ｓｔｈ及び画素閾値Ｄｔｈは、全画素共通の値である。

　図４は、変曲点Ｐ１の画素値が変曲点閾値Ｓｔｈを超える画素、つまり、変曲点Ｐ１の画素値が極端に高い画素の光電変換特性を示したグラフであり、縦軸は画素値を示し、横軸は輝度を示している。

　本実施の形態において、撮像センサ３のダイナミックレンジＤＬが図４のように設定されているとすると、変曲点Ｐ１の画素値が極端に高い画素は、高輝度側で大きな飽和領域ＳＤが発生してしまう。

　また、画素値ｄが飽和レベル付近にある画素データの画像再現性は高くないため、この画素データを特性変換処理によりリニア特性に変換することは好ましくない。

　そこで、本実施の形態では、変曲点補間部６４２は、屈曲開始レベルＳが変曲点閾値Ｓｔｈより大きい画素により読み取られた画素データの画素値ｄが、画素閾値Ｄｔｈより大きい場合、特性変換処理ではなく、上述した補間処理が行われている。これにより、変曲点Ｐ１の画素値が極端に高い画素のダイナミックレンジをＤＬ１からＤＬに拡大させることができる。

　一方、変曲点Ｐ１の画素値が極端に高い画素で読み取られた画素データの画素値ｄが、画素閾値Ｄｔｈ以下の場合は、当該画素データは補間処理ではなく特性変換処理によりリニア特性に変換されている。これにより、解像度の低下の防止が図られている。

　ここで、画素閾値Ｄｔｈとしては、ダイナミックレンジＤＬを規定する最大の画素値である飽和レベルを採用してもよいが、飽和レベル付近の画素データは画像再現性が高くないため、飽和レベルよりも多少低い値を採用することが好ましい。

　また、変曲点閾値Ｓｔｈとしては、撮像センサ３を構成する全画素の屈曲開始レベルＳの平均値を採用してもよいし、全画素の屈曲開始レベルＳの分布の上位数％（例えば１０％）の画素の屈曲開始レベルＳが変曲点閾値Ｓｔｈを超えるような値を採用してもよい。

　図２に戻り、階調変換部６５は、特性変換部６４から出力された画素データに対して、ヒストグラム均等化処理や、ダイナミックレンジ圧縮処理等を行う。ヒストグラム均等化処理は、画像中のグレーレベルの分布を一様に分布させる処理である。これにより画像のコントラストを明確にすることができる。ダイナミックレンジ圧縮処理としては、例えば、緒形昌美「画像のダイナミックレンジ圧縮技術」日本工業出版、画像ラボ、２００４年、６月号に記載の技術を採用することができる。

　トーンカーブ補正部６６は、階調変換部６５から出力された画像データをガンマ補正する。なお、トーンカーブ補正部６６から出力された画素データは図１に示す画像メモリ７に格納される。

　次に、本実施の形態による撮像装置の動作について説明する。まず、操作部１０がユーザからの撮像指令を受け付けると、撮像センサ３により撮像された画像データはアンプ４により所定レベルに増幅され、Ａ／Ｄ変換部５によりＡ／Ｄ変換がなされた後、画像処理部６に入力される。

　画像処理部６に入力された画素データは、黒バラツキ補正部６１により黒レベルが補正され、欠陥補正部６２により欠陥画素が補間され、ベイヤー補間部６３により、ベイヤー補間が行われた後、変曲点バラツキ補正部６４１に入力される。

　変曲点バラツキ補正部６４１に入力された画素データは、光電変換特性がリニア特性に変換され、変曲点補間部６４２に入力される。

　変曲点補間部６４２は、ベイヤー補間部６３から出力された画素データである注目画素の画素値ｄと、その注目画素の屈曲開始レベルＳとが、屈曲開始レベルＳ＞変曲点閾値Ｓｔｈ、かつ、画素値ｄ＞画素閾値Ｄｔｈの条件を満たす場合、変曲点バラツキ補正部６４１から出力された近傍画素の画素値ｄ´を用いた上述の補間処理を実行し、画素値ｄ´´を算出し、階調変換部６５に出力する。

　一方、変曲点補間部６４２は、ベイヤー補間部６３から出力された画素データである注目画素の画素値ｄと、注目画素の屈曲開始レベルＳとが、屈曲開始レベルＳ≦変曲点閾値Ｓｔｈ、又は、画素値ｄ≦画素閾値Ｄｔｈの条件を満たす場合、変曲点バラツキ補正部６４１から出力された注目画素の画素値ｄ´をそのまま画素値ｄ´´として階調変換部６５に出力する。

　変曲点補間部６４２により処理された画素データは、階調変換部６５によりヒストグラム均一化処理やダイナミックレンジ圧縮処理等が行われ、トーンカーブ補正部６６によりガンマ補正が行われ画像メモリ７に格納される。

　このように本実施の形態による撮像装置によれば、注目画素の変曲点Ｐ１の画素値が変曲点閾値Ｓｔｈより大きく、かつ、注目画素により読み取られた画素データが画素閾値Ｄｔｈより大きい場合、近傍画素により読み取られた画素データを用いた補間処理によって、注目画素により読み取られた画素データがリニア特性に変換される。

　これにより、変曲点の画素値が高いためにダイナミックレンジが狭い画素により読み取られた画素データであって、画素値の大きい画素データは、特性変換処理が実行される代わりに、近傍画素により読み取られた画素データを用いた補間処理が実行されることになる。

　ここで、変曲点の画素値が極端に大きい画素の個数は少ないため、近傍画素の変曲点の画素値が極端に高くなることは稀であり、近傍画素のダイナミックレンジは、注目画素のダイナミックレンジに比べて広い可能性が高い。また、画素値が飽和レベルに近い画素データは、画像が精度良く再現されていないため、そのまま特性変換処理を施すことは好ましくない。

　したがって、変曲点の画素値が高いためにダイナミックレンジが狭くなった画素が注目画素とされ、当該注目画素により読み取られた画素データが飽和領域又はそれに近い領域に属するような場合、上記の補間処理を実行することで、当該注目画素のダイナミックレンジを拡大させることができる。

　一方、変曲点の画素値が極端に高くダイナミックレンジが狭くなっている画素により読み取られた画素データであっても、画素値が小さい場合、この画素データは、補間処理ではなく特性変換処理によりリニア特性に変換される。つまり、変曲点の画素値が極端に高い画素により読み取られた画素データであっても、画素値が飽和レベルより低い場合は、通常の特性変換処理により光電変換特性を変換しても問題はない。

　よって、変曲点の画素値が極端に高い画素を欠陥画素として取り扱い、画素値に拘わらず一律に補間処理を実行する場合に比べて、解像度の低下を防止することができる。

　（実施の形態２）
　次に、本発明の実施の形態２による撮像装置について説明する。本実施の形態の撮像装置は、実施の形態１の近傍画素の中から、補間処理に適した画素を用いて補間処理を行うことを特徴とする。

　なお、本実施の形態において、実施の形態１と同一のものは説明を省略する。また、構成は実施の形態１と同一であるため、図１及び図２を用いて説明する。

　本実施の形態において、図２に示す変曲点補間部６４２は、近傍画素のうち、画素値が画素閾値Ｄｔｈより大きく、かつ、屈曲開始レベルＳが変曲点閾値Ｓｔｈより大きい画素により読み取られた画素データは補間処理に使用しない。

　具体的には、変曲点補間部６４２は、下記の処理を行う。下記の処理は、注目画素に対して水平方向に隣接する２つの画素が近傍画素である場合のアルゴリズムを示している。
１：　ｉｆ（Ｓ（ｘ，ｙ）＞Ｓｔｈ＆ｄ（ｘ，ｙ）＞Ｄｔｈ）｛
２：　　ｉｆ（Ｓ（ｘ－１，ｙ）≦Ｓｔｈ＆ｄ（ｘ－１，ｙ）≦Ｄｔｈ｛
３：　　　ｉｆ（Ｓ（ｘ＋１，ｙ）≦Ｓｔｈ＆ｄ（ｘ＋１，ｙ）≦Ｄｔｈ
４：　　　　ｄ´´（ｘ，ｙ）＝（ｄ´（ｘ－１，ｙ）＋ｄ´（ｘ＋１，ｙ））／２
５：　　　ｅｌｓｅ
６：　　　　ｄ´´（ｘ，ｙ）＝ｄ´（ｘ－１，ｙ）
７：　｝ｅｌｓｅ｛
８：　ｉｆ（Ｓ（ｘ＋１，ｙ）≦Ｓｔｈ＆ｄ（ｘ＋１，ｙ）≦Ｄｔｈ）
９：　ｄ´´（ｘ，ｙ）＝（（ｄ´（ｘ＋１，ｙ）
１０：　｝
１１：｝ｅｌｓｅ
１２：　　　ｄ´´（ｘ，ｙ）＝ｄ´（ｘ，ｙ）
　上記アルゴリズムの１行目は、注目画素の屈曲開始レベルＳが変曲点閾値Ｓｔｈより大きく、かつ、画素値ｄが画素閾値Ｄｔｈより大きいことを示している。

　上記アルゴリズムの２行目は、左側の近傍画素の屈曲開始レベルＳが変曲点閾値Ｓｔｈ以下、かつ、画素値ｄが画素閾値Ｄｔｈ以下であることを示している。

　上記アルゴリズムの３行目は、右側の近傍画素の屈曲開始レベルＳが変曲点閾値Ｓｔｈ以下、かつ、画素値ｄが画素閾値Ｄｔｈ以下であることを示している。

　上記アルゴリズムの４行目は、上記アルゴリズムの１～３行目の条件が全て満たされる場合、変曲点バラツキ補正部６４１により特性変換処理が行われた右側の近傍画素と左側の近傍画素との画素データを用いて、補間処理を行うことを示している。

　上記アルゴリズムの６行目は、左側の近傍画素のみ、屈曲開始レベルＳが変曲点閾値Ｓｔｈ以下、かつ、画素値ｄが画素閾値Ｄｔｈ以下の場合、変曲点バラツキ補正部６４１により特性変換処理が行われた左側の近傍画素の画素データのみを用いて、補間処理を行うことを示している。

　上記アルゴリズムの８行目は、右側の近傍画素のみ、屈曲開始レベルＳが変曲点閾値Ｓｔｈ以下、かつ、画素値ｄが画素閾値Ｄｔｈ以下の場合、変曲点バラツキ補正部６４１により特性変換処理が行われた右側の近傍画素の画素データのみを用いて、補間処理を行うことを示している。

　上記アルゴリズムの１２行目は、上記アルゴリズムの１行目の条件が満たされない場合、すなわち、注目画素の屈曲開始レベルＳが変曲点閾値Ｓｔｈ以下、又は、注目画素の画素値ｄが画素閾値Ｄｔｈ以下の場合、変曲点バラツキ補正部６４１により特性変換処理が行われた注目画素の画素データをそのまま出力することを示している。

　なお、上記説明では、注目画素に対して水平方向に隣接する２つの画素を近傍画素としたが、これに限定されず、注目画素に対して水平方向に隣接する２つの画素と垂直方向に隣接する２つの画素との４つの画素を近傍画素として採用した場合であっても、本発明は適用可能である。

　この場合、変曲点補間部６４２は、４つの近傍画素のうち、屈曲開始レベルＳが変曲点閾値Ｓｔｈより大きく、かつ、画素値ｄが画素閾値Ｄｔｈより大きい画素により読み出された画素データ以外の画素データを用いて補間処理を行えばよい。

　また、左側の近傍画素の屈曲開始レベルＳが変曲点閾値Ｓｔｈより大きく、かつ、画素値ｄが画素閾値Ｄｔｈより大きい場合、更に左側の画素の屈曲開始レベルＳが変曲点閾値Ｓｔｈ以下、かつ、画素値ｄが画素閾値Ｄｔｈ以下であるか否かを判定し、この条件を満たす場合、この画素を近傍画素として用いて、補間処理を行っても良い。

　また、左側の近傍画素の屈曲開始レベルＳが変曲点閾値Ｓｔｈより大きく、かつ、画素値ｄが画素閾値Ｄｔｈより大きい場合、屈曲開始レベルＳが変曲点閾値Ｓｔｈ以下、かつ、画素値ｄが画素閾値Ｄｔｈ以下となる画素を左側に向けて探索していき、所定数の画素まで探索してこの条件を満たす画素が存在する場合、この画素を近傍画素として採用してもよい。また、右側の画素、上側の画素、下側の画素、左斜め上の画素、右斜め上の画素、左斜め下の画素、右斜め下の画素についても、左側の画素と同様にして近傍画素を探索すればよい。

　このように、本実施の形態による撮像装置によれば、変曲点Ｐ１の画素値が極端に低い画素が注目画素とされた場合において、その注目画素により読み取られた画素データに対して補間処理を行う場合、変曲点が極端に低い近傍画素は、補間処理に用いられないため、補間処理を精度良く行うことができる。

　また、上記実施の形態１，２では、特性変換部６４は、ログ特性をリニア特性に変換させる場合を例示したが、これに限定されず、リニア特性をログ特性に変換させるようにしてもよい。

　なお、上記実施の形態１，２では、特性変換部６４は、ログ特性をリニア特性に変換させる場合を例示したが、これに限定されず、ログ特性と、リニア特性及びログ特性の過渡的な特性を示す過渡特性とをリニア特性に変換する場合であっても、本発明は適用可能である。

　この場合、リニア特性と過渡特性との変曲点を上記の変曲点Ｐ１として採用してもよいし、過渡特性とログ特性との変曲点を上記の変曲点Ｐ１として採用してもよい。また、特性変換部６４は、リニア特性と過渡特性とをログ特性に変換するようにしてもよい。

　上記の撮像装置の技術的特徴は以下のように纏めることができる。

　（１）本発明の一局面による撮像装置は、変曲点を境に異なる光電変換特性を有する複数の画素を備える撮像素子と、各画素で読み取られた画素データに、所定の特性変換処理を実行することで、各画素データの光電変換特性を所定の基準光電変換特性に変換する特性変換部とを備え、前記特性変換部は、前記複数の画素のうち、ある１つの画素である注目画素の変曲点の画素値が所定の変曲点閾値より大きく、かつ、前記注目画素により読み取られた画素データの画素値が所定の画素閾値より大きい場合、前記特性変換処理に代えて、前記注目画素の近傍に位置する近傍画素により読み取られた画素データを用いた補間処理を行うことで、前記注目画素により読み取られた画素データの光電変換特性を前記基準光電変換特性に変換し、前記注目画素の変曲点の画素値が前記変曲点閾値以下、又は前記注目画素により読み取られた画素データの画素値が前記画素閾値以下の場合、前記特性変換処理が実行された前記注目画素の画素値をそのまま出力することで、前記注目画素により読み取られた画素データの光電変換特性を前記基準光電変換特性に変換する。

　この構成によれば、注目画素の変曲点が変曲点閾値より大きく、かつ、注目画素により読み取られた画素データが画素閾値より大きい場合、近傍画素により読み取られた画素データを用いた補間処理によって、注目画素により読み取られた画素データの光電変換特性が基準光電変換特性に変換される。

　これにより、変曲点の画素値が高いためにダイナミックレンジが狭くなった画素により読み取られた画素データであって、画素値の大きい画素データは、特性変換処理が実行される代わりに、近傍画素により読み取られた画素データを用いた補間処理が実行されることになる。

　ここで、変曲点の画素値が極端に大きい画素の個数は少ないため、近傍画素の変曲点の画素値が極端に高くなることは稀であり、近傍画素のダイナミックレンジは、注目画素のダイナミックレンジ比べて広い可能性が高い。また、画素値が飽和レベルに近い画素データは、画像が精度良く再現されていないため、そのまま特性変換処理を施すことは好ましくない。

　したがって、変曲点の画素値が高いためにダイナミックレンジが狭くなった画素が注目画素とされ、当該注目画素により読み取られた画素データが飽和領域又はそれに近い領域に属するような場合、上記の補間処理を実行することで、当該注目画素のダイナミックレンジを拡大することができる。

　一方、変曲点の画素値が極端に高い画素により読み取られた画素データであっても、画素値が飽和レベルより低い場合は、通常の特性変換処理により光電変換特性を変換しても問題はない。

　そこで、上記構成では、変曲点の画素値が変曲点閾値より大きい画素により読み取られた画素データであっても、その画素値が画素閾値より小さい場合、その画素データの光電変換特性を、補間処理ではなく特性変換処理により基準光電変換特性に変換している。

　また、変曲点の画素値が変曲点閾値以下の画素は、ダイナミックレンジが広いため、画素値によらず、特性変換処理により光電変換特性を基準光電変換特性に変換しても問題はない。

　そこで、上記構成では、変曲点の画素値が変曲点閾値以下の画素により読み取られた画素データの光電変換特性を、特性変換処理により基準光電変換特性に変換している。

　よって、変曲点の画素値が極端に高い画素を欠陥画素として取り扱い、画素値に拘わらず一律に補間処理を実行する場合に比べて、解像度の低下を抑制することができる。

　（２）前記特性変換部は、前記近傍画素により読み取られた画素データを前記特性変換処理により前記基準光電変換特性に変換し、変換後の近傍画素の画素データを用いて、前記注目画素により読み取られた画素データに前記補間処理を実行することが好ましい。

　この構成によれば、基準光電変換特性に変換後の画素データを用いて補間処理が行われることになる。

　（３）前記特性変換部は、前記近傍画素のうち、画素値が前記画素閾値より大きく、かつ、変曲点が前記変曲点閾値より大きい画素により読み取られた画素データは、前記補間処理に使用しないことが好ましい。

　この構成によれば、変曲点が極端に高く、ダイナミックレンジが狭い画素が注目画素とされた場合において、その注目画素により読み取られた画素データに対して補間処理を行う場合、注目画素と同様の光電変換特性を有する近傍画素は、補間処理に用いられなくなるため、補間処理を精度良く行うことができる。

　（４）前記特性変換部は、前記注目画素に対して水平方向に隣接する２つの画素を前記近傍画素として特定することが好ましい。

　この構成によれば、水平方向に隣接する２つの画素、すなわち、同一行に隣接する２つの画素が近傍画素とされるため、他の行の画素で読み取られた画素データを保持するためのメモリ等が不要になると共に、他の行の画素から画素データが読み取られるのを待たずに、補間処理を実行することができるため、装置構成を簡略化することができる。

　（５）前記特性変換部は、前記注目画素に対して水平方向に隣接する２つの画素及び垂直方向に隣接する２つの画素を前記近傍画素として特定することが好ましい。

　この構成によれば、４つの近傍画素を用いて補間処理が行われるため、補間処理を精度良く実行することができる。

　（６）前記撮像素子は、それぞれ色成分が異なる画素データを読み取るための複数種類の画素が一定のパターンで繰り返し配列され、前記特性変換部は、前記注目画素と同一種類の前記注目画素の近傍に位置する画素を前記近傍画素として特定することが好ましい。

　この構成によれば、注目画素と同一色の画素データを読み取る画素を近傍画素として用いて補間処理を実行することができる。

Claims

　変曲点を境に異なる光電変換特性を有する複数の画素を備える撮像素子と、
　各画素で読み取られた画素データに、所定の特性変換処理を実行することで、各画素データの光電変換特性を所定の基準光電変換特性に変換する特性変換部とを備え、
　前記特性変換部は、
　前記複数の画素のうち、ある１つの画素である注目画素の変曲点の画素値が所定の変曲点閾値より大きく、かつ、前記注目画素により読み取られた画素データの画素値が所定の画素閾値より大きい場合、前記特性変換処理に代えて、前記注目画素の近傍に位置する近傍画素により読み取られた画素データを用いた補間処理を行うことで、前記注目画素により読み取られた画素データの光電変換特性を前記基準光電変換特性に変換し、
　前記注目画素の変曲点の画素値が前記変曲点閾値以下、又は前記注目画素により読み取られた画素データの画素値が前記画素閾値以下の場合、前記特性変換処理が実行された前記注目画素の画素値をそのまま出力することで、前記注目画素により読み取られた画素データの光電変換特性を前記基準光電変換特性に変換することを特徴とする撮像装置。
　前記特性変換部は、前記近傍画素により読み取られた画素データを前記特性変換処理により前記基準光電変換特性に変換し、変換後の近傍画素の画素データを用いて、前記注目画素により読み取られた画素データに前記補間処理を実行することを特徴とする請求項１記載の撮像装置。
　前記特性変換部は、前記近傍画素のうち、画素値が前記画素閾値より大きく、かつ、変曲点が前記変曲点閾値より大きい画素により読み取られた画素データは、前記補間処理に使用しないことを特徴とする請求項１又は２記載の撮像装置。
　前記特性変換部は、前記注目画素に対して水平方向に隣接する２つの画素を前記近傍画素として特定することを特徴とする請求項１～３のいずれかに記載の撮像装置。
　前記特性変換部は、前記注目画素に対して水平方向に隣接する２つの画素及び垂直方向に隣接する２つの画素を前記近傍画素として特定することを特徴とする請求項１～３のいずれかに記載の撮像装置。
　前記撮像素子は、それぞれ色成分が異なる画素データを読み取るための複数種類の画素が一定のパターンで繰り返し配列され、
　前記特性変換部は、前記注目画素と同一種類の前記注目画素の近傍に位置する画素を前記近傍画素として特定することを特徴とする請求項１～５のいずれかに記載の撮像装置。