JP5282306B2

JP5282306B2 - 画像処理装置、画像処理方法、及び撮像装置

Info

Publication number: JP5282306B2
Application number: JP2009539016A
Authority: JP
Inventors: 幸一掃部; 哲也片桐; 直樹内川
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2007-11-01
Filing date: 2008-10-21
Publication date: 2013-09-04
Anticipated expiration: 2028-10-21
Also published as: JPWO2009057478A1; WO2009057478A1

Description

本発明は、撮像素子から出力された画像データを処理する技術に関するものである。

近年、デジタルカメラ等の撮像装置においては、種々の光電変換特性を有する撮像素子が採用されている。光電変換特性としては、線形特性や対数特性が存在するが、近年では、広ダイナミックレンジ化を図る等のために線形特性と対数特性とを組み合わせたものや（例えば特許文献１）、傾きの異なる複数種類の線形特性を組み合わせたものや、傾きの異なる複数種類の対数特性を組み合わせたもの等が知られている。

そこで、特許文献２には、対数特性と線形特性とを組み合わせた光電変換特性を有する撮像素子から出力された画像データの光電変換特性をいずれか一方の特性に統一した後、所定の色処理を行うことで、光電変換特性用の色処理部と対数特性用の色処理部とを個別に設けなくても、色ずれ等の不具合を発生させることなく所定の色処理を実行することができる技術が開示されている。

その他、非特許文献１には、画像の空間周波数に基づいて、画像の照明成分（低周波成分）を抽出し、反射率成分を維持したままで照明成分を圧縮し、画像のダイナミックレンジを圧縮する技術が開示されている。

ところで、非特許文献１に示すようなダイナミックレンジ圧縮処理は、ある光電変換特性の画像データが対象とされており、撮像素子の光電変換特性がダイナミックレンジ圧縮処理の対象とする光電変換特性とマッチしていない場合、精度の良いダイナミックレンジ圧縮処理を実現することができなくなる。そこで、従来の撮像装置においては、種々の光電変換特性に対応するために、光電変換特性の種類に応じたダイナミックレンジ圧縮処理を実行していた。その結果、回路規模が増大するという問題が生じていた。

また、撮像装置においては、ダイナミックレンジ圧縮処理された画像データは後段に設けられた処理部によりホワイトバランス補正等の画像処理が実行されるが、このような画像処理も、ダイナミックレンジ圧縮処理と同様、画像処理が対象としている光電変換特性と入力される画像データの光電変換特性とがマッチしていない場合、精度の良い画像処理を実現することができなくなる。そこで、従来の撮像装置においては、入力される画像データの光電変換特性の種類に応じた画像処理が実行されており、これによって回路規模が増大するという問題があった。

一方、入力される画像データの光電変換特性の種類によらず、均一な画像処理を行うことも可能であるが、そうすると精度の良い画像処理を実現することができないという問題が発生する。
特開２００６−５０５４４号公報特開２００６−２７０６２２号公報コニカミノルタテクノロジーレポート VOL.4 (2007)

本発明の目的は、回路規模を増大させることなく精度の良い画像処理を実現することができる画像処理装置、画像処理方法、及び撮像装置を提供することである。

本発明の一局面の画像処理装置は、撮像素子により撮像された画像データを処理する画像処理装置であって、前記撮像素子から出力される画像データの光電変換特性を所定の第１光電変換特性に変換する第１特性変換部と、前記第１特性変換部により光電変換特性が変換された画像データのダイナミックレンジを圧縮する圧縮部と、前記圧縮部によりダイナミックレンジが圧縮された画像データの光電変換特性を所定の第２光電変換特性に変換する第２特性変換部と、前記第２特性変換部により光電変換特性が変換された画像データに対して所定の画像処理を実行する処理部とを備え、前記圧縮部は、前記撮像素子により撮像された画像データのダイナミックレンジを圧縮するダイナミックレンジ圧縮部と、前記撮像素子から出力された画像データの露出レベルを所定の目標露出レベルにする露出補正部とを備え、前記第１光電変換特性は、所定の対数特性であり、前記第２光電変換特性は、所定の第１線形特性であり、前記露出補正部は、前記第１特性変換部により光電変換特性が前記対数特性に変換された対数画像データの光電変換特性を所定の第２線形特性に変換する線形特性変換部と、前記線形特性変換部により得られた線形画像データの代表値を求める代表値算出部と、前記代表値を前記目標露出レベルと比較することで、前記線形画像データの露出レベルを前記目標露出レベルにするためのゲインを求め、得られたゲインを基に、前記対数画像データの露出レベルを前記目標露出レベルにするためのオフセット値を求め、前記オフセット値を前記対数画像データに加算する補正部とを備えることを特徴とする。

また、本発明の一局面の画像処理方法は、撮像素子により撮像された画像データを処理する画像処理方法であって、前記撮像素子から出力される画像データの光電変換特性を、所定の対数特性に変換する第１特性変換ステップと、前記第１特性変換ステップにより光電変換特性が変換された画像データのダイナミックレンジを圧縮する圧縮ステップと、前記圧縮ステップによりダイナミックレンジが圧縮された画像データの光電変換特性を、所定の第１線形特性に変換する第２特性変換ステップと、前記第２特性変換ステップにより光電変換特性が変換された画像データに対して所定の画像処理を実行する処理ステップとを備え、前記圧縮ステップは、前記撮像素子により撮像された画像データのダイナミックレンジを圧縮するダイナミックレンジ圧縮ステップと、前記撮像素子から出力された画像データの露出レベルを所定の目標露出レベルにする露出補正ステップとを備え、前記露出補正ステップは、前記第１特性変換ステップにより光電変換特性が前記対数特性に変換された対数画像データの光電変換特性を所定の第２線形特性に変換する線形特性変換ステップと、前記線形特性変換ステップにより得られた線形画像データの代表値を求める代表値算出ステップと、前記代表値を前記目標露出レベルと比較することで、前記線形画像データの露出レベルを前記目標露出レベルにするためのゲインを求め、得られたゲインを基に、前記対数画像データの露出レベルを前記目標露出レベルにするためのオフセット値を求め、前記オフセット値を前記対数画像データに加算する補正ステップとを備える。

また、本発明の更に別の一局面による撮像装置は、上記の画像処理装置を備えている。

本発明の一実施の形態による撮像装置のブロック図を示している。図１に示す画像処理部の詳細な構成を示すブロック図である。第１特性変換部に入力される画像データの光電変換特性を所定の対数特性に変換した場合の変換前後の光電変換特性を示したグラフである。第１特性変換部に入力される画像データの光電変換特性を所定の線形特性に変換した場合の変換前後の光電変換特性を示したグラフである。第１特性変換部の詳細な構成を示したブロック図である。露出補正部の詳細な構成を示したブロック図である。第１特性変換部が画像データを線形特性に変換した場合における露出補正部の構成を示したブロック図である。第２特性変換部により変換された光電変換特性を示したグラフである。本発明の撮像装置の他の一実施の形態における画像処理部の構成を示したブロック図である。

図１は、本発明の一実施の形態による撮像装置のブロック図を示している。図１に示すように撮像装置１は、デジタルカメラから構成され、レンズ部２、撮像センサ３、アンプ４、Ａ／Ｄ変換部５、画像処理部６、画像メモリ７、制御部８、モニタ部９、及び操作部１０を備えている。

レンズ部２は、被写体の光像を取り込み、撮像センサ３へ導く光学レンズ系から構成される。光学レンズ系としては、被写体の光像の光軸Ｌに沿って直列的に配置される例えばズームレンズやフォーカスレンズ、その他の固定レンズブロック等を採用することができる。また、レンズ部２は、透過光量を調節するための絞り（図略）、シャッタ（図略）等を備え、制御部８の制御の下、絞り及びシャッタの駆動が制御される。

撮像センサ３（撮像素子）は、レンズ部２において結像された光像を光電変換して、光量に応じたレベルを有するＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分の画像信号を生成し、アンプ４へ出力する。ここで、撮像センサ３としては、後述する図３（ａ）〜（ｄ）及び図４（ａ）〜（ｄ）に示すような光電変換特性を有するＣＭＯＳイメージセンサが採用されている。なお、光電変換特性としては図３（ａ）〜（ｄ）及び図４（ａ）〜（ｄ）に示す種類のものに限定されず、他の光電変換特性を有する撮像センサを採用してもよく、また、ＣＭＯＳイメージセンサに限らず、ＶＭＩＳイメージセンサやＣＣＤイメージセンサ等の撮像センサを採用してもよい。

アンプ４は、例えばＡＧＣ（オートゲインコントロール）回路、及びＣＤＳ（相関二重サンプリング）回路等を含み、撮像センサ３から出力された画像信号を増幅する。Ａ／Ｄ変換部５は、アンプ４により増幅されたＲ，Ｇ，Ｂ各色の画像信号をＲ，Ｇ，Ｂ各色のデジタルの画像データに変換する。本実施の形態では、撮像センサ３の各画素で受光された画像信号は、例えば１２ビットの階調値を有する画像データに変換される。

画像処理部６は、後述するような画像処理を実行する。画像メモリ７は、例えばＲＡＭ（Random Access Memory）から構成され、画像処理部６で画像処理が施された画像データ等を保存する。

制御部８は、各種制御プログラム等を記憶するＲＯＭ（Read Only Memory）、一時的にデータを格納するＲＡＭ及び制御プログラム等をＲＯＭから読み出して実行する中央演算処理装置（ＣＰＵ）等からなり、撮像装置１全体の動作制御を司る。

モニタ部９は、例えば撮像装置１のハウジングの背面に配設されたカラー液晶表示器が採用され、撮像センサ３で撮影された画像データ或いは画像メモリ７に保存されていた画像データ等をモニタ表示する。

操作部１０は、電源スイッチ、レリーズスイッチ、各種撮影モードを設定するモード設定スイッチ、メニュー選択スイッチ等の各種の操作スイッチ群等を含む。レリーズスイッチが押されることで、撮像動作、すなわち撮像センサ３により被写体が撮像され、この撮像により得られた画像データに対して所要の画像処理が施され、画像メモリ７等に記録されるといった一連の撮影動作が実行される。なお、画像メモリ７等に記憶せず、画像処理部６からデジタル信号として出力したり、Ｄ／Ａ変換してＮＴＳＣ等のアナログ信号として出力したりして一連の撮像動作を終えてもよい。

図２は、図１に示す画像処理部６の詳細な構成を示すブロック図である。画像処理部６は、第１特性変換部１１０、圧縮部１２０、第２特性変換部１５０、及び処理部１６０を備えている。なお、図２に示す画像処理部６は、Ｒ，Ｇ，Ｂ各色の画像データに対して同一の画像処理を行うため、Ｒ，Ｇ，Ｂ各色の画像データを特に区別することなく説明する。

第１特性変換部１１０は、撮像センサ３から出力される画像データ、詳細にはＡ／Ｄ変換部５から出力され、第１特性変換部１１０に入力される画像データの光電変換特性を、圧縮部１２０によるダイナミックレンジ圧縮処理に適した所定の光電変換特性（第１光電変換特性）に変換する。

ここで、第１特性変換部１１０は、図３（ａ）〜（ｄ）及び図４（ａ）〜（ｄ）のいずれかに示す光電変換特性を有する画像データが入力され、入力された画像データの光電変換特性を所定の対数特性に変換しても良いし、所定の線形特性（第３線形特性）に変換しても良い。但し、対数特性に変換した方が、画像データの幅（ビット数）を小さくすることが可能となり、かつ、後述する露出補正処理を実行したときの低輝度側での輝度分解能を確保することが可能となり、露出補正処理を精度良く行うことができる。

また、撮像センサ３としては、出力する画像データの光電変換特性が下記に示す図３（ａ）〜（ｄ）及び図４（ａ）〜（ｄ）のいずれかに示す光電変換特性を有するものを採用すればよい。また、圧縮部１２０の処理に適した所定の光電変換特性としては、線形特性及び対数特性のいずれを採用する場合であっても、圧縮部１２０が照明成分と反射率成分とを精度良く分離して、反射率成分を維持したダイナミックレンジ圧縮処理を高精度に行うことができるような光電変換特性を採用することが好ましい。

図３（ａ）〜（ｄ）は、第１特性変換部１１０に入力される画像データの光電変換特性を所定の対数特性に変換した場合の変換前後の光電変換特性を示したグラフである。図３（ａ）〜（ｄ）はそれぞれ入力される画像データの光電変換特性が線形特性、対数特性、線形特性と線形特性とを組み合わせた特性、線形特性と対数特性とを組み合わせた特性を有している。なお、図３（ａ）〜（ｄ）のグラフはいずれも縦軸が階調値を示し、横軸が輝度を示し、実線が変換前の光電変換特性を示し、点線が変換後の光電変換特性を示している。

図３（ａ）においては、所定の傾きを有する線形特性の画像データが入力され、その画像データが点線で示す対数特性に変換されていることが分かる。図３（ｂ）においては、低輝度側での傾きが急峻な対数特性の画像データが、低輝度側での傾きがやや緩やかな点線で示す対数特性に変換されていることが分かる。図３（ｃ）においては、低輝度側での傾きが大きく高輝度側での傾きが小さな２種類の線形特性からなる画像データが、点線で示す対数特性に変換されていることが分かる。図３（ｄ）においては、低輝度側で線形特性を有し、高輝度側で対数特性を有する２種類の光電変換特性を有する画像データが点線で示す対数特性に変換されていることが分かる。なお、図３（ａ）〜（ｄ）の点線で示す対数特性はいずれも同じものとする。

図４（ａ）〜（ｄ）は、第１特性変換部１１０に入力される画像データの光電変換特性を所定の線形特性（第３線形特性）に変換した場合の変換前後の光電変換特性を示したグラフであり、図４（ａ）〜（ｄ）はそれぞれ入力される画像データの光電変換特性が線形特性、対数特性、線形特性と線形特性とを組み合わせた特性、線形特性と対数特性とを組み合わせた特性を有している。

図４（ａ）においては、傾きの大きな実線で示す線形特性の画像データが入力され、その画像データが点線で示す傾きの小さな線形特性に変換されていることが分かる。図４（ｂ）においては、低輝度側での傾きが急峻な対数特性の画像データが、点線で示す傾きの緩やかな線形特性に変換されていることが分かる。図４（ｃ）においては、低輝度側での傾きが大きく高輝度側での傾きが小さな２種類の線形特性からなる画像データが、点線で示す傾きの緩やかな線形特性に変換されていることが分かる。図４（ｄ）においては、低輝度側で線形特性を有し、高輝度側で対数特性を有する２種類の光電変換特性を有する画像データが点線で示す傾きの緩やかな線形特性に変換されていることが分かる。なお、図４（ａ）〜（ｄ）の点線で示す線形特性はいずれも同じものとする。

図５は、第１特性変換部１１０の詳細な構成を示したブロック図である。第１特性変換部１１０は、加算器１１１、乗算器１１２、及びＬＵＴ（ルックアップテーブル）１１３を備えている。加算器１１１は、Ａ／Ｄ変換部５から出力される画像データが所定の順番（例えばラスタ走査するような順番）で、１画素ずつ順次入力され、入力された画像データに補正値を加算し、乗算器１１２に出力する。乗算器１１２は、入力された画像データに補正係数を乗じ、ＬＵＴ１１３に出力する。ここで、補正値及び補正係数としては、撮像センサ３の固体ばらつきを補正するための値が採用され、実験的に予め測定された値であって、撮像センサ３の固有の値が採用されている。

そして、ＬＵＴ１１３の前処理として、処理対象となる画像データの撮像センサ３の固体ばらつきに起因する光電変換特性のばらつきを吸収する処理が、加算器１１１及び乗算器１１２により実行される。これにより、ＬＵＴ１１３に一定の光電変換特性を有する画像データを入力させることができ、固体ばらつきを考慮して固体毎に異なるＬＵＴによりＬＵＴ１１３を構成しなくても、精度の良い光電変換処理を実現することができる。

ＬＵＴ１１３は、図３（ａ）〜（ｄ）及び図４（ａ）〜（ｄ）のいずれかに示す変換前後の光電変換特性の関係を予め記憶するものであり、乗算器１１２から出力された画像データの光電変換特性を所定の光電変換特性に変換する。ここで、ＬＵＴ１１３は、入力される画像データの各階調値に対応付けられた各アドレスに変換処理後の画像データの階調値を予め記憶しており、入力された画像データの階調値に対応する階調値を出力することで光電変換特性を変換する。

図２に戻り、圧縮部１２０は、露出補正処理を実行する露出補正部１３０と、ダイナミックレンジ圧縮処理を実行するダイナミックレンジ圧縮部１４０とを備えている。露出補正部１３０は、線形特性変換部１３１、代表値算出部１３２、及び補正部１３３を備え、撮像センサ３から出力された画像データの露出レベルを所定の目標露出レベルにするための露出補正処理を実行する。

線形特性変換部１３１は、第１特性変換部１１０により光電変換特性が所定の対数特性に変換された画像データを対数画像データ（Ｖ１）とし、当該対数画像データ（Ｖ１）の光電変換特性を線形特性（第２線形特性）に変換する。

代表値算出部１３２は、線形特性変換部１３１から出力された線形画像データ（Ｖ２）の代表値を求める。補正部１３３は、代表値算出部１３２により算出された代表値を目標露出レベルと比較することで、線形画像データ（Ｖ２）の露出レベルを目標露出レベルにするためのゲインを求め、得られたゲインを基に、対数画像データ（Ｖ１）の露出レベルを目標露出レベルにするためのオフセット値を求める。また、補正部１３３は、求めたオフセット値を第１特性変換部１１０から出力された対数画像データ（Ｖ１）に加算し、対数画像データ（Ｖ１）を露出補正する。

図６は、露出補正部１３０の詳細な構成を示したブロック図である。図６に示すＬＵＴ２０１は図２に示す線形特性変換部１３１を構成する。ここで、ＬＵＴ２０１は、入力される対数画像データ（Ｖ１）の各階調値に対応付けられた各アドレスに変換処理後の画像データの階調値を予め記憶しており、入力された対数画像データ（Ｖ１）の階調値に対応する階調値を出力することで光電変換特性を対数特性から線形特性に変換し、線形画像データ（Ｖ２）を出力する。

ブロック平均算出部２０２は、図２に示す代表値算出部１３２を構成する。具体的には、ブロック平均算出部２０２は、ＬＵＴ２０１から出力された線形画像データ（Ｖ２）の所定領域を構成する各画素の階調値の平均値（Ａｖｅ）を算出する。平均値（Ａｖｅ）の算出は以下の式（１）を用いる。ここで、所定領域としては、線形画像データの一部の領域を採用してもよいし、複数の一部の領域を採用してもよいし、線形画像データの全部の領域を採用してもよい。また、複数の一部の領域を所定領域として採用する場合は、領域毎に重み係数を採用し、露出補正処理を行ううえで重要となる領域の露出レベルが高くなるようにしてもよい。
Ａｖｅ＝（ΣＶ２）／Ｐｉｘ（１）
ΣＶ２：所定領域の各画素の階調値の総和
Ｐｉｘ：所定領域の画素数

オフセット算出部２０３は、図２に示す補正部１３３を構成し、オフセット値を算出する。具体的には、オフセット算出部２０３は、目標露出レベル（Ｔａｒｇｅｔ）を平均値（Ａｖｅ）で除し、線形画像データ（Ｖ２）の露出レベルを目標露出レベル（Ｔａｒｇｅｔ）にするためのゲイン（ｂ＝Ｔａｒｇｅｔ／Ａｖｅ）を求める。

ここで、Ｖ１とＶ２とは以下の関係を有している。
Ｖ１＝α・Ｌｏｇ（Ｌｕｘ）（２）
Ｖ２＝ａ・Ｌｕｘ（３）
α，ａ：比例定数
Ｌｕｘ：撮像センサ３への入射光量

式（２）に式（３）を代入すると式（４）が得られる。
Ｖ１＝α・Ｌｏｇ（Ｖ２／ａ）
＝α・（Ｌｏｇ（Ｖ２）−Ｌｏｇ（ａ））（４）

線形画像データ（Ｖ２）から算出したゲイン（ｂ）は線形画像データ（Ｖ２）に対するゲインである。線形画像データ（Ｖ２）にゲイン（ｂ）を乗じた線形画像データ（ｂ・Ｖ２）を対数特性に変換したときの対数画像データ（Ｖ３）を算出した場合の対数画像データ（Ｖ１）のオフセット値（β）は下記の式により得られる。
β＝α・Ｌｏｇ（ｂ・Ｖ２／ａ）−Ｖ１（５）

式（５）のＶ１に式（４）を代入すると式（６）が得られる。
β＝α・Ｌｏｇ（ｂ）（６）

ゆえに、オフセット算出部２０３は、式（６）を用いて対数画像データ（Ｖ１）を構成する各画素のオフセット値（β）を算出する。

加算部２０４は、図２に示す補正部１３３を構成し、対数画像データ（Ｖ１）を構成する各画素に対して対応するオフセット値（β）を加算する、すなわち、Ｖ１＋βを算出することで、対数画像データ（Ｖ１）の露出レベルが補正された対数画像データ（Ｖ３）を算出する。

ここで、図２に示す線形特性変換部１３１は、第２特性変換部１５０と同様、光電変換特性を対数特性から線形特性に変換するものであるが、露出補正処理においては、ブロック平均算出部２０２により線形画像データの平均値が採用されており、線形画像データ（Ｖ２）の各画素値が丸め込まれるため、第２特性変換部１５０ほど高精度な変換処理が要求されない。そのため、ＬＵＴ２０１の回路規模を小さくすることが可能となる。

なお、第１特性変換部１１０が、入力される画像データの光電変換特性を図４（ａ）〜（ｄ）に示すように対数特性から線形特性（第３線形特性）に変換した場合、露出補正部１３０は、図６に示す構成に代えて、図７に示す構成を採用すればよい。図７は、第１特性変換部１１０が画像データを線形特性に変換した場合における露出補正部１３０の構成を示したブロック図である。

図７に示すように露出補正部１３０は、図６に示す線形特性変換部１３１が省かれ、代表値算出部１３２及び補正部１３３を備えている。代表値算出部１３２は、ブロック平均算出部２０２を備え、第１特性変換部１１０から出力された画像データ（線形画像データ（Ｖ１´））の代表値を求める。なお、代表値算出部１３２の処理は、図６に示す代表値算出部１３２の処理と同一であるため、説明を省略する。

補正部１３３は、ゲイン算出部３０１及び乗算器３０２を備えている。ゲイン算出部３０１は、代表値算出部１３２により算出された代表値を目標露出レベルと比較することで、線形画像データ（Ｖ１´）の露出レベルを目標露出レベルにするためのゲイン（ｂ）を求める。ゲイン（ｂ）の算出手法は、図６に示すオフセット算出部２０３と同一であるため説明を省略する。乗算器３０２は、ゲイン算出部３０１により算出されたゲイン（ｂ）を線形画像データ（Ｖ１´）に乗じて、露出レベルが補正された線形画像データ（Ｖ３´）を算出する。

図２に戻り、ダイナミックレンジ圧縮部１４０は、補正部１３３から出力された対数画像データ（Ｖ３）にダイナミックレンジ圧縮処理を施す。ここで、ダイナミックレンジ圧縮部１４０は、コニカミノルタテクノロジーレポート VOL.4 (2007)に記載されたダイナミックレンジ圧縮処理を採用することができる。

具体的には、入力された１枚の対数画像データ（Ｖ３）に対して、３×３、５×５等の比較的サイズの小さい２次元のローパスフィルタを用いたダウンサンプリング処理を複数回数繰り返して原画像を多重解像度化した後、低解像度側の画像のエッジ部分を上層の高解像度側の画像で置き換えながらアップサンプリングを行うアップサンプリング処理を複数回数実行するエッジ保存型のローパスフィルタ処理を実行することで、照明成分を抽出する。そして、抽出した照明成分を、所定の圧縮特性に従って圧縮し、圧縮した照明成分に、原画像を圧縮前の照明成分で除して得られる反射率成分を乗じる。これにより、ダイナミックレンジ圧縮処理が施された画像データが生成される。

このダイナミックレンジ圧縮処理によれば、多重解像度化することで比較的小さなサイズのローパスフィルタで大きなぼけ画像を得ることが可能となり、計算量の低下を図りつつ、照明成分を高精度に抽出することができる。また、エッジ保存型のローパスフィルタ処理が実行されているため、エッジ付近で発生するハロー効果と呼ばれる不具合を抑制することができる。

従来のダイナミックレンジ圧縮部は、上述したダイナミックレンジ圧縮処理を実行するにあたり、入力される画像データの光電変換特性の種類に応じて適したダイナミックレンジ圧縮処理を実行するために、光電変換特性毎に異なる処理を実行していた。そのため、回路規模が増大するという問題があった。本実施の形態の撮像装置１においては、ダイナミックレンジ圧縮部１４０に入力される画像データは、第１特性変換部１１０により光電変換特性が所定の光電変換特性に変換されているため、ダイナミックレンジ圧縮部１４０は、１種類の光電変換特性に応じたダイナミックレンジ圧縮処理を行えば良くなる結果、回路規模を縮小することができる。

第２特性変換部１５０は、ダイナミックレンジ圧縮部１４０によりダイナミックレンジ圧縮処理がなされた対数画像データ（Ｖ３）の光電変換特性を、後段に接続された処理部１６０による処理に適した所定の光電変換特性（第２光電変換特性）に変換する。ここで、処理部１６０の処理に適した光電変換特性としては変換前の対数特性よりも高輝度側での輝度分解能が高い線形特性（第１線形特性及び第４線形特性）を採用することが好ましい。

図８（ａ）、（ｂ）は、第２特性変換部１５０により変換された光電変換特性を示したグラフであり、図８（ａ）は対数画像データ（Ｖ３）が入力された場合を示し、図８（ｂ）は線形画像データ（Ｖ３´）が入力された場合を示している。なお、図８（ａ）、（ｂ）に示すグラフは、共に縦軸が階調値を示し横軸が輝度を示している。

図８（ａ）に示すように、ＤＲ１は、ダイナミックレンジ圧縮部１４０によりダイナミックレンジ圧縮処理がなされる前の対数画像データ（Ｖ３）のダイナミックレンジを示し、ＤＲ２は、ダイナミックレンジ圧縮処理がなされた後の対数画像データ（Ｖ３）、すなわち、第２特性変換部１５０に入力される対数画像データ（Ｖ３）のダイナミックレンジを示している。

図８（ａ）に示すように第２特性変換部１５０に入力される対数画像データ（Ｖ３）は、実線で示すグラフのように高輝度側での傾きが緩やかになり、高輝度側で輝度分解能が低下していることが分かる。このような輝度分解能の低下は、後段の処理部１６０におけるホワイトバランス補正等の画像処理の精度の低下を招いてしまう。そこで、第２特性変換部１５０は、対数画像データ（Ｖ３）の光電変換特性を図８（ａ）に示すように点線で示す線形特性に変換して線形画像データ（Ｖ４）を生成する。具体的には、図８（ａ）に示す原点Ｏ１と、ダイナミックレンジＤＲ２における最大輝度と飽和レベルとの交点Ｐ１とを結ぶ直線を線形特性とする線形画像データ（Ｖ４）を生成する。なお、飽和レベルとしては予め定められた値が採用されている。

これにより、光電変換特性の高輝度側の傾きが変換前の光電変換特性の傾きに比べて大きくなるため高輝度側での輝度分解能が高くなり、処理部１６０は、ホワイトバランス補正等の画像処理を高精度に行うことが可能となる。

なお、第２特性変換部１５０に線形画像データ（Ｖ３´）が入力された場合は、第２特性変換部１５０は、図８（ｂ）に示すように実線で示す線形特性よりも全体的に傾きの大きな点線で示す線形特性、具体的には、原点Ｏ１と交点Ｐ１とを結ぶ直線を線形特性とする画像データ（Ｖ４）を生成する。これにより、全体的に光電変換特性の輝度分解能が高くなり、処理部１６０は、ホワイトバランス補正等の画像処理を高精度に行うことが可能となる。

図２に戻り、処理部１６０は、第２特性変換部１５０により光電変換特性が変換された画像データ（線形画像データ（Ｖ４））に対してダイナミックレンジ圧縮処理とは異なる所定の画像処理を実行する。ここで、所定の画像処理としては、ホワイトバランス補正、色補正、γ補正、ノイズキャンセル補正のうち少なくともいずれか１つが含まれる。

ホワイトバランス補正は、基準となる白色が再現されるように、Ｒ，Ｇ，Ｂ各色の画像データの光電変換特性を補正する。色補正は、Ｒ，Ｇ，Ｂ各色の画像データの色合い（色バランス：彩度）を補正する処理であり、具体的には、Ｒ，Ｇ，Ｂ各色の画像データのレベル比を変換する変換係数を用意しておき、撮影シーンに応じて好ましい変換係数を用いてＲ，Ｇ，Ｂ各色の画像データのレベル比を変換して画像データの色合いを補正する。例えば、ａ１〜ｃ３の合計９個の変換係数を用い、次の色補正用変換式を用いて画像データを変換する。
Ｒ´＝ａ１・Ｒ＋ａ２・Ｇ＋ａ３・Ｂ
Ｇ´＝ｂ１・Ｒ＋ｂ２・Ｇ＋ｂ３・Ｂ
Ｂ´＝ｃ１・Ｒ＋ｃ２・Ｇ＋ｃ３・Ｂ

γ補正は、出力される画像がより自然に再現されるように入力される画像データの光電変換特性の傾きを補正する。ノイズキャンセル補正は、入力される画像データに含まれるノイズを除去する。

従来の処理部１６０は、上述した各種画像処理を実行するにあたり、入力される画像データの光電変換特性の種類に応じて適した画像処理を施すために、光電変換特性毎に異なる処理を実行していた。そのため、回路規模が増大するという問題があった。撮像装置１においては、処理部１６０に入力される画像データは、第２特性変換部１５０により光電変換特性が所定の光電変換特性に変換されているため、処理部１６０は、１種類の光電変換特性に応じた画像処理を行えば良くなる結果、回路規模を縮小することができる。

また、第２特性変換部１５０は対数画像データ（Ｖ３）を図８（ａ）、（ｂ）に示すような線形特性に変換して、処理部１６０に入力しているため、処理部１６０は、より高精度な画像処理を実現することが可能となる。なお、上記した処理部１６０の各種画像処理は一例であり他の画像処理を含ませても良い。

以下、画像処理部６の動作について図２を用いて説明する。まず、第１特性変換部１１０により入力された画像データの光電変換特性が所定の対数特性に変換され、対数画像データ（Ｖ１）とされて出力される。次に、対数画像データ（Ｖ１）は、線形特性変換部１３１により、所定の線形特性を有する画像データに変換され、線形画像データ（Ｖ２）として出力される。次に、線形画像データ（Ｖ２）は、代表値算出部１３２により、所定領域を構成する画素の階調値の平均値（Ａｖｅ）が代表値として算出される。次に、補正部１３３により、目標露出レベル（Ｔａｒｇｅｔ）が代表値（Ａｖｅ）で除され、ゲイン（ｂ）が算出され、ゲイン（ｂ）が式（６）に代入されオフセット値（β）が算出される。次に、補正部１３３により、オフセット値（β）が第１特性変換部１１０から出力された対数画像データ（Ｖ１）に画素毎に加算され、対数画像データ（Ｖ１）の露出レベルが補正され、対数画像データ（Ｖ３）が出力される。次に、対数画像データ（Ｖ３）は、ダイナミックレンジ圧縮部１４０によりダイナミックレンジが圧縮された後、第２特性変換部１５０により、光電変換特性が線形特性に変換されて線形画像データ（Ｖ４）とされ、処理部１６０に出力される。線形画像データ（Ｖ４）は、処理部１６０により上述した画像処理が実行され、処理が終了される。

以上説明したように、撮像装置１によれば、撮像センサ３から出力される画像データは、光電変換特性が圧縮部１２０による圧縮処理に適した所定の光電変換特性に変換された後、圧縮部１２０によりダイナミックレンジ圧縮処理が実行されるため、ダイナミックレンジ圧縮処理に適した光電変換特性とされる。その結果、圧縮部１２０は、当該光電変換特性以外の光電変換特性に対応しなくても良くなり、回路規模を増大させずに精度の良いダイナミックレンジ圧縮処理を実現することができる。

また、ダイナミックレンジ圧縮処理がなされた画像データは、光電変換特性が後段に設けられた処理部１６０による処理に適した所定の線形特性に変換されるため、当該光電変換特性以外の光電変換特性に対応しなくても良くなる。その結果、処理部１６０の回路規模を増大させなくても精度の良い画像処理を実現することができる。

なお、本発明は以下の態様を採用してもよい。図９は、本発明の他の一実施の形態による撮像装置１の画像処理部６の構成を示したブロック図である。図９に示す画像処理部６は、図２に示す画像処理部６に対して、線形特性変換部１３１が補正部１３３の出力側と代表値算出部１３２の入力側との間に接続されていることを特徴とする。

すなわち、図９に示す画像処理部６は、線形特性変換部１３１が、補正部１３３により露出レベルが補正された対数画像データ（Ｖ３）に対して、光電変換特性を所定の線形特性（第２線形特性）に変換して線形画像データ（Ｖ２）を生成し、代表値算出部１３２が線形画像データ（Ｖ２）から代表値を算出し、補正部１３３が代表値から露出レベルを補正するためのゲイン（ｂ）を求め、このゲイン（ｂ）からオフセット値（β）を求め、図略のＲＡＭ等に記憶させておく。そして、第１特性変換部１１０から次の１枚の対数画像データ（Ｖ１）が出力されると、その対数画像データ（Ｖ１）の各画素にオフセット値（β）を加算し、対数画像データ（Ｖ１）の露出レベルを補正する。

つまり、図２に示す画像処理部６では、オフセット値（β）の算出元となる画像データと補正対象の画像データとが同一であり、フィードホワード的に露出レベルが補正されていたが、図９に示す画像処理部６では、１つ前の画像データを用いてオフセット値（β）を算出し、このオフセット値（β）を、次の画像データに加算するというようにフィードバック的に露出レベルが補正されている。こうすることで、補正部１３３は、第１特性変換部１１０から画像データが出力されると、速やかに露出レベルを補正することができるため、露出補正処理の高速化を図ることができる。

上述の実施の形態の技術的特徴は以下のようにまとめることができる。

（１）上記画像処理装置は、撮像素子により撮像された画像データを処理する画像処理装置であって、前記撮像素子から出力される画像データの光電変換特性を所定の第１光電変換特性に変換する第１特性変換部と、前記第１特性変換部により光電変換特性が変換された画像データのダイナミックレンジを圧縮する圧縮部と、前記圧縮部によりダイナミックレンジが圧縮された画像データの光電変換特性を所定の第２光電変換特性に変換する第２特性変換部と、前記第２特性変換部により光電変換特性が変換された画像データに対して所定の画像処理を実行する処理部とを備えることを特徴とする。

この構成によれば、撮像素子から出力される画像データは、光電変換特性が圧縮部による圧縮処理に適した所定の第１光電変換特性に変換されるため、圧縮部は当該第１光電変換特性以外の光電変換特性に対応しなくても良くなり、回路規模を増大させずに精度の良いダイナミックレンジ圧縮処理を実現することができる。

また、ダイナミックレンジ圧縮処理がなされた画像データは、光電変換特性が後段に設けられた処理部による処理に適した所定の光電変換特性に変換されるため、当該光電変換特性以外の光電変換特性に対応しなくても良くなり、回路規模を増大させなくても後段の処理部において精度の良い画像処理を実現することができる。

（２）上記構成において、前記圧縮部は、前記撮像素子により撮像された画像データのダイナミックレンジを圧縮するダイナミックレンジ圧縮部と、前記撮像素子から出力された画像データの露出レベルを所定の目標露出レベルにする露出補正部とを備えることが好ましい。

この構成によれば、圧縮部において、撮像素子により撮像された画像データのダイナミックレンジが圧縮されることに加え、撮像素子から出力された画像データの露出レベルが所定の目標露出レベルにされることになる。

（３）上記構成において、前記第１光電変換特性は、所定の対数特性であり、前記第２光電変換特性は、所定の第１線形特性であることが好ましい。

この構成によれば、撮像素子から出力される画像データの光電変換特性が所定の対数特性に変換されて圧縮部に入力されるため、線形特性の画像データを露出補正処理する場合に比べて画像データの幅（ビット数）を小さくすることが可能となり、かつ、低輝度側での輝度分解能を確保することが可能となる。その結果、圧縮部における露出補正処理を、小規模の回路を用いて、精度良く行うことができる。

また、処理部には、所定の第１線形特性を有する画像データが入力されるため、ホワイトバランス補正等の画像処理を行ううえで好ましい線形特性（例えば比較的輝度分解能の高い線形特性）を有する画像データに対してホワイトバランス補正等の画像処理を実行することができ、精度のよい画像処理を実現することができる。

（４）上記構成において、前記露出補正部は、前記第１特性変換部により光電変換特性が前記対数特性に変換された対数画像データの光電変換特性を所定の第２線形特性に変換する線形特性変換部と、前記線形特性変換部により得られた線形画像データの代表値を求める代表値算出部と、前記代表値を前記目標露出レベルと比較することで、前記線形画像データの露出レベルを前記目標露出レベルにするためのゲインを求め、得られたゲインを基に、前記対数画像データの露出レベルを前記目標露出レベルにするためのオフセット値を求め、前記オフセット値を前記対数画像データに加算する補正部とを備えることが好ましい。

この構成によれば、対数画像データの光電変換特性が線形変換特性部によって、一旦、第２線形特性に変換されて線形画像データとされる。また、代表値算出部によって、線形画像データの代表値が求められる。また、補正部によって、代表値が目標露出レベルと比較されて線形画像データの露出レベルを目標露出レベルにするためのゲインが求められ、得られたゲインを基に、第１特性変換部から出力された対数画像データの露出レベルを目標露出レベルにするためのオフセット値が求められる。更に、補正部によって、オフセット値が対数画像データに加算されて露出補正処理が行われている。そのため、対数画像データに対する露出補正処理を精度良く行うことができる。

（５）上記構成において、前記第２線形特性の変換精度は、前記第１線形特性の変換精度よりも低いことが好ましい。

この構成によれば、露出補正処理においては、線形画像データの代表値が採用されており、線形画像データの各画素値が丸め込まれるため、線形特性変換部の第２線形特性への変換精度を、第２特性変換部の第１線形特性への変換精度に比べて低くすることが可能となる。そのため、線形特性変換部の回路規模を小さくすることが可能となる。

（６）上記構成において、前記第１光電変換特性は、所定の第３線形特性であり、前記第２光電変換特性は、所定の第４線形特性であることが好ましい。

この構成によれば、画像データは、光電変換特性がダイナミックレンジ圧縮処理に適した所定の第３線形特性に変換されて圧縮部に入力される。そのため、圧縮部の回路規模を小さくしても高精度のダイナミックレンジ圧縮処理を実現することができる。また、圧縮部により圧縮された画像データは、光電変換特性が、処理部による処理に適した所定の第４線形特性に変換されて処理部に入力される。そのため、圧縮部の回路規模を小さくしても高精度のダイナミックレンジ圧縮処理を実現することができる。

（７）前記露出補正部は、前記第１特性変換部により光電変換特性が前記第３線形特性に変換された線形画像データの代表値を求める代表値算出部と、前記代表値を前記目標露出レベルと比較することで、前記線形画像データの露出レベルを前記目標露出レベルにするためのゲインを求め、得られたゲインを基に、前記線形画像データの露出レベルを前記目標露出レベルにするためのオフセット値を求め、前記オフセット値を前記線形画像データに加算する補正部とを備えることが好ましい。

この構成によれば、代表値算出部によって、第１特性変換部から出力された線形画像データの代表値が求められる。また、補正部によって、代表値が目標露出レベルと比較されて線形画像データの露出レベルを目標露出レベルにするためのゲインが求められ、得られたゲインを基に、線形画像データの露出レベルを目標露出レベルにするためのオフセット値が求められる。更に、補正部によって、オフセット値が第１特性変換部から出力された線形画像データに加算されて露出補正処理が行われている。そのため、線形画像データに対する露出補正処理を精度良く行うことができる。

（８）前記露出補正部は、前記第１特性変換部により光電変換特性が前記対数特性に変換された対数画像データに、当該対数画像データの露出レベルを前記目標露出レベルにするためのオフセット値を加算して前記ダイナミックレンジ圧縮部に出力する補正部と、前記補正部により前記オフセット値が加算された対数画像データの光電変換特性を所定の第２線形特性に変換する線形特性変換部と、前記線形特性変換部により得られた線形画像データの代表値を求める代表値算出部とを備え、前記補正部は、前記代表値を前記目標露出レベルと比較することで、前記対数画像データの露出レベルを前記目標露出レベルにするためのゲインを求め、得られたゲインを基に、前記オフセット値を求め、前記第１特性変換部から今回の対数画像データが入力されると、前回の対数画像データに対して求めた前記オフセット値を前記今回の対数画像データに加算することが好ましい。

この構成によれば、第１特性変換部から今回の対数画像データが入力されると、前回の対数画像データに対して求めたオフセット値が今回の対数画像データに加算されて露出補正処理が行われている。そのため、露出補正処理を高速に行うことができる。

（９）前記圧縮部は、前記撮像素子により撮像された画像データから照明成分を抽出し、抽出した照明成分を所定の圧縮特性に従って圧縮し、圧縮した照明成分を、前記画像データから照明成分を除して得られる反射率成分に乗じることでダイナミックレンジを圧縮することが好ましい。

この構成によれば、第１特性変換部により光電変換特性が圧縮部の処理に適した光電変換特性に変換されている。そのため、上記のダイナミックレンジを圧縮する処理を、回路規模を増大させずに精度良く行うことができる。

Claims

撮像素子により撮像された画像データを処理する画像処理装置であって、
前記撮像素子から出力される画像データの光電変換特性を所定の第１光電変換特性に変換する第１特性変換部と、
前記第１特性変換部により光電変換特性が変換された画像データのダイナミックレンジを圧縮する圧縮部と、
前記圧縮部によりダイナミックレンジが圧縮された画像データの光電変換特性を所定の第２光電変換特性に変換する第２特性変換部と、
前記第２特性変換部により光電変換特性が変換された画像データに対して所定の画像処理を実行する処理部とを備え、
前記圧縮部は、
前記撮像素子により撮像された画像データのダイナミックレンジを圧縮するダイナミックレンジ圧縮部と、
前記撮像素子から出力された画像データの露出レベルを所定の目標露出レベルにする露出補正部とを備え、
前記第１光電変換特性は、所定の対数特性であり、
前記第２光電変換特性は、所定の第１線形特性であり、
前記露出補正部は、
前記第１特性変換部により光電変換特性が前記対数特性に変換された対数画像データの光電変換特性を所定の第２線形特性に変換する線形特性変換部と、
前記線形特性変換部により得られた線形画像データの代表値を求める代表値算出部と、
前記代表値を前記目標露出レベルと比較することで、前記線形画像データの露出レベルを前記目標露出レベルにするためのゲインを求め、得られたゲインを基に、前記対数画像データの露出レベルを前記目標露出レベルにするためのオフセット値を求め、前記オフセット値を前記対数画像データに加算する補正部とを備えることを特徴とする画像処理装置。
前記第２線形特性の変換精度は、前記第１線形特性の変換精度よりも低いことを特徴とする請求項１記載の画像処理装置。
撮像素子により撮像された画像データを処理する画像処理装置であって、
前記撮像素子から出力される画像データの光電変換特性を所定の第１光電変換特性に変換する第１特性変換部と、
前記第１特性変換部により光電変換特性が変換された画像データのダイナミックレンジを圧縮する圧縮部と、
前記圧縮部によりダイナミックレンジが圧縮された画像データの光電変換特性を所定の第２光電変換特性に変換する第２特性変換部と、
前記第２特性変換部により光電変換特性が変換された画像データに対して所定の画像処理を実行する処理部とを備え、
前記圧縮部は、
前記撮像素子により撮像された画像データのダイナミックレンジを圧縮するダイナミックレンジ圧縮部と、
前記撮像素子から出力された画像データの露出レベルを所定の目標露出レベルにする露出補正部とを備え、
前記第１光電変換特性は、所定の第３線形特性であり、
前記第２光電変換特性は、所定の第４線形特性であり、
前記露出補正部は、
前記第１特性変換部により光電変換特性が前記第３線形特性に変換された線形画像データの代表値を求める代表値算出部と、
前記代表値を前記目標露出レベルと比較することで、前記線形画像データの露出レベルを前記目標露出レベルにするためのゲインを求め、得られたゲインを基に、前記線形画像データの露出レベルを前記目標露出レベルにするためのオフセット値を求め、前記オフセット値を前記線形画像データに加算する補正部とを備えることを特徴とする画像処理装置。
撮像素子により撮像された画像データを処理する画像処理装置であって、
前記撮像素子から出力される画像データの光電変換特性を所定の第１光電変換特性に変換する第１特性変換部と、
前記第１特性変換部により光電変換特性が変換された画像データのダイナミックレンジを圧縮する圧縮部と、
前記圧縮部によりダイナミックレンジが圧縮された画像データの光電変換特性を所定の第２光電変換特性に変換する第２特性変換部と、
前記第２特性変換部により光電変換特性が変換された画像データに対して所定の画像処理を実行する処理部とを備え、
前記圧縮部は、
前記撮像素子により撮像された画像データのダイナミックレンジを圧縮するダイナミックレンジ圧縮部と、
前記撮像素子から出力された画像データの露出レベルを所定の目標露出レベルにする露出補正部とを備え、
前記第１光電変換特性は、所定の対数特性であり、
前記第２光電変換特性は、所定の第１線形特性であり、
前記露出補正部は、
前記第１特性変換部により光電変換特性が前記対数特性に変換された対数画像データに、当該対数画像データの露出レベルを前記目標露出レベルにするためのオフセット値を加算して前記ダイナミックレンジ圧縮部に出力する補正部と、
前記補正部により前記オフセット値が加算された対数画像データの光電変換特性を所定の第２線形特性に変換する線形特性変換部と、
前記線形特性変換部により得られた線形画像データの代表値を求める代表値算出部とを備え、
前記補正部は、前記代表値を前記目標露出レベルと比較することで、前記対数画像データの露出レベルを前記目標露出レベルにするためのゲインを求め、得られたゲインを基に、前記オフセット値を求め、前記第１特性変換部から今回の対数画像データが入力されると、前回の対数画像データに対して求めた前記オフセット値を前記今回の対数画像データに加算することを特徴とする画像処理装置。
前記圧縮部は、前記撮像素子により撮像された画像データから照明成分を抽出し、抽出した照明成分を所定の圧縮特性に従って圧縮し、圧縮した照明成分を、前記画像データから照明成分を除して得られる反射率成分に乗じることでダイナミックレンジを圧縮することを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
撮像素子により撮像された画像データを処理する画像処理方法であって、
前記撮像素子から出力される画像データの光電変換特性を、所定の対数特性に変換する第１特性変換ステップと、
前記第１特性変換ステップにより光電変換特性が変換された画像データのダイナミックレンジを圧縮する圧縮ステップと、
前記圧縮ステップによりダイナミックレンジが圧縮された画像データの光電変換特性を、所定の第１線形特性に変換する第２特性変換ステップと、
前記第２特性変換ステップにより光電変換特性が変換された画像データに対して所定の画像処理を実行する処理ステップとを備え、
前記圧縮ステップは、前記撮像素子により撮像された画像データのダイナミックレンジを圧縮するダイナミックレンジ圧縮ステップと、前記撮像素子から出力された画像データの露出レベルを所定の目標露出レベルにする露出補正ステップとを備え、
前記露出補正ステップは、前記第１特性変換ステップにより光電変換特性が前記対数特性に変換された対数画像データの光電変換特性を所定の第２線形特性に変換する線形特性変換ステップと、前記線形特性変換ステップにより得られた線形画像データの代表値を求める代表値算出ステップと、前記代表値を前記目標露出レベルと比較することで、前記線形画像データの露出レベルを前記目標露出レベルにするためのゲインを求め、得られたゲインを基に、前記対数画像データの露出レベルを前記目標露出レベルにするためのオフセット値を求め、前記オフセット値を前記対数画像データに加算する補正ステップとを備えることを特徴とする画像処理方法。
撮像素子と、
前記請求項１〜５のいずれかに記載の画像処理装置とを備えることを特徴とする撮像装置。