JP4812282B2 - 画像処理方法及び装置並びに撮像装置 - Google Patents

Description

本発明は画像処理方法及び装置並びに撮像装置に係り、特に同時に撮像されたダイナミックレンジ（Ｄレンジ）の狭い高感度画像とＤレンジの広い低感度画像とを合成し、広Ｄレンジ画像を作成する技術に関する。

従来、高感度画像と低感度画像とを合成し、広Ｄレンジ画像を作成する場合、高感度画像及び低感度画像をそれぞれガンマ補正し、ガンマ補正後の高感度画像及び低感度画像にそれぞれゲインをかけた後、加算するようにしている（特許文献１）。

上記高感度画像及び低感度画像をガンマ補正するガンマ補正回路、及びガンマ補正後の高感度画像及び低感度画像に乗算するためのゲイン係数を出力する手段は、合成される広Ｄレンジ画像の階調の連続性（滑らかさ）を実現するために４つのルックアップテーブル（ＬＵＴ）で構成され、これにより合成後の広Ｄレンジ画像は、変曲点がなく滑らかな階調特性を有するようになる。
特開２００４−２２１９２８号公報

ところで、画像の階調を変更したいケースがあるが、特許文献１には、合成された広Ｄレンジ画像のトータルの階調を変更する技術に関する記載がない。また、特許文献１に記載の画像処理方法によって高感度画像と低感度画像とを合成する場合、合成される広Ｄレンジ画像のトータルの階調を変更するには、４つのＬＵＴ（２つのガンマ補正用ＬＵＴと、２つのゲイン係数出力用ＬＵＴ）を調整しなければならず、ハード的に負荷がかかり（大容量メモリが必要になり）、また、階調設計の負荷も大きいという問題がある。

本発明はこのような事情に鑑みてなされたもので、高感度画像と低感度画像とを合成した広Ｄレンジ画像のトータルの階調を、ハード的な負荷や階調設計の負荷をかけることなく簡易に変更することができ、撮影モードに応じて階調特性を有する広Ｄレンジ画像を作成することができる画像処理方法及び装置並びに撮像装置を提供することを目的とする。

前記目的を達成するために請求項１に係る発明は、ダイナミックレンジの狭い高感度画像とダイナミックレンジの広い低感度画像とを合成し、広ダイナミックレンジ画像を作成する画像処理方法において、前記高感度画像を示す高感度画像信号、及び前記低感度画像を示す低感度画像信号をそれぞれ１段のルックアップテーブルで階調変換する第１の階調変換工程であって、前記高感度画像信号と前記低感度画像信号の合成後の画像信号が、輝度０から最大輝度にわたって滑らかに変化するように階調変換する第１の階調変換工程と、前記階調変換された高感度画像信号と低感度画像信号とを加算する工程と、前記加算された画像信号を更に階調変換する工程であって、複数のトーンカーブに対応する階調特性の中から選択された階調特性に対応する階調変換を行う第２の階調変換工程と、を含むことを特徴としている。

まず、第１の階調変換工程により高感度画像信号及び低感度画像信号をそれぞれ階調変換する。ここでの階調変換は、後段の加算された画像信号の階調が連続する（滑らかになる）ように高感度画像信号と低感度画像信号とを階調変換する。そして、前記階調変換された高感度画像信号と低感度画像信号とが加算された画像信号（即ち、合成後の画像信号）を、更に第２の階調変換工程により階調変換するようにしている。この合成後の画像信号の階調を変換する第２の階調変換工程は、第１の階調変換工程とは独立しており、ここで所要の階調変換を行うことにより、広ダイナミックレンジ画像のトータルの階調を簡易に変更することができる。

請求項２に示すように請求項１に記載の画像処理方法において、前記第１の階調変換工程は、ダイナミックレンジの広さに応じて異なる階調変換を行うことを特徴としている。これにより、広ダイナミックレンジ画像のダイナミックレンジを適宜変更することができる。

請求項３に示すように請求項１又は２に記載の画像処理方法において、前記第２の階調変換工程は、前記加算された画像信号が示す画像を軟調から硬調の範囲のうちのいずれかのトーンに変更するための階調変換を行う工程であって、複数の階調特性の中から撮影モードに応じて選択された階調特性に対応する階調変換を行うことを特徴としている。これにより、広ダイナミックレンジ画像のトータルの階調を撮影モードに応じて変更することができ、撮影モードに適した絵作りができる。

請求項４に係る発明は、ダイナミックレンジの狭い高感度画像とダイナミックレンジの広い低感度画像とを合成し、広ダイナミックレンジ画像を作成する画像処理装置において、前記高感度画像を示す高感度画像信号の階調変換を１段のルックアップテーブルで行う第１の階調変換手段と、前記低感度画像を示す低感度画像信号の階調変換を１段のルックアップテーブルで行う第２の階調変換手段と、前記第１の階調変換手段及び第２の階調変換手段によって階調変換された高感度画像信号と低感度画像信号とを加算する加算手段と、前記加算された画像信号の階調変換を行う第３の階調変換手段であって、複数のトーンカーブに対応する階調特性の中から選択された階調特性に対応する階調変換を行う第３の階調変換手段と、を備え、前記第１及び第２の階調変換手段は、前記高感度画像信号と前記低感度画像信号の合成後の画像信号が、輝度０から最大輝度にわたって滑らかに変化するように階調変換することを特徴としている。

請求項５に示すように請求項４に記載の画像処理装置において、前記第１の階調変換手段及び第２の階調変換手段は、それぞれダイナミックレンジの広さに対応する複数の階調変換ルックアップテーブルを有し、前記複数の階調変換ルックアップテーブルの中から選択した階調変換ルックアップテーブルに基づいて前記高感度画像信号及び低感度画像信号の階調変換を行うことを特徴としている。

請求項６に示すように請求項４又は５に記載の画像処理装置において、前記第３の階調変換手段は、前記加算された画像信号が示す画像を軟調から硬調の範囲内の複数のトーンに変換するための複数の階調変換ルックアップテーブルを有し、前記複数の階調変換ルックアップテーブルの中から選択した階調変換ルックアップテーブルに基づいて前記加算された画像信号の階調変換を行うことを特徴としている。

請求項７に係る撮像装置は、高感度画像信号及び低感度画像信号をそれぞれ取り出すことが可能な撮像手段と、前記撮像手段から取り出された高感度画像信号の階調変換を１段のルックアップテーブルで行う第１の階調変換手段と、前記撮像手段から取り出された低感度画像信号の階調変換を１段のルックアップテーブルで行う第２の階調変換手段と、前記第１の階調変換手段及び第２の階調変換手段によって階調変換された高感度画像信号と低感度画像信号とを加算する加算手段と、前記加算された画像信号の階調変換を行う第３の階調変換手段であって、複数のトーンカーブに対応する階調特性の中から選択された階調特性に対応する階調変換を行う第３の階調変換手段と、撮影モードを選択する撮影モード選択手段と、前記撮影モード選択手段によって選択された撮影モードに基づいて前記第３の階調変換手段で使用する階調特性を選択させる制御手段と、を備え、前記第１及び第２の階調変換手段は、前記高感度画像信号と前記低感度画像信号の合成後の画像信号が、輝度０から最大輝度にわたって滑らかに変化するように階調変換することを特徴としている。

これにより、広ダイナミックレンジ画像のトータルの階調を、撮影モード選択手段によって選択された撮影モードに応じて変更することができ、撮影モードに適した絵作りができる。ここで、撮影モードとしては、トーンの硬軟を選択するモードの他に、風景モード、人物モードなどが考えられる。

請求項８に示すように請求項７に記載の撮像装置において、前記第１の階調変換手段及び第２の階調変換手段は、それぞれダイナミックレンジの広さに対応する複数の階調変換ルックアップテーブルを有し、前記複数の階調変換ルックアップテーブルの中から選択した階調変換ルックアップテーブルに基づいて前記高感度画像信号及び低感度画像信号の階調変換を行うことを特徴としている。

請求項９に示すように請求項７又は８に記載の撮像装置において、前記第３の階調変換手段は、前記加算された画像信号が示す画像を軟調から硬調の範囲内の複数のトーンに変換するための複数の階調変換ルックアップテーブルの中から選択した階調変換ルックアップテーブルに基づいて前記加算された画像信号の階調変換を行うことを特徴としている。

本発明によれば、高感度画像と低感度画像とを合成して広ダイナミックレンジ画像を作成した後、その広ダイナミックレンジ画像を更に階調変換するようにしたため、広ダイナミックレンジ画像のトータルの階調変更を、ハード的な負荷や階調設計の負荷をかけることなく簡易に行うことができる。

以下添付図面に従って本発明に係る画像処理方法及び装置並びに撮像装置の好ましい実施の形態について詳説する。

〔撮像素子の構造〕
まず、本発明に係る撮像装置に適用される撮像素子の構造について説明する。図１は本発明に係る撮像装置に用いられるＣＣＤ固体撮像素子（以下、ＣＣＤという）の一例を示す平面模式図である。

同図に示すように、ＣＣＤ１０は、多数の受光セル２０が水平方向（行方向）及び垂直方向（列方向）に一定の配列周期で配置された二次元撮像デバイス（イメージセンサ）である。図示した構成はハニカム配列と呼ばれる画素配列であり、受光セル２０の幾何学的な形状の中心点を行方向及び列方向に１つおきに画素ピッチの半分（１／２ピッチ）ずらして配列させたものとなっている。即ち、互いに隣接する受光セル２０の行どうし（又は列どうし）において、一方の行（又は列）のセル配列が、他方の行（又は列）のセル配列に対して行方向（又は列方向）の配列間隔の略１／２だけ相対的にずれて配置された構造となっている。

各受光セル２０は、感度の異なる２つのフォトダイオード領域２１、２２を含む。第１のフォトダイオード領域２１は、相対的に広い面積を有し、感度の高い主たる感光部（以下、「主画素」という）を構成する。第２のフォトダイオード領域２２は、相対的に狭い面積を有し、感度の低い従たる感光部（以下、「副画素」という）を構成する。

各受光セル２０について、主画素２１と副画素２２には同色のカラーフィルタが配置されている。つまり、各受光セル２０に対応してそれぞれＲＧＢの何れか１色の原色カラーフィルタが割り当てられている。図１のように、水平方向についてＧＧＧＧ…の行の次段にＢＲＢＲ…の行が配置され、その次段にＧＧＧＧ…の行、更にその次の行にＲＢＲＢ…という具合に配列される。また、列方向についてみれば、ＧＧＧＧ…の列と、ＢＲＢＲ…の列と、ＧＧＧＧ…の列と、ＲＢＲＢ…の列とが循環式に繰り返される配列パターンとなっている。

受光セル２０の右側には垂直転送路（ＶＣＣＤ）３０が形成されている。垂直転送路３０は、受光セル２０の各列に近接して受光セル２０を避けながらジグザグ状に蛇行して垂直方向に伸びている。

垂直転送路３０上には４相駆動（φ1,φ2,φ3,φ4)に必要な転送電極３１、３２、３３、３４が配置される。転送電極３１〜３４は、受光セル２０の各行に近接して受光セル２０の開口を避けながら蛇行して図１の水平方向に伸びるように設けられている。例えば、２層ポリシリコンで転送電極を形成する場合、φ1 のパルス電圧が印加される第１の転送電極３１とφ3 のパルス電圧が印加される第３の転送電極３３は第１層ポリシリコン層で形成され、φ2 のパルス電圧が印加される第２の転送電極３２とφ4 のパルス電圧が印加される第４の転送電極３４は第２層ポリシリコン層で形成される。

図１において受光セル２０が並んだ撮像エリア４０の右側には、転送電極３１〜３４にパルス電圧を印加するＶＣＣＤ駆動回路４２が配置される。また、撮像エリア４０の下側（垂直転送路３０の下端側）には、垂直転送路３０から移された信号電荷を水平方向に転送する水平転送路（ＨＣＣＤ）４４が設けられている。

水平転送路４４は、２相駆動の転送ＣＣＤで構成されており、水平転送路４４の最終段（図１上で最左段）は出力部４６に接続されている。出力部４６は出力アンプを含み、入力された信号電荷の電荷検出を行い、信号電圧として出力端子４８に出力する。こうして、各受光セル２０で光電変換した信号が、点順次の信号列として出力される。

図２は主画素２１と副画素２２の光電変換特性を示すグラフである。横軸は相対的被写体輝度、縦軸はＡ／Ｄ変換後の画像データ値（ＱＬ値）を示す。本例では１４ビットデータを例示するが、ビット数はこれに限定されない。また、相対的被写体輝度とは、高感度画像データが飽和する時点のレベルを与える被写体輝度を１００％としたものである。

主画素２１の出力は、相対的被写体輝度に比例して次第に増加し、相対的被写体輝度が１００％（Ｄレンジ１００％）のときに出力が飽和値（ＱＬ値＝163834）に達する。以後、相対的被写体輝度が増加しても主画素２１の出力は一定となる。

一方、本例の副画素２２は、主画素２１に対して感度比１／１６、飽和比１／４となっており、相対的被写体輝度が４００％のときにＱＬ値＝4095で飽和する。

従って、上記主画素２１と副画素２２とを組み合わせることにより、主画素２１のみの構成よりも撮像素子のダイナミックレンジを４倍に拡大することができる。

尚、本例のＣＣＤ１０は、受光セル２０が２つのフォトダイオード領域２１、２２を含み、これらのフォトダイオード領域が主画素２１、及び副画素２２を構成しているが、これに限らず、主画素と副画素とが等間隔に配列されて構成された撮像素子でもよい。

〔撮像装置の構成例〕
次に、上述した広ダイナミックレンジ撮像用のＣＣＤ１０を搭載した撮像装置について説明する。

図３は本発明に係る撮像装置の実施の形態を示すブロック図である。この撮像装置１００の全体の動作は、中央処理装置（ＣＰＵ）５０によって統括される。

撮像装置１０には、操作部５２が含まれている。この操作部５２には、シャッターボタン、撮影モードと再生モードを切り替えるモード切替レバー、撮影モード（連写モード、オート撮影モード、マニュアル撮影モード、人物モード、風景モード、夜景モード）を選択するためのモードダイヤル、表示部５４にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択するためのマルチファンクションの十字キー、選択項目の確定や処理の実行を指令するＯＫボタン、選択項目など所望の対象の消去や指示内容の取消し、或いは１つ前の操作状態に戻らせる指令を入力するＢＡＣＫボタンなどが含まれる。操作部５２からの出力信号は、ＣＰＵ５０に入力される。

図４はＤレンジ及びトーンの硬軟（撮影モード）をマニュアル操作で選択するためのメニュー画面を示している。即ち、操作部５２のメニューボタンや十字キーを操作することにより、図４に示すメニュー画面を表示部５４に表示させ、このメニュー画面上で十字キーを操作しながらＤレンジの広さ（１００％、１３０％、１７０％、２３０％、３００％、４００％）と、撮影モード（トーンSTD,トーンHARD，トーンORG ）とを選択する。そして、ＯＫボタンを押すと選択内容が確定し、後述する画像処理時に利用される。

尚、トーンSTD,トーンHARD，及びトーンORG は、それぞれ標準モード、硬調モード、及び軟調モードを示している。

図３に戻って、撮像装置１０には、被写体にストロボ光を照射するためのストロボ発光装置５６が含まれ、また、各種クロック・パルス等を生成するためのタイミング・ジェネレータ５８が含まれている。このタイミング・ジェネレータ５８から出力されるクロック・パルス等は、ＣＣＤ１０及びアナログ・フロント・エンド（ＡＦＥ）６０に加えられる。

ＣＣＤ１０からは、タイミング・ジェネレータ５８から出力されるクロック・パルスに基づいて主画素のフォトセンサに蓄積された信号（主画素フレームの信号）と、副画素のフォトセンサに蓄積された信号（副画素フレームの信号）とが順番に電圧信号として読み出される。これらの主画素フレームのＣＣＤ信号と、副画素フレームのＣＣＤ信号は、ＡＦＥ６０に加えられる。

ＡＦＥ６０は、ＣＤＳ回路やＡ／Ｄコンバータ等を有し、ＣＤＳ回路はタイミング・ジェネレータ５８から加えられるＣＤＳパルスに基づいて入力するＣＣＤ信号を相関二重サンプリング処理し、Ａ／Ｄコンバータは、ＣＤＳ回路によって処理された信号を画素ごとにデジタルの画像データ（高感度画像データ、低感度画像データ）に変換する。

主画素フレームの高感度画像データ及び副画素フレームの低感度画像データ（点順次のＲ，Ｇ，Ｂ信号）は、信号処理部６２を介してメモリ６４に一時的に記憶される。高感度画像データ及び低感度画像データは、メモリ６４から読み出され、信号処理部６２に入力され、所定の傷補正処理が行われる。傷補正処理が行われた高感度画像データ及び低感度画像データは、メモリ６４に出力され、再び記憶される。

高感度画像データ及び低感度画像データは、メモリ６４から再び読み出され、信号処理部６２に入力され、ここで高感度画像データと低感度画像データとの合成処理を含む所要の画像処理が行われる。尚、信号処理部６２での画像処理の詳細については、後述する。

信号処理部６２で処理された画像データ（輝度信号Ｙ，色差信号Ｃr,Ｃｂ）は、再びメモリ６４に記憶される。メモリ６４に記録された輝度信号Ｙ，色差信号Ｃr,Ｃｂは、圧縮回路６６に与えられ、ここで、所定の圧縮フォーマット（例えば、JPEG方式) に従って圧縮される。圧縮された画像データは、記録装置６８を介してメモリカード７０に記録される。

尚、表示部５４には、撮像準備中に映像（スルームービー画）が表示され、また、再生モード時にメモリカード７０に記録された画像が表示される。

〔信号処理部６２の詳細構成例〕
図５は図３に示した信号処理部６２の詳細な回路構成を示すブロック図である。

前述したようにメモリ６４に一時記憶された高感度画像データ及び低感度画像データは、それぞれ信号処理部６２のオフセット処理回路１００及び１０２に加えられる。高感度画像データ及び低感度画像データは、それぞれオフセット処理回路１００及び１０２においてオフセット処理が行われる。オフセット処理回路１００及び１０２からそれぞれ出力された高感度ＲＡＷ画像データ及び低感度ＲＡＷ画像データは、リニアマトリクス回路１１０及び１１２に出力され、ここでＣＣＤ１０の分光特性を補正する色調補正処理が行われる。また、高感度ＲＡＷ画像データ及び低感度ＲＡＷ画像データをメモリカード７０に記録することもできる。

リニアマトリクス回路１１０及び１１２から出力された高感度画像データ及び低感度画像データは、ゲイン補正回路１２０及び１２２にそれぞれ出力される。ゲイン補正回路１２０及び１２２は、Ｒ，Ｇ，Ｂの画像データごとにそれぞれホワイトバランス調整用のゲインをかけることによりホワイトバランス調整を行う。ゲイン補正回路１２０及び１２２から出力された高感度画像データ及び低感度画像データは、それぞれ合成処理回路１３０に出力される。

この合成処理回路１３０は、主として高感度画像データ用の階調変換ＬＵＴ１３２と、低感度画像データ用の階調変換ＬＵＴ１３４と、加算器１３６とから構成されている。

階調変換ＬＵＴ１３２及び１３４は、それぞれ図４に示したように６つのＤレンジ（１００％、１３０％、１７０％、２３０％、３００％、４００％）に対応する６つの階調変換ＬＵＴからなり、ＣＰＵ５０から指令されるＤレンジ選択信号に基づいて６つの階調変換ＬＵＴの中から対応する階調変換ＬＵＴが選択される。尚、前記Ｄレンジ選択信号は、図４のメニュー画面で選択されたＤレンジに応じてＣＰＵ５０から出力される。

合成処理回路１３０に入力した高感度画像データ及び低感度画像データは、それぞれ階調変換ＬＵＴ１３２及び１３４の中から前記Ｄレンジ選択信号に基づいて選択された階調変換ＬＵＴにより階調変換され、加算器１３６に出力される。

加算器１３６は、階調変換ＬＵＴ１３２と１３４によって階調変換された高感度画像データと低感度画像データとを真数合成（加算）し、後段の階調変換ＬＵＴ１４０に出力する。

図６は前記合成処理回路１３０により各Ｄレンジに応じて合成された合成後の画像データの信号レベルを示している。

同図に示すように、各Ｄレンジに応じて合成された合成後の画像データの信号レベルの最大値はそれぞれ一致し、かつ輝度０から各Ｄレンジの最大輝度にわたって信号レベルは滑らかに変化するように合成される。即ち、前述の階調変換ＬＵＴ１３２及１３４は、図６に示す合成結果が得られるような階調変換を行っている。

尚、この実施の形態では、Ｄレンジ１００％のときには、高感度画像データと低感度画像データとを合成せずに高感度画像データのみを使用し、かつ高感度画像データの階調変換を行わないようにしている。従って、階調変換ＬＵＴ１３２及び１３４は、Ｄレンジ１００％以外の５つのＤレンジに対応する５つの階調変換ＬＵＴから構成される。

一方、階調変換ＬＵＴ１４０は、例えば３つの階調変換ＬＵＴから構成され、ＣＰＵ５０から指令されるトーン選択信号に基づいて３つの階調変換ＬＵＴの中から対応する階調変換ＬＵＴが選択される。前記トーン選択信号は、図４のメニュー画面で選択された撮影モード（トーンSTD,トーンHARD，トーンORG ）に応じてＣＰＵ５０から出力される。

合成処理部１３０の加算器１３６から出力された合成後の画像データは、階調変換ＬＵＴ１４０に加えられ、ここで前記トーン選択信号に基づいて選択された階調変換ＬＵＴにより階調変換される。

図７は３つの階調変換ＬＵＴ１４０の中の或る階調変換ＬＵＴによって階調変換された後の画像データの信号レベルを示しており、６つのＤレンジの画像データに対する信号レベルを示している。

図８は３つの階調変換ＬＵＴ１４０の入出力特性を示すグラフであり、トーンSTD,トーンHARD，及びトーンORG のトーンカーブを示している。前述したようにトーンSTD を選択すると、調子が標準となる階調変換が行われ、トーンHARDが選択されると、硬調となる階調変換が行われ、トーンORG が選択されると、軟調となる階調変換が行われる。

この階調変換ＬＵＴ１４０により、合成後の広Ｄレンジ画像のトータルの階調を容易に変更することができる。

階調変換ＬＵＴ１４０によってトータルの階調が変更された広ＤレンジのＲ，Ｇ，Ｂの点順次の画像データは、同時化処理回路１５０に加えられる。同時化処理回路１５０は、単板ＣＣＤのカラーフィルタ配列に伴うＲ，Ｇ，Ｂ信号の空間的なズレを補間してＲ，Ｇ，Ｂ信号を同時式に変換する処理を行い、同時化したＲ，Ｇ，Ｂ信号をＲＧＢ／ＹＣ変換回路１６０に出力する。

ＲＧＢ／ＹＣ変換回路１６０は、Ｒ，Ｇ，Ｂ信号を輝度信号Ｙ，色差信号Ｃr,Ｃｂに変換し、輝度信号Ｙを輪郭補正回路１７０に出力し、色差信号Ｃr,Ｃｂを色差マトリクス回路１８０に出力する。輪郭補正回路１７０は、輝度信号Ｙの輪郭部（輝度変化の大きい部分）を強調する処理を行い、色差マトリクス回路１８０は、色差信号Ｃr,Ｃｂに対して所要のマトリクス変換を行って良好な色再現性を実現させる。

このようにして輪郭補正された輝度信号Ｙ、及び色差マトリクス変換された色差信号Ｃr,Ｃｂは、一旦メモリ６４に保存された後、圧縮回路６６によりJPEG方式に従って圧縮され、記録装置６８を介してメモリカード７０に記録される。

尚、広Ｄレンジ画像をメモリカード７０に記録する前に表示部５４に表示し、画像を確認後にＯＫボタンを押すことにより記録するようにしてもよく、また、ＢＡＣＫボタンを押してＤレンジや撮影モードの選択を変更し、再度、広Ｄレンジ画像の合成やトータルの階調変更等をやり直すようにしてもよい。

また、この実施の形態では、Ｄレンジの選択はマニュアル操作で行うようにしたが、撮影した画像から自動的にＤレンジを選択するようにしてもよい。

例えば、Ｇの１画面分の低感度画像データを８×８の領域に分割し、各分割領域ごとに平均値を算出し、６４の分割領域ごとに算出した平均値のうちの最大値を求める。

図２に示したように低感度画像データが４０９５のときに、Ｄレンジが４００％となるため、前記求めた最大値をＸとすると、必要なＤレンジ（Ｙ％）は、次式によって求めることができる。

［数１］
Ｙ＝（Ｘ／４０９５）×４００（％） …（１）
上記式（１）によって求めたＤレンジ（Ｙ％）に基づいて、１００％、１３０％、１７０％、２３０％、３００％、及び４００％のＤレンジのうちのいずれを選択するかを決定する。

また、撮影モードとしてのトーンSTD,トーンHARD，トーンORG をメニュー画面上で選択するようにしたが、これに限らず、モードダイヤルによって選択される撮影モード（連写モード、オート撮影モード、マニュアル撮影モード、人物モード、風景モード、夜景モード）に応じてトーンSTD,トーンHARD，トーンORG を選択するようにしてもよい。例えば、、風景モードが選択された場合にはトーンHARDを選択し、人物モードが選択された場合にはトーンORG を選択し、それ以外の撮影モードが選択された場合にはトーンSTD を選択する。

尚、この実施の形態では、信号処理部をハードウエア回路により構成しているが、ソフトウエアにより実現するようにしてもよい。また、高感度画像データと低感度画像データとは、主画素と副画素とを有するＣＣＤによる１回撮影で得る場合に限らず、露出条件を変えて通常の撮像素子による２回撮影で得るようにしてもよい。

図１は本発明に係る撮像装置に用いられるＣＣＤの一例を示す平面模式図である。 図２は前記ＣＣＤの主画素と副画素の光電変換特性を示すグラフである。 図３は本発明に係る撮像装置の実施の形態を示すブロック図である。 図４はＤレンジ及びトーンの硬軟（撮影モード）をマニュアルで選択するためのメニュー画面を示す図である。 図５は図３に示した信号処理部の詳細な回路構成を示すブロック図である。 図６は各Ｄレンジに応じて合成された合成後の画像データの信号レベルを示すグラフである。 図７は６つのＤレンジの画像データに対して更に階調変換した後の画像データの信号レベルを示すグラフである。 図８は３つの階調変換ＬＵＴの入出力特性を示すグラフである。

符号の説明

１０…ＣＣＤ、２０…受光セル、２１…主画素、２２…副画素、５０…中央処理装置（ＣＰＵ）、５２…操作部、５４…表示部、６０…アナログ・フロント・エンド（ＡＦＥ）、６２…信号処理部、６４…メモリ、６６…圧縮回路、６８…記録装置、７０…メモリカード、１３０…合成処理部、１３２、１３４、１４０…階調変換ＬＵＴ、１３６…加算器

Claims (9)

1. ダイナミックレンジの狭い高感度画像とダイナミックレンジの広い低感度画像とを合成し、広ダイナミックレンジ画像を作成する画像処理方法において、
   前記高感度画像を示す高感度画像信号、及び前記低感度画像を示す低感度画像信号をそれぞれ１段のルックアップテーブルで階調変換する第１の階調変換工程であって、前記高感度画像信号と前記低感度画像信号の合成後の画像信号が、輝度０から最大輝度にわたって滑らかに変化するように階調変換する第１の階調変換工程と、
   前記階調変換された高感度画像信号と低感度画像信号とを加算する工程と、
   前記加算された画像信号を更に階調変換する工程であって、複数のトーンカーブに対応する階調特性の中から選択された階調特性に対応する階調変換を行う第２の階調変換工程と、
   を含むことを特徴とする画像処理方法。
2. 前記第１の階調変換工程は、ダイナミックレンジの広さに応じて異なる階調変換を行うことを特徴とする請求項１に記載の画像処理方法。
3. 前記第２の階調変換工程は、前記加算された画像信号が示す画像を軟調から硬調の範囲のうちのいずれかのトーンに変更するための階調変換を行う工程であって、複数の階調特性の中から撮影モードに応じて選択された階調特性に対応する階調変換を行うことを特徴とする請求項１又は２に記載の画像処理方法。
4. ダイナミックレンジの狭い高感度画像とダイナミックレンジの広い低感度画像とを合成し、広ダイナミックレンジ画像を作成する画像処理装置において、
   前記高感度画像を示す高感度画像信号の階調変換を１段のルックアップテーブルで行う第１の階調変換手段と、
   前記低感度画像を示す低感度画像信号の階調変換を１段のルックアップテーブルで行う第２の階調変換手段と、
   前記第１の階調変換手段及び第２の階調変換手段によって階調変換された高感度画像信号と低感度画像信号とを加算する加算手段と、
   前記加算された画像信号の階調変換を行う第３の階調変換手段であって、複数のトーンカーブに対応する階調特性の中から選択された階調特性に対応する階調変換を行う第３の階調変換手段と、を備え、
   前記第１及び第２の階調変換手段は、前記高感度画像信号と前記低感度画像信号の合成後の画像信号が、輝度０から最大輝度にわたって滑らかに変化するように階調変換することを特徴とする画像処理装置。
5. 前記第１の階調変換手段及び第２の階調変換手段は、それぞれダイナミックレンジの広さに対応する複数の階調変換ルックアップテーブルを有し、前記複数の階調変換ルックアップテーブルの中から選択した階調変換ルックアップテーブルに基づいて前記高感度画像信号及び低感度画像信号の階調変換を行うことを特徴とする請求項４に記載の画像処理装置。
6. 前記第３の階調変換手段は、前記加算された画像信号が示す画像を軟調から硬調の範囲内の複数のトーンに変換するための複数の階調変換ルックアップテーブルを有し、前記複数の階調変換ルックアップテーブルの中から選択した階調変換ルックアップテーブルに基づいて前記加算された画像信号の階調変換を行うことを特徴とする請求項４又は５に記載の画像処理装置。
7. 高感度画像信号及び低感度画像信号をそれぞれ取り出すことが可能な撮像手段と、
   前記撮像手段から取り出された高感度画像信号の階調変換を１段のルックアップテーブルで行う第１の階調変換手段と、
   前記撮像手段から取り出された低感度画像信号の階調変換を１段のルックアップテーブルで行う第２の階調変換手段と、
   前記第１の階調変換手段及び第２の階調変換手段によって階調変換された高感度画像信号と低感度画像信号とを加算する加算手段と、
   前記加算された画像信号の階調変換を行う第３の階調変換手段であって、複数のトーンカーブに対応する階調特性の中から選択された階調特性に対応する階調変換を行う第３の階調変換手段と、
   撮影モードを選択する撮影モード選択手段と、
   前記撮影モード選択手段によって選択された撮影モードに基づいて前記第３の階調変換手段で使用する階調特性を選択させる制御手段と、を備え、
   前記第１及び第２の階調変換手段は、前記高感度画像信号と前記低感度画像信号の合成後の画像信号が、輝度０から最大輝度にわたって滑らかに変化するように階調変換することを特徴とする撮像装置。
8. 前記第１の階調変換手段及び第２の階調変換手段は、それぞれダイナミックレンジの広さに対応する複数の階調変換ルックアップテーブルを有し、前記複数の階調変換ルックアップテーブルの中から選択した階調変換ルックアップテーブルに基づいて前記高感度画像信号及び低感度画像信号の階調変換を行うことを特徴とする請求項７に記載の撮像装置。
9. 前記第３の階調変換手段は、前記加算された画像信号が示す画像を軟調から硬調の範囲内の複数のトーンに変換するための複数の階調変換ルックアップテーブルの中から選択した階調変換ルックアップテーブルに基づいて前記加算された画像信号の階調変換を行うことを特徴とする請求項７又は８に記載の撮像装置。

Images