JP4307862B2

JP4307862B2 - 信号処理方法、信号処理回路、及び撮像装置

Info

Publication number: JP4307862B2
Application number: JP2003028486A
Authority: JP
Inventors: 健吉林
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2003-02-05
Filing date: 2003-02-05
Publication date: 2009-08-05
Anticipated expiration: 2023-02-05
Also published as: JP2004242016A; US20040155972A1; US7411619B2

Description

【０００１】
【発明の属する技術分野】
本発明は、信号処理方法、信号処理回路及び撮像装置に係り、特に高感度信号と低感度信号を出力可能な撮像素子を搭載したデジタルカメラ、デジタルビデオカメラ等の撮像装置、並びにそれに用いられる信号処理回路及び信号処理方法に関する。
【０００２】
【従来の技術】
一般に、デジタルカメラ、デジタルビデオカメラ等の撮像装置は、内蔵される撮像素子の電荷蓄積容量により決定される固有のダイナミックレンジを有している。この撮像素子のダイナミックレンジは、銀塩フィルムを用いるカメラによって得られる銀塩ネガフィルムのダイナミックレンジよりも狭い。
【０００３】
そのため、室内から室外を撮影する等、極めて明るい（高輝度）被写体と相対的に暗い（低輝度）被写体が混在するような場面を撮像する場合には、高輝度被写体もしくは低輝度被写体のいずれか一方が適正レベルとなるように露光時間を制御している。このような制御の下では、低輝度被写体を適正レベルとして設定すると高輝度部分が白とびし、高輝度被写体を適正レベルとして設定すると低輝度部分が黒つぶれしてしまう等、不適切な画像しか得られない場合も想定される。
【０００４】
このような問題を解決するために、一つのシーンに対し、互いにダイナミックレンジの異なる高感度信号と低感度信号の２種類の画像信号または映像信号を取得し、２種類の画像信号を最適化して合成処理することにより、広いダイナミックレンジを持つ信号を得る撮像装置が開発されている。このような撮像装置は、例えば以下に示す特許文献に開示されている。
【特許文献１】
特開２００１−９４９９９
【特許文献２】
特開２００１−８１０４
【０００５】
特許文献１は、標準的な明るさの被写体が適正レベルとなるようにして得た標準輝度映像信号と、標準よりも明るい被写体が適性レベルとなるようにして得た高輝度映像信号を、それぞれ適正に調整して、両信号を合成加算することにより、広ダイナミックレンジ映像信号を得る撮像装置を開示している。
【０００６】
また、特許文献２は、低感度信号と高感度信号の両方を撮像可能な撮像手段を用いて、低感度映像と高感度映像を撮影して、両信号を加算合成することにより広ダイナミックレンジ映像信号を得る撮像装置を開示している。
【０００７】
【発明が解決しようとする課題】
しかしながら、特許文献１に記載の撮像装置においては、合成加算時に、撮像データのレベルに応じて、適応的に合成する信号の重み付けを変える必要がある。また、どんなシーンにおいても、一様な合成処理を行ってしまうと、シーンによってはかえって画質が劣化してしまうおそれがある。したがって、例えば被写体のコントラストなどの情報をもとに、シーンに応じてダイナミックレンジを制御することが望まれ、そのための合成加算には複雑な演算が必要とされる。よって、複雑な演算を行うための複雑な信号処理回路を設計する必要があり、コストアップの要因となってしまう。
【０００８】
また、特許文献２に記載の撮像装置において、合成加算を行い広ダイナミックレンジの映像信号を得るためには、合成する画像各々に対して、最適化処理が必要とされる。しかし、各画像に対して最適化処理を同時に行おうとすると、階調補正などの最適化処理回路が合成する画像の数だけ必要となるため、回路が大型化し設計が複雑化してしまい、コストアップの要因となってしまう。
【０００９】
また、最適化処理回路において、階調補正用の補正信号をそれぞれ作成し、階調補正を行った後に、合成処理回路にて合成を行おうとする場合には、信号処理回路全体に大きな計算負荷がかかり処理時間が長くなるといった問題も生じる。
【００１０】
本発明は、上記諸問題を鑑みて為されたものであり、計算負荷が少なく、低い生産コストで製造が可能な画像合成用の信号処理方法及び信号処理回路、並びにその信号処理回路を用いた撮像装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記目的を達成するために、本発明の請求項１記載の信号処理方法は、第１のデジタル信号または第２のデジタル信号に対してＬＵＴを用いた複数の処理を実行して、これら２つのデジタル信号を合成加算する信号処理方法であって、
前記複数の処理にそれぞれ用いるＬＵＴを保存すると共に各処理が実行される際に参照されるテーブル保存領域を該複数の処理で共有し、
前記複数の処理を順次実行し、各処理を実行するに際して前記テーブル保存領域を各処理に対応するＬＵＴで書き換えておく。
【００１２】
本発明によれば、テーブル保存領域内に書き込まれるデータは、処理に対応して書き換えられる。したがって、複数の処理に対応したＬＵＴ保存用のテーブル保存領域を予め複数設ける必要が無く、テーブル保存領域のデータ容量としては最大のデータ量を持つＬＵＴ分だけ設ければよい。したがって、テーブル保存領域のデータ領域の大きさを節約しつつ、信号合成を行うことが可能となる。
【００１３】
本発明の請求項２記載の信号処理方法は、請求項１記載の信号処理方法であって、前記第１のデジタル信号用の第１の階調補正ＬＵＴを前記テーブル保存領域に書き込むステップと、前記テーブル保存領域に書き込まれた前記第１の階調補正ＬＵＴを参照して、前記第１のデジタル信号を階調補正するステップと、前記第１の階調補正ＬＵＴが書き込まれた前記テーブル保存領域を前記第２のデジタル信号用の第２の階調補正ＬＵＴで書き換えるステップと、前記テーブル保存領域に書き込まれた前記第２の階調補正ＬＵＴを参照して、前記第２のデジタル信号を階調補正するステップと、前記第２の階調補正ＬＵＴが書き込まれた前記テーブル保存領域を合成加算用の重み付けＬＵＴで書き換えるステップと、前記テーブル保存領域に書き込まれた前記合成加算用の重み付けＬＵＴを参照して、階調補正された前記第１のデジタル信号及び前記第２のデジタル信号を合成するステップと、を備えている。
【００１４】
本発明によれば、各種処理に応じてテーブル保存領域に第１の階調補正ＬＵＴ、第２の階調補正ＬＵＴ及び重み付けＬＵＴを保存し、第１の信号及び第２の信号から信号を合成することが可能となる。本発明においても、テーブル保存領域内に書き込まれるデータは、処理に対応して書き換えられる。したがって、複数の処理に対応したＬＵＴを予め複数設ける必要が無く、テーブル保存領域のデータ容量としては最大のデータ量を持つＬＵＴ分だけ設ければよい。したがって、テーブル保存領域のデータ領域の大きさを節約しつつ、信号合成を行うことが可能となる。
【００１５】
本発明の請求項３記載の信号処理回路は、第１のデジタル信号または第２のデジタル信号に対してＬＵＴを用いた複数の処理を実行して、これら２つのデジタル信号を合成加算する信号処理回路であって、前記複数の処理にそれぞれ用いるＬＵＴを保存すると共に各処理が実行される際に参照されるテーブル保存領域と、前記テーブル保存領域にＬＵＴを書き込むテーブル書換手段と、を備え、前記テーブル保存領域が、前記複数の処理で共有されており、前記複数の処理が順次実行され、各処理が実行されるに際して前記テーブル保存領域が前記テーブル書換手段により各処理に対応するＬＵＴで書き換えられる。
【００１６】
本発明によれば、テーブル保存領域内に書き込まれるデータは、処理に対応して書き換えられる。したがって、複数の処理に対応したＬＵＴ保存用のテーブル保存領域を予め複数設ける必要が無く、テーブル保存領域のデータ容量としては最大のデータ量を持つＬＵＴ分だけ設ければよい。したがって、テーブル保存領域のデータ領域の大きさを節約しつつ、信号合成を行うことが可能となる。
【００１７】
本発明の請求項４記載の信号処理回路は、請求項３記載の信号処理回路であって、前記第１のデジタル信号用の階調補正ＬＵＴが書き込まれた前記テーブル保存領域を参照して、前記第１のデジタル信号を階調補正し、前記第１のデジタル信号用の階調補正ＬＵＴから前記第２のデジタル信号用の階調補正ＬＵＴに書き換えられた前記テーブル保存領域を参照して、前記第２のデジタル信号を階調補正し、前記第２のデジタル信号用の階調補正ＬＵＴから合成加算用重み付けＬＵＴに書き換えられた前記テーブル保存領域を参照して、階調補正された前記第１のデジタル信号及び前記第２のデジタル信号を合成する。
【００１８】
本発明によれば、テーブル書換手段は、各種処理に応じてテーブル保存領域に第１の階調補正ＬＵＴ、第２の階調補正ＬＵＴ及び重み付けＬＵＴを保存し、合成手段は、第１の信号及び第２の信号から信号を合成する。本発明においても、テーブル保存領域内に書き込まれるデータは、処理に対応して書き換えられる。したがって、複数の処理に対応したＬＵＴを予め複数設ける必要が無く、テーブル保存領域のデータ容量としては最大のデータ量を持つＬＵＴ分だけ設ければよい。したがって、テーブル保存領域のデータ領域の大きさを節約しつつ、信号合成を行うことが可能となる。
【００１９】
本発明の請求項５記載の撮像装置は、それぞれ異なる感度を有する第１の受光領域及び第２の受光領域からそれぞれ構成される複数の受光素子を有する撮像素子と、前記第１の受光素子の各々から出力される複数の出力信号から構成される第１のアナログ信号と、前記第２の受光素子の各々から出力される複数の出力信号から構成される第２のアナログ信号とをそれぞれＡ／Ｄ変換して第１のデジタル信号及び第２のデジタル信号を生成するＡ／Ｄ変換回路と、前記第１のデジタル信号または前記第２のデジタル信号に対してＬＵＴを用いた複数の処理を実行して、これら２つのデジタル信号を合成加算し、画像データを生成する信号処理回路とを備え、前記信号処理回路が、前記複数の処理にそれぞれ用いるＬＵＴを保存すると共に各処理が実行される際に参照されるテーブル保存領域と、前記テーブル保存領域にＬＵＴを書き込むテーブル書換手段と、を有し、前記テーブル保存領域が、前記複数の処理で共有されており、前記複数の処理が順次実行され、各処理が実行されるに際して前記テーブル保存領域が前記テーブル書換手段により各処理に対応するＬＵＴで書き換えられる。
【００２０】
本発明によれば、テーブル保存領域内に書き込まれるデータは、処理に対応して書き換えられる。したがって、複数の処理に対応したＬＵＴ保存用のテーブル保存領域を予め複数設ける必要が無く、テーブル保存領域のデータ容量としては最大のデータ量を持つＬＵＴ分だけ設ければよい。したがって、テーブル保存領域のデータ領域の大きさを節約しつつ、信号合成を行うことが可能となる。したがって、撮像装置内の回路スペースを節約し、コンパクトなデジタルカメラを構成することが可能となる。
【００２１】
本発明の請求項６記載の撮像装置は、請求項５記載の撮像装置であって、前記第１のデジタル信号または前記第２のデジタル信号を基に前記ＬＵＴを作成する制御部と、前記制御部が作成した前記ＬＵＴを保存するメモリと、を備え、前記テーブル書換手段は、前記メモリに保存された前記ＬＵＴを前記テーブル保存領域に書き込む。
【００２２】
本発明によれば、ＬＵＴは、信号処理回路外部の制御部が作成し、作成したＬＵＴを用いて信号処理回路で演算が行われる。したがって、信号処理回路でＬＵＴを生成する必要が無く、信号処理回路の処理が軽減され、全体の処理の迅速化を図ることが可能となる。
【００２３】
本発明の請求項７記載の撮像装置は、請求項５または６記載の撮像装置であって、前記ＬＵＴは、第１のデジタル信号階調補正用ＬＵＴ、前記第２のデジタル信号階調補正用ＬＵＴ、及び合成加算用重み付けＬＵＴであることを特徴とする請求項５または６記載の撮像装置。
【００２４】
本発明によれば、第１のデジタル信号用階調補正ＬＵＴ、前記第２のデジタル信号用階調補正ＬＵＴ、及び合成加算用重み付けＬＵＴを書き換えることにより、合成処理が行われる。
【００２５】
本発明の請求項８記載の撮像装置は、請求項７記載の撮像装置であって、前記信号処理回路は、前記第１のデジタル信号用の階調補正ＬＵＴが書き込まれた前記テーブル保存領域を参照して、前記第１のデジタル信号を階調補正し、前記第１のデジタル信号用の階調補正ＬＵＴから前記第２のデジタル信号用の階調補正ＬＵＴに書き換えられた前記テーブル保存領域を参照して、前記第２のデジタル信号を階調補正し、前記第２のデジタル信号用の階調補正ＬＵＴから合成加算用重み付けＬＵＴに書き換えられた前記テーブル保存領域を参照して、階調補正された前記第１のデジタル信号及び前記第２のデジタル信号を合成する。
【００２６】
本発明によれば、第１のデジタル信号階調補正用ＬＵＴ、第２のデジタル信号階調補正用ＬＵＴ及び合成用重み付けＬＵＴをもとに、階調補正を行い、豪所為処理を行う。ここで合成は、第１のデジタル信号及び第２のデジタル信号から信号を合成する。本発明においても、テーブル保存領域内に書き込まれるデータは、処理に対応して書き換えられる。したがって、複数の処理に対応したＬＵＴを予め複数設ける必要が無く、テーブル保存領域のデータ容量としては最大のデータ量を持つＬＵＴ分だけ設ければよい。したがって、テーブル保存領域のデータ領域の大きさを節約しつつ、信号合成を行うことが可能となる。
【００２７】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態に係る撮像装置の一例であるデジタルカメラを詳細に説明する。
【００２８】
図１は、本実施形態のデジタルカメラ１を示すブロック図である。デジタルカメラ１は、光学系１０と、撮像部２０と、Ａ／Ｄ撮像処理部３０と、駆動制御部４０と、信号処理回路５０と、画像データ記録部６０と、表示部７０と、制御部８０と、メモリ９０と、画像記録再生部１００とを備えている。
【００２９】
光学系１０は、外部からの光が入射する一枚のレンズまたは複数のレンズを組み合わせて構成される単焦点レンズ、ズームレンズ等のレンズ、外部からの光量を制限するしぼり等を備えており、外部からの入射光を後段の撮像部２０の撮像素子上に焦点をあわせる収光部材である。光学系１０では、駆動制御部４０からの駆動信号に従って、被写体とカメラとの距離に応じたピント調節や、ズーム動作による画角の調整等が行われる。
【００３０】
撮像部２０は、光学系１０の後段に配置され、光学系１０を介してデジタルカメラ１内に入射した光を入射位置毎に光電変換して電気信号として取り出すものである。本実施形態において、撮像部２０は、ＷハニカムＣＣＤと呼ばれる固体撮像素子２１から構成されるものであり、感度の異なる２種類の信号を一度の撮像で取得可能である。
【００３１】
図２は、この固体撮像素子２１の部分拡大平面図である。固体撮像素子２１は、いわゆるハニカム構造の固体撮像素子であって、半導体基板表面に行方向（矢印Ｘで示す方向）とこれに直交する列方向（矢印Ｙで示す方向）に配設された複数の受光素子２２（図では一部のみに番号を付してある）、垂直転送部２４、水平転送部２６、及び出力部２８を含む。複数の受光素子２２のうち奇数列のものは、偶数列のものに対して隣接する光受光素子間の列方向ピッチの略１／２だけ列方向にずれており、また、奇数行の受光素子は、偶数行の受光素子対して隣接する受光素子間の行方向ピッチの略１／２だけ行方向にずれて配置される。なお、図２では、５行８列の受光素子が示されているが、実際には、さらに多くの受光素子が設けられる。
【００３２】
受光素子２２は、入射光量に対応した信号電荷を発生し、蓄積するもので、例えばフォトダイオードである。受光素子２２の各々は、相対的に広い受光面積を有する主領域ｍと相対的に狭い受光面積を有する副領域ｓを有している。主領域ｍ及び副領域ｓは、それぞれ所定の分光感度の光に対応する信号電荷を発生し、蓄積する。副領域ｓは、主領域ｍよりも受光感度が低く、蓄積される信号電荷の量も主領域ｍと比べて少ない。
【００３３】
各受光素子２２の上方には、赤（Ｒで示す。）、緑（Ｇで示す。）、又は青（Ｂで示す。）のカラーフィルタ（図示せず）の何れか一つが設けられている。ここで、同一受光素子２２内の主領域ｍと副領域ｓは、同一のカラーフィルタが設けられている。各受光素子２２の受光領域ｍ，ｓは、それぞれの色の光に対応する信号電荷を発生し、蓄積する。
【００３４】
垂直転送部２４は、各受光素子２２から信号電荷を読み出し、列方向に転送するものであり、受光素子２２の列に対応してその側方にそれぞれ設けられる。垂直転送部２４は、主領域ｍの信号電荷と副領域ｓの信号電荷をそれぞれ独立に列方向に読み出し、水平転送部２６に転送する。水平転送部２６は、複数の垂直転送部２４からの信号電荷が転送され、転送された信号電荷を行方向に転送するものである。出力部４００は、水平転送部２６から転送された信号電荷量に応じた電圧信号を出力する。以下、複数の主領域ｍからの複数の電荷信号を基に作られた複数の電圧信号をまとめて高感度信号Ｈと、そして複数の副領域ｓからの複数の電荷信号を基に作られた複数の電圧信号を低感度信号Ｌと呼ぶこととする。高感度信号Ｈ及び低感度信号Ｌは、ともにＡ／Ｄ撮像処理部３０に送られる。
【００３５】
Ａ／Ｄ撮像処理部３０は、高感度信号Ｈ及び低感度信号Ｌのバイアス調整、ゲイン調整等の所定のアナログ信号処理を行った後、Ａ／Ｄ変換を行い各信号をデジタル化するものである。ここでは、高感度信号Ｈ及び低感度信号Ｌは、それぞれ独立に12bit階調でデジタル変換され、高感度デジタル信号Ｈ_ａ及び低感度デジタル信号Ｈ_ｂがそれぞれ生成される。生成された高感度デジタル信号Ｈ_ａ及び低感度デジタル信号Ｈ_bは、信号処理部５０に送られる。
【００３６】
駆動制御部４０は、制御部８０からの指示に基づき、光学系１０のレンズの駆動、撮像部２０で生成された電荷信号を転送する転送タイミング信号、及びＡ／Ｄ撮像処理部３０の駆動タイミング等を出力し、各部を統括制御する。フォーカス制御及び撮像時の制御は、制御部からの指示に基づき、この駆動制御部４０により駆動タイミングが決定され、撮像後に生成された各信号は順次信号処理部５０に送られる。
【００３７】
信号処理部５０は、高感度デジタル信号Ｈ_ａ及び低感度デジタル信号Ｈ_ｂの最適化処理を行い、最適化された高感度デジタル信号Ｈ_ａ及び低感度デジタル信号Ｈ_ｂを一つに合成して、画像データを生成するものである。信号処理部５０は、バス１１０に接続されており、生成された画像データは、圧縮処理部６０またはバス１１０を介して画像記録再生部１００に接続された記録媒体１０５に記録される。この信号処理部５０については、後ほど詳述する。
【００３８】
圧縮処理部６０は、バスライン１１０に接続されており、信号処理部５０により生成された画像データにＴＩＦＦ、ＪＰＥＧ等の所定の画像フォーマットに従った圧縮処理を施し、画像データのデータ量を変化させる。データ圧縮を行うかどうかは、ユーザ設定に依存しており、データの圧縮処理を行わない場合には、信号処理部５０から直接記録媒体１０５に画像データが書き込まれるように構成してもよい。
【００３９】
表示部７０は、バスライン１１０に接続され、液晶等を素材としたディスプレイを有している。表示部７０は、このディスプレイ上に撮像前に取得される被写体画像や撮像終了後の画像データを表示したり、ユーザにデジタルカメラの設定等を表示したりする。
【００４０】
制御部８０は、高速演算を行うＣＰＵを備え、図示せぬシャッタボタンからの撮像指示に基づき各種演算を行い、デジタルカメラ１の各部の撮像動作全体を撮像動作全体を総括制御する。また撮像時には、オートフォーカス、自動露光制御、オートホワイトバランス等の制御や必要に応じて各処理部の演算補助を行う等特定制御の一部として機能する。
【００４１】
メモリ９０は、デジタルカメラの諸設定値の保存、及び各部で演算された演算結果等を一時的な記録を行う内蔵記録手段である。デジタルカメラの各部は、必要であればメモリを介してデータの受け渡し等を行う。
【００４２】
画像記録再生部１００は、スマートメディア、xD-Picture Card等の外部記録媒体１０５が接続可能とされており、作成された画像データをこの外部記録媒体１０５に記録し保存する。また、画像記録再生部１００は、画像の再生時に外部記録媒体１０５からデータが読み出して表示部７０に出力し、表示部７０のディスプレー上に画像を表示可能に構成されている。
【００４３】
図３は、信号処理部５０における処理の詳細を示すブロック図である。信号処理部５０は、信号積算部５１と、ゲイン調整部５３と、階調補正部５４と、合成処理部５５と、ＹＣ処理部５６とを備えている。信号処理部５０に入力される高感度デジタル信号Ｈ_ａ及び低感度デジタル信号Ｈ_ｂの両者は、信号積算部５１及びゲイン調整部５３に送られる。
【００４４】
信号積算部５１は、高感度デジタル信号Ｈ_ａ及び低感度デジタル信号Ｌ_ａをそれぞれＲ，Ｇ，Ｂの色毎に積算し、色別のヒストグラムや色別の平均積算値を算出する。算出にあたっては、得られる画像の画面領域を複数に分割し、各領域毎に平均積算値を算出するようにしてもよい。
【００４５】
ゲイン調整部５３は、ホワイトバランス調整等のデジタル信号のゲイン調整を行う乗算回路である。ホワイトバランス調整とは、白い被写体が白として撮像されるように、光源の発色（色温度）に応じてカラーバランスを補正する処理である。一般に、ホワイトバランスを調整しない場合には、色温度の違いにより、蛍光灯の元では得られる画像が緑色っぽく、また白熱電灯の元では得られる画像が赤味を帯びてしまう傾向がある。
【００４６】
ゲイン調整部５３は、具体的なホワイトバランス調整において、高感度デジタル信号Ｈ_ａについて信号積算部５１により得られたＲ，Ｇ，Ｂの信号の平均積算値Ｒ_sum，Ｇ_sum，Ｂ_sumを基に、Ｇ_sumと他の信号Ｒ_sum，Ｂ_sumの比Ｒ_sum／Ｇ_sum、Ｂ_sum／Ｇ_sumを計算する。そして、求められた比に従って計算された各色毎のゲイン補正係数を信号Ｒ，Ｂの信号にそれぞれ乗算することにより、ＲＧＢ間の色レベルを調整する。ここでは、高感度デジタル信号Ｈ_ａより得られたゲイン補正係数を、高感度デジタル信号Ｈ_ａのＲ，Ｂ信号及び低感度デジタル信号Ｌ_ａのＲ，Ｂ信号にかけ合わせ各デジタル信号Ｈ_ａ，Ｌ_ａのホワイトバランスを調整する。
【００４７】
階調補正部５４は、ゲイン調整後の高感度デジタル信号Ｈ_ａ及び低感度デジタル信号Ｌ_ａの階調を所定の係数を用いてそれぞれ独立に12bitから8bitに階調補正する。この階調補正には、マトリクス形式の高感度デジタル信号階調補正ＬＵＴと低感度デジタル信号階調補正ＬＵＴが用いられる。各階調補正用ＬＵＴは、高感度デジタル信号Ｈ_ａ及び低感度デジタル信号Ｌ_ａが入力されると、信号の値に応じてデータを出力し、階調変換を行う。これらの階調補正用ＬＵＴは、予め制御部８０のメモリ領域やメモリ９０に保存されたものであってもよいし、またユーザ設定、デジタル信号のヒストグラム等を基に行われる演算により適応的に求められるものであってもよい。
【００４８】
合成処理部５５は、階調補正後の高感度デジタル信号Ｈ_ｂと低感度デジタル信号Ｌ_ｂを各Ｒ，Ｇ，Ｂ毎に合成し、Ｒ信号，Ｇ信号，Ｂ信号からなる合成デジタル信号Ｓを生成する。ここでは、一例として以下のような式を用いて合成が行われる。
【００４９】
【数１】

【００５０】
ここで、式（１），（２），（３）において、パラメータpは、加算されたデジタル信号全体に対するゲインであり、これによって加算後のデータに対するダイナミックレンジの制御を行う。この値が小さいほど、ダイナミックレンジは広く、逆に大きいほど、ダイナミックレンジは狭くなる。具体的には、コントラストの高いシーン（真夏の晴天など）では0.8に、曇りや日陰では0.86、室内蛍光灯下では0.9といったようにシーンに応じてこの値を変化させてやることにより、8bitの階調値を有効に使用することが可能となる。
【００５１】
パラメータthは、高感度デジタル信号Ｈ_ｂに対し低感度デジタル信号Ｌ_ｂをどの程度混ぜ合わせるかの比率を表すものであり、高感度デジタル信号Ｈ_ｂと低感度デジタル信号Ｌ_ｂの信号強度に応じて予め決定することができる。実際の合成処理においては、高感度デジタル信号Ｈ_ｂと、パラメータth, pと、上記式（２）及び（３）に従い決定されるh_gain及びl_gainを算出し、高感度デジタル信号Ｈ_ｂ及び低感度デジタル信号Ｌ_ｂに、それぞれh_gain及びl_gainを乗算して、各信号を加算することにより、合成デジタル信号Ｓを生成する。一例として、thを固定とし、pをシーンに応じて可変とすることで処理を実行することが可能である。
【００５２】
制御部８０は、モード設定、撮像条件等に従いパラメータpおよびthが決定されると、h_gain及びl_gainを保存したマトリクス形式の合成用重み付けＬＵＴを予め生成し、制御部８０のメモリ領域またはメモリ９０に保存する。このＬＵＴは、Ｈ_bが入力されると、Ｈ_bの値に応じたh_gain及びl_gainを出力するものであり、合成時に所定のテーブル保存領域に読み出され、使用される。この合成用重み付けＬＵＴが保存されるテーブル保存領域は、上述の階調補正用の高感度デジタル信号階調補正用ＬＵＴと低感度デジタル信号階調補正用ＬＵＴが保存される領域と同一である。この説明の詳細については、後述する。
【００５３】
ＹＣ処理部５６は、所定の同時化処理を行い、合成信号ＳのＲ信号、Ｇ信号、Ｂ信号から輝度信号Ｙとクロマ信号Ｃｒ，Ｃｂとを作成する回路である。また、ＹＣ処理部５６は、生成した輝度信号Ｙとクロマ信号Ｃｒ，Ｃｂに対し、ノイズ低減等の各処理を施し、非圧縮状態の画像データを生成する。生成された画像データは、圧縮される場合には圧縮処理部６０で圧縮された後に、また非圧縮のままの場合には、直接画像記録再生部１００に送られ、記録媒体１０５に記録される。
【００５４】
以上、図３に示す信号処理部５０での処理において、ゲイン調整部５３、階調補正部５４，及び合成処理部５５での一連の処理は、一つの最適化合成処理回路５２にて行われる。以下、最適化合成処理回路５２及びその処理について説明を行う。
【００５５】
図４は、最適化合成処理回路５２の構成を示すブロック図である。最適化合成処理回路５２は、高感度デジタル信号階調補正用ＬＵＴ、低感度デジタル信号階調補正用ＬＵＴ、及び合成用重み付けＬＵＴを保存するテーブル保存領域２３０を共有する構造となっている点が特徴的である。以下、各部について説明する。
【００５６】
セレクタ２１０は、最適化合成処理回路５２の入力口に設けられ、最適化合成処理回路５２に入力された各種デジタル信号Ｈ_ａ，Ｌ_ａ，Ｈ_ｂ，Ｌ_ｂをその信号の種類に応じて、振り分ける機能を有する。
【００５７】
乗算器２２０は、ホワイトバランス用のゲイン補正係数を各デジタル信号Ｈ_ａ，Ｌ_ａに乗算し出力する、図３のゲイン調整部５３に相当するブロックである。具体的に、セレクタ２１０は、乗算器２２０に高感度デジタル信号Ｈ_ａ及び低感度デジタル信号Ｌ_ａを順次出力する。乗算器２２０は、受け取った高感度デジタル信号Ｈ_ａ及び低感度デジタル信号Ｌ_ａにゲイン補正係数を乗算し、ゲイン調節を行い、後段のテーブル保存領域２３０に出力する。
【００５８】
テーブル保存領域２３０は、高感度デジタル信号階調補正用ＬＵＴ、低感度デジタル信号階調補正用ＬＵＴ、及び合成用重み付けＬＵＴの何れか一つを一度に保存する。これによりテーブル保存領域２３０は、保存されたＬＵＴに対応して、階調補正部５４として、また合成処理部５５の合成ゲイン出力部として機能するものである。具体的に、テーブル保存領域２３０は、一度に上記ＬＵＴのうち一つだけを保存することができるメモリ領域が割り当てられており、新たなＬＵＴが書き込まれる場合には、先のＬＵＴは、上書きされる。すなわち、テーブル保存領域２３０は、必要な処理に対応するＬＵＴのみが保存され、書き込まれたＬＵＴに対応する処理を入力信号に対して行う。
【００５９】
テーブル書換部２４０は、テーブル保存領域２３０に保存すべきＬＵＴを選択し、テーブル保存領域２３０に書き込む。高感度デジタル信号階調補正用ＬＵＴ、低感度デジタル信号階調補正用ＬＵＴ、及び合成用重み付けＬＵＴは、先述の通り、演算作成が必要な場合にはそれぞれ信号処理部５０の外部で、すなわち制御部８０にて予め作成されており、メモリ９０または制御部８０内部のメモリ領域に保存されている。テーブル書換部２４０は、必要に応じてメモり９０から必要なＬＵＴを読み出し、テーブル保存領域に上書き保存する。
【００６０】
まとめると、テーブル保存領域２３０で行われる処理は、２種類の階調補正処理と、合成用ゲインh_gainおよびl_gainの出力である。テーブル保存領域２３０にゲイン調整後の高感度デジタル信号Ｈ_ａまたは低感度デジタル信号Ｌ_ａが入力する場合、テーブル書換部２４０は、高感度デジタル信号階調補正用ＬＵＴまたは低感度デジタル信号階調補正用ＬＵＴをテーブル保存領域２３０に予め書き込んでおく。そして、高感度デジタル信号階調補正用ＬＵＴまたは低感度デジタル信号階調補正用ＬＵＴを参照して各デジタル信号Ｈ_ａまたはＬ_ａの階調補正を行い、階調補正後のデジタル信号Ｈ_ｂまたはＬ_ｂをセレクタ２５０に出力する。
【００６１】
一方、テーブル保存領域２３０に階調補正後の高感度デジタル信号Ｈ_ｂが入力した場合、テーブル保存領域２３０は、入力したＨ_ｂの各信号レベルに応じて合成用重み付けＬＵＴに書き込まれたh_gainおよびl_gainを出力する。
【００６２】
セレクタ２５０は、テーブル保存領域２３０から出力されたデジタル信号Ｈ_ｂ，Ｌ_ｂを識別し、信号の種類に応じて、外部のメモリ９０に一時的に保存する。メモリ９０に保存されたデジタル信号Ｈ_ｂ，Ｌ_ｂは、合成加算時に信号処理部５０の最適化合成処理回路５２に入力され、合成処理が行われる。
【００６３】
乗算器２６０，２７０は、セレクタ２１０から送られた階調補正後の高感度デジタル信号Ｈ_ｂおよび低感度デジタル信号Ｌ_ｂに、それぞれ重み付け係数h_gainおよびl_gainを乗算する回路である。各乗算器２６０，２７０で乗算が行われた高感度デジタル信号Ｈ_ｂおよび低感度デジタル信号Ｌ_ｂは、加算器２８０にて足し合わされ、合成信号Ｓが生成される。加算器２８０から出力された合成信号Ｓは、リミッタ２９０にてオーバーフローが無いかどうかチェックされた後に、最終的な合成信号Ｓとして、最適化合成処理回路５２からＹＣ処理回路５５に出力される。
【００６４】
以下、図５を参照しながら、本最適化合成処理回路５２における信号の流れとともに、合成加算処理について説明する。撮像が行われ、２種のデジタルデータが作成されると、前処理として、制御部８０は、入力デジタル信号及び設定値を基に、ゲイン調整用係数、高感度デジタル信号階調補正用ＬＵＴ及び高感度デジタル信号階調補正用ＬＵＴを作成し、メモリ９０に保存する。そして、テーブル書換部２４０は、高感度デジタル信号階調補正用ＬＵＴをメモリ９０から読み出し、テーブル保存領域２３０に、書き込む（ステップＳ１）。そして、高感度デジタル信号Ｈ_ａが、セレクタ２１０を介して乗算器２２０に送出され、乗算器２２０にてゲイン補正係数が乗算されゲイン調整される。その後、高感度デジタル信号Ｈ_ａは、テーブル保存領域２３０に送られ、高感度デジタル信号階調補正用ＬＵＴを基に階調補正が行われ、階調補正後の高感度デジタル信号Ｈ_ｂが生成される（ステップＳ２）。生成された高感度デジタル信号Ｈ_ｂは、セレクタ２５０を介して、メモリ９０に一時保存される。
【００６５】
次に、テーブル書換部２４０は、低感度デジタル信号階調補正用ＬＵＴをメモリ９０から読み出し、テーブル保存領域２３０に、書き込む（ステップＳ３）。そして、低感度デジタル信号Ｌ_ａが、セレクタ２１０を介して乗算器２２０に送出され、乗算器２２０にて高感度デジタル信号Ｈ_ａと同一のゲイン補正係数が乗算されゲイン調整される。その後、低感度デジタル信号Ｌ_ａは、テーブル保存領域２３０に送られ、低感度デジタル信号階調補正用ＬＵＴを基に階調補正が行われ、階調補正後の低感度デジタル信号Ｌ_ｂが生成される（ステップＳ４）。生成された低感度デジタル信号Ｌ_ｂは、セレクタ２５０を介して、メモリ９０に一時保存される。
【００６６】
階調補正が終了すると、テーブル書換部２４０は、制御部８０によって予め生成されメモリ９０に保存されている合成加算用重み付けＬＵＴを読み出し、テーブル保存領域２３０に書き込む（ステップＳ５）。そして、合成加算用重み付けＬＵＴがテーブル保存領域に設定されると、高感度デジタル信号Ｈ_ｂおよび低感度デジタル信号Ｌ_ｂが順次セレクタ２１０に入力される。高感度デジタル信号Ｈ_ｂは、セレクタ２１０を介してテーブル保存領域２３０及び乗算器２６０に送出され、また低感度デジタル信号Ｌ_ｂは、セレクタ２１０を介して乗算器２７０に送出される。
【００６７】
テーブル保存領域２３０では、入力された高感度デジタル信号Ｈ_ｂの各信号のレベルに従って、合成加算用重み付けＬＵＴに保存された重み付け用のh_gainおよびl_gainが出力され、それぞれ乗算器２６０，２７０に送出される。乗算器２６０では、h_gainと高感度デジタル信号Ｈ_ｂが乗算され重み付けがなされ、また乗算器２７０では、l_gainと低感度デジタル信号Ｌ_ｂが乗算され重み付けがなされる。そして、乗算器２６０及び乗算器２７０から出力された各デジタル信号の個々の値同士は、加算器２８０にて足し合わされ、合成信号Ｓが生成される。生成された合成信号Ｓは、リミッタ２９０にてオーバーフローが無いかどうかチェックされ、最終的な合成信号Ｓとして出力される（ステップＳ６）。
【００６８】
その後、合成信号Ｓは、ＹＣ処理回路５６にて所望の処理が行われ、非圧縮状態の画像データが生成され、画像データの生成を終了する（ステップＳ７）。
【００６９】
以上、本実施形態によれば、信号処理部５０におけるゲイン調整部５３，階調補正部５４，及び合成処理部５５の処理は、図４に示す最適化処理回路５２によって順次処理される。この最適化処理回路５２では、複雑な関数演算を最適化処理回路で行うのではなく、ＬＵＴを用いて各種処理が処理される。従って、最適化処理回路５２では、複雑な関数演算による計算負荷が軽減され、各種処理を迅速に実行することができる。
【００７０】
さらに各種処理に用いられるＬＵＴは、高速演算を得意とする外部の制御部８０にて予め生成されているため、最適化処理回路５２自身はＬＵＴを生成する計算負荷から解放される。これにより、最適化処理回路５２における他の演算を円滑に実行し、各種処理を迅速に実行することができる。
【００７１】
また、各種処理に用いられるＬＵＴは、ＬＵＴを必要とする演算が行われる場合に、各演算に必要なＬＵＴが先のＬＵＴを上書きしてテーブル保存領域２３０に保存され、処理が実行される。したがって、予め複数のＬＵＴを保存する領域を最適化処理回路５２に設ける必要が無く、すなわち最適化処理回路５２に複数のＬＵＴを同時に保存するためのメモリ領域を確保することなく、各種処理を行うことができる。一般に、12bitや8bitの階調データに対応したマトリクス形式のＬＵＴをすべて回路内に保存しようとすると、回路をチップ化した場合等にメモリ領域のスペースが増大し、チップのサイズ縮小が困難となりまたコストアップの一因となる。しかし、本実施形態によれば、最適化合成処理回路５２内に、複数のＬＵＴにそれぞれ対応したメモリ領域を設ける必要がないため、メモリ領域をコンパクト化でき、チップサイズを縮小するとともにコストの低減をはかることが可能となる。
【００７２】
なお、本実施形態においてはデジタルカメラを基に説明を行ったが、これに限らず、デジタルビデオカメラ等動画撮影可能な撮像装置において本方法を適用することも可能である。
【００７３】
また、本実施形態においてはＷハニカムＣＣＤと呼ばれる撮像素子を備えた撮像装置として説明を行ったが、これに限らず、高感度信号及び低感度信号を取得可能な各種撮像装置に上記信号処理回路を適用しても構わない。
【００７４】
【発明の効果】
本発明によれば、テーブル保存領域内に書き込まれるデータは、処理に対応して書き換えられる。したがって、複数の処理に対応したＬＵＴ保存用のテーブル保存領域を予め複数設ける必要が無く、テーブル保存領域のデータ容量としては最大のデータ量を持つＬＵＴ分だけ設ければよい。したがって、テーブル保存領域のデータ領域の大きさを節約した信号合成方法、低コストの信号合成用回路を得ることが可能となる。
【図面の簡単な説明】
【図１】本実施形態のデジタルカメラを示すブロック図である。
【図２】固体撮像素子の部分拡大平面図である。
【図３】信号処理部における処理の詳細を示すブロック図である。
【図４】最適化合成処理回路の構成を示すブロック図である。
【図５】信号の合成処理を示すフローチャートである。
【符号の説明】
１デジタルカメラ
１０光学系
２０撮像部
２１固体撮像素子
２２受光素子
２４垂直転送路
２６水平転送路
２８出力部
３０Ａ／Ｄ撮像処理部
４０駆動制御部
５０信号処理部
５１信号積算部
５２最適化合成処理回路
５３ゲイン調整部
５４階調補正部
５５合成処理部
５６ＹＣ処理部
６０圧縮処理部
７０表示部
８０制御部
９０メモリ
１００画像記録再生部
１０５記録媒体
２１０，２５０セレクタ
２２０２６０，２７０乗算器
２３０テーブル保存領域
２８０加算器
２９０リミッタ

Claims

第１のデジタル信号または第２のデジタル信号に対してＬＵＴを用いた複数の処理を実行して、これら２つのデジタル信号を合成加算する信号処理方法であって、
前記複数の処理にそれぞれ用いるＬＵＴを保存すると共に各処理が実行される際に参照されるテーブル保存領域を該複数の処理で共有し、
前記複数の処理を順次実行し、各処理を実行するに際して前記テーブル保存領域を各処理に対応するＬＵＴで書き換えておくことを特徴とする信号処理方法。
前記第１のデジタル信号用の第１の階調補正ＬＵＴを前記テーブル保存領域に書き込むステップと、
前記テーブル保存領域に書き込まれた前記第１の階調補正ＬＵＴを参照して、前記第１のデジタル信号を階調補正するステップと、
前記第１の階調補正ＬＵＴが書き込まれた前記テーブル保存領域を前記第２のデジタル信号用の第２の階調補正ＬＵＴで書き換えるステップと、
前記テーブル保存領域に書き込まれた前記第２の階調補正ＬＵＴを参照して、前記第２のデジタル信号を階調補正するステップと、
前記第２の階調補正ＬＵＴが書き込まれた前記テーブル保存領域を合成加算用の重み付けＬＵＴで書き換えるステップと、
前記テーブル保存領域に書き込まれた前記合成加算用の重み付けＬＵＴを参照して、階調補正された前記第１のデジタル信号及び前記第２のデジタル信号を合成するステップと、
を備えていることを特徴とする請求項１記載の信号処理方法。
第１のデジタル信号または第２のデジタル信号に対してＬＵＴを用いた複数の処理を実行して、これら２つのデジタル信号を合成加算する信号処理回路であって、
前記複数の処理にそれぞれ用いるＬＵＴを保存すると共に各処理が実行される際に参照されるテーブル保存領域と、前記テーブル保存領域にＬＵＴを書き込むテーブル書換手段と、を備え、
前記テーブル保存領域が、前記複数の処理で共有されており、
前記複数の処理が順次実行され、各処理が実行されるに際して前記テーブル保存領域が前記テーブル書換手段により各処理に対応するＬＵＴで書き換えられることを特徴とする信号処理回路。
前記第１のデジタル信号用の階調補正ＬＵＴが書き込まれた前記テーブル保存領域を参照して、前記第１のデジタル信号を階調補正し、
前記第１のデジタル信号用の階調補正ＬＵＴから前記第２のデジタル信号用の階調補正ＬＵＴに書き換えられた前記テーブル保存領域を参照して、前記第２のデジタル信号を階調補正し、
前記第２のデジタル信号用の階調補正ＬＵＴから合成加算用重み付けＬＵＴに書き換えられた前記テーブル保存領域を参照して、階調補正された前記第１のデジタル信号及び前記第２のデジタル信号を合成することを特徴とする請求項３記載の信号処理回路。
それぞれ異なる感度を有する第１の受光領域及び第２の受光領域からそれぞれ構成される複数の受光素子を有する撮像素子と、
前記第１の受光素子の各々から出力される複数の出力信号から構成される第１のアナログ信号と、前記第２の受光素子の各々から出力される複数の出力信号から構成される第２のアナログ信号とをそれぞれＡ／Ｄ変換して第１のデジタル信号及び第２のデジタル信号を生成するＡ／Ｄ変換回路と、
前記第１のデジタル信号または前記第２のデジタル信号に対してＬＵＴを用いた複数の処理を実行して、これら２つのデジタル信号を合成加算し、画像データを生成する信号処理回路と
を備え、
前記信号処理回路が、前記複数の処理にそれぞれ用いるＬＵＴを保存すると共に各処理が実行される際に参照されるテーブル保存領域と、前記テーブル保存領域にＬＵＴを書き込むテーブル書換手段と、を有し、
前記テーブル保存領域が、前記複数の処理で共有されており、
前記複数の処理が順次実行され、各処理が実行されるに際して前記テーブル保存領域が前記テーブル書換手段により各処理に対応するＬＵＴで書き換えられることを特徴とする撮像装置。
前記第１のデジタル信号または前記第２のデジタル信号を基に前記ＬＵＴを作成する制御部と、
前記制御部が作成した前記ＬＵＴを保存するメモリと、を備え、
前記テーブル書換手段は、前記メモリに保存された前記ＬＵＴを前記テーブル保存領域に書き込むことを特徴とする請求項５記載の撮像装置。
前記ＬＵＴは、第１のデジタル信号用階調補正ＬＵＴ、前記第２のデジタル信号用階調補正ＬＵＴ、及び合成加算用重み付けＬＵＴであることを特徴とする請求項５または６記載の撮像装置。
前記信号処理回路は、前記第１のデジタル信号用の階調補正ＬＵＴが書き込まれた前記テーブル保存領域を参照して、前記第１のデジタル信号を階調補正し、
前記第１のデジタル信号用の階調補正ＬＵＴから前記第２のデジタル信号用の階調補正ＬＵＴに書き換えられた前記テーブル保存領域を参照して、前記第２のデジタル信号を階調補正し、
前記第２のデジタル信号用の階調補正ＬＵＴから合成加算用重み付けＬＵＴに書き換えられた前記テーブル保存領域を参照して、階調補正された前記第１のデジタル信号及び前記第２のデジタル信号を合成することを特徴とする請求項７記載の撮像装置。