JP4817529B2 - 撮像装置及び画像処理方法 - Google Patents
撮像装置及び画像処理方法 Download PDFInfo
- Publication number
- JP4817529B2 JP4817529B2 JP2001136557A JP2001136557A JP4817529B2 JP 4817529 B2 JP4817529 B2 JP 4817529B2 JP 2001136557 A JP2001136557 A JP 2001136557A JP 2001136557 A JP2001136557 A JP 2001136557A JP 4817529 B2 JP4817529 B2 JP 4817529B2
- Authority
- JP
- Japan
- Prior art keywords
- dark current
- image
- image signal
- current correction
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像装置から複数のブロックに分割して出力された画像を画像処理する画像処理装置、画像処理方法及び撮像装置に関する。
【０００２】
【従来の技術】
従来、ＣＣＤ等の固体撮像素子を用いたデジタルビデオカメラやデジタルスチルカメラ等の撮像装置においては、例えば特開平５−１３７０５９号公報や特開平６−１４１２４６号公報に示されるように、複数のＣＣＤを用いて被写体をそれぞれ部分的に撮像し、画像処理においてそれらの部分画像を合成して被写体全体の撮像画像を得ることにより解像度を高める方法が知られている。
【０００３】
また、近年においては数百万画素からなるＣＣＤを用いた撮像システムも開発されており、高速に信号処理を行うための工夫がいろいろとなされてきている。
【０００４】
図１３に従来の撮像素子の構成例を示す。
【０００５】
図１３は一般的に使われているＣＣＤの概略構成を示す図である。主に、複数の光電変換素子からなる受光部１と、一部の光電変換素子への光入射を防ぐべく複数の光電変換素子の上面に遮光部材を配置した遮光部２Ｌ及び２Ｒと、水平転送ＣＣＤ（ＨＣＣＤ）４と、不図示の垂直転送ＣＣＤ（ＶＣＣＤ）と、電荷電圧変換アンプ５等から構成されている。
【０００６】
その駆動方法は、受光部１で発生した電荷をＶＣＣＤに転送した後、水平方向１行を単位としてＨＣＣＤ４から読み出すべく順次電荷転送を行い、ＨＣＣＤ４からの出力は電荷電圧変換アンプ１０５にて電荷電圧変換されて出力される。
【０００７】
図１４（Ａ）は、従来の別の撮像素子の構成例を示す。
【０００８】
図１４（Ａ）は、受光部１からの光電変換出力を左右２つの水平転送ＣＣＤ（ＨＣＣＤ）４Ｌ及び４Ｒに分けて同時に読み出す構成を示す図である。図１４（Ａ）に示す構成を有する撮像素子においても、光電変換出力を水平方向１列を単位としてＨＣＣＤ４Ｌ及び４Ｒにより電荷転送するが、左半分の光電変換出力はＨＣＣＤ４Ｌにより左方向へ、また、右半分の光電変換出力はＨＣＣＤ４Ｒにより右方向へ電荷転送を行い、さらに個別に用意した電荷電圧変換アンプ５Ｌ及び５Ｒにてそれぞれ電荷電圧変換する。
【０００９】
この構成では２つのＨＣＣＤ４Ｌ及び４Ｒにより並行に読み出し駆動を行うことができるので図１３に示す構成のおよそ半分の駆動時間で１フレームの読み出し駆動を行うことができる。
【００１０】
また、特開平３−７４９９１号公報には、画像情報を分割して読み取るべく複数の撮像素子を設け、隣接する撮像素子の撮像範囲を境界部分で重複させ、両撮像素子の撮像画像を境界部分で貼り合わせて画像情報全体の画像を得る画像読取装置において、構成する画像データの中から近接画素との間の空間的な濃度変化の小さい画素位置を検出し、その画素位置で一方の撮像素子の撮像画像を構成する画像データと、他方の撮像素子の撮像画像を構成する画像データとを貼り合わせるようにした画像読取装置が示されている。
【００１１】
【発明が解決しようとする課題】
上記のように複数の撮像素子により被写体を部分的に分割して撮像し、それらの撮像画像を貼り合わせて被写体全体の撮像画像を得る場合、各撮像素子間の感度差が異なると、貼り合わせ部分（境界部分）で感度差に起因する画像濃度の段差が生じ、不自然な画質の撮像画像が得られるという不具合が生じる。
【００１２】
また、上記特開平５−１３７０５９号公報及び特開平６−１４１２４６号公報には、複数の撮像素子により被写体を部分的に分割撮像する技術については開示されているが、撮像素子間の感度差に起因して撮像画像の境界部分に生じる濃度段差の問題については記載がなく、この問題の解決方法も開示されていない。
【００１３】
貼り合わせの目立たない撮像画像とするために、特開平３−７４９９１号公報には、境界部分での画像の乱れ等の画質不良を改善する方法が示されているものの、ライン毎に境界部分の濃度変化の少ない位置を検出して２つの部分画像を単純に貼り合わせるため、貼合処理が複雑で処理時間が長くなってしまう。
【００１４】
また、この方法は２つの撮像画像の貼り合わせ位置を横方向のライン単位で制御するに過ぎないので、縦方向の境界部分の急激な濃度変化を効果的に抑制することは困難である。特に、撮像素子間の感度差に起因して境界部分に生じる濃度段差を効果的に低減し、貼り合わせの目立たない撮像画像を得ることは難しい。
【００１５】
これを改善する手法として、特開平１１−０５５５５８号公報では、被写体を２枚のＣＣＤにより境界部分が重複するように左右に分割されて撮像し、両撮像画像をアナログ信号処理回路及びＡ／Ｄ変換部を経て画像メモリに記憶した後、更にシェーディング補正部で撮像面内の感度分布のバラツキを補正し、画像合成部で境界部分を貼り合わせて被写体全体の撮像画像が生成されるデジタルカメラが提案されている。
【００１６】
この手法では、撮像画像は左右の部分画像のうち、境界部分の画像の平均値演算等の処理により当該境界部分の濃度段差を低減した境界部分の画像が生成され、この境界部分の画像と左右の境界部分の画像を除く部分画像とを合成して生成されものであるが、被写体光像を部分的に重複した複数の画像として分割した後に複数の撮像素子へ導く必要があるため、３次元空間による形状の増大、組み立て精度とこれに伴うコストアップが生じてしまう。
【００１７】
また、上述した図１４（Ａ）に示す構成では１枚のＣＣＤで撮像部を実現するので、光路分割などの手段は不要であり、撮像システムの構成の簡略化とコストを抑えることはできるものの、撮像画像の左右領域が独立した系（すなわち、ＨＣＣＤ４Ｌとアンプ５Ｌ、ＨＣＣＤ４Ｒとアンプ５Ｒ）にて別々に読み出されるため、その境界面での段差が目立ってしまう。
【００１８】
図１４（Ｂ）は図１４（Ａ）のａ−ａ’で示す水平方向１行分の光電変換出力を示した例である。
【００１９】
図１４（Ａ）は晴れた日の風景を写した例を示しており、太陽、山、木、草が写っている。図１４（Ｂ）のレベルＡは図１４（Ａ）の遮光部２Ｒからの出力を示し、レベルＢは遮光部２Ｌからの出力を示し、レベルＣは太陽に相当する部分の出力である。差分Ｄは上述した左右独立の系にて読み出されたことにより発生するレベル差である。
【００２０】
このレベル差を画面にて違和感なく見えるようにする手法を画面マッチングとよび、その１つとして境界面の濃度段差を目立たなくする方法がある。これは境界面の画像データから求めた相関度に基づき境界面の濃度段差を補正することだが、その精度向上にはＳ／Ｎ低下をもたらす暗電流への対策が必要となっている。
【００２１】
本発明は上記問題点を鑑みてなされたものであり、複数のブロックからなる画像データにおいて境界面で発生する濃度のずれを補正し、違和感のない自然な画像を必要最小限の機能構成により実現することを目的とする。
【００２２】
また、撮像素子の高画素化への対応を可能とすることを更なる目的とするものである。
【００２３】
【課題を解決するための手段】
上記目的を達成するために、本発明の撮像装置は、第１領域で生成された電荷を第１水平転送路を介して第１画像信号として出力するとともに、第２領域で生成された電荷を第２水平転送路を介して第２画像信号として出力する撮像素子と、光が入射されない状態の前記撮像素子の出力から生成された暗電流補正データを用いて、前記撮像素子にて生成された前記第１画像信号と前記第２画像信号の暗電流補正を行う暗電流補正手段と、前記暗電流補正手段にて暗電流補正された前記第１画像信号と前記第２画像信号の差分から、前記第１画像信号と前記第２画像信号の相関値を求める相関抽出手段と、前記相関抽出手段にて求めた相関値を用いて、前記第１画像信号と前記第２画像信号の出力レベルのずれを補正して合成するずれ補正手段と、連写撮影の場合には、前記暗電流補正手段が前記暗電流補正を行わないように制御し、単写撮影で前記撮像素子の電荷の蓄積時間が閾値以上、且つ、前記撮像素子の近傍の温度が閾値以上である場合に、前記暗電流補正手段が前記暗電流補正を行うように制御し、単写撮影で前記撮像素子の電荷蓄積時間が閾値未満である場合、または、単写撮影で前記撮像素子の近傍の温度が閾値未満である場合に、前記暗電流補正手段が前記暗電流補正を行わないように制御する制御手段とを有する。
【００２４】
また、本発明の画像処理方法は、光が入射されない状態の撮像素子の出力から生成された暗電流補正データを記憶する記憶工程と、光が入射された状態の撮像素子の第１領域で生成された電荷を第１水平転送路を介して第１画像信号として出力するとともに、第２領域で生成された電荷を第２水平転送路を介して第２画像信号として出力する撮像工程と、前記記憶工程で記憶された暗電流補正データを用いて、前記撮像工程にて生成された前記第１画像信号と前記第２画像信号の暗電流補正を行う暗電流補正工程と、前記暗電流補正工程において暗電流補正された前記第１画像信号と前記第２画像信号の差分から、前記第１画像信号と前記第２画像信号の相関値を求める相関抽出工程と、前記相関抽出工程において求めた相関値を用いて、前記第１画像信号と前記第２画像信号の出力レベルのずれを補正して合成するずれ補正工程と、連写撮影の場合には、前記暗電流補正工程を行わないように制御し、単写撮影で前記撮像素子の電荷の蓄積時間が閾値以上、且つ、前記撮像素子の近傍の温度が閾値以上である場合に前記暗電流補正工程を行うように制御し、単写撮影で前記撮像素子の電荷蓄積時間が閾値未満、または、単写撮影で前記撮像素子の近傍の温度が閾値未満である場合に、前記暗電流補正工程を行わないように制御する制御工程とを有する。
【００２５】
上記構成によれば、画面マッチングにて補正処理を行う際、その補正値を求める画像データに予め暗電流補正を行っておくことで、精度の高い画面マッチング処理を施すことができ、良好な画像データを得ることができる。
【００３２】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００３３】
＜第１の実施形態＞
図１は、本発明の第１の実施形態におけるデジタルカメラなどの撮像装置の構成を示す概略ブロック図である。
【００３４】
同図に示すように、撮像装置は、ＣＣＤエリアセンサ等からなる撮像部１０１と、画像処理全体の制御を行うマイコンＰＲＳ１０５と、撮像部１０１からの画像信号を処理する原画処理部１１０と、原画処理部１１０からの出力を受けてホワイトバランスや色補間等の処理を行う画像処理部１０４と、複数の画像データを保存する不揮発性の記憶部材からなる記憶部１０３、更に、処理済みの画像データを表示するための表示処理部１２０、表示用メモリ１２１及びＬＣＤ等の表示部、また、処理済みのデータを記憶するためのＪＰＥＧ圧縮処理部１２５及び記憶装置１３０を具備している。
【００３５】
マイコンＰＲＳ１０５は、たとえば、内部にＣＰＵ（中央演算処理部）、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（電気的消去可能プログラマブルＲＯＭ）、入出力ポ−ト等が配置されたワンチップのコンピュ−タ（以下、マイコンと略記す）である。
【００３６】
マイコンＰＲＳ１０５は、ＲＯＭに格納されたシ−ケンスプログラムに基づいて、一連の動作を行う。なお、本発明の特徴は原画処理部１１０にあるので、原画処理部１１０がマイコンＰＲＳ１０５の制御下にあることを明確に示すために図１で矢印を付加しているが、他の部分もマイコンＰＲＳ１０５により制御される。
【００３７】
撮像部１０１では、不図示の光学系を通じて被写体からの光束を撮像素子上に結像させており、撮像素子はこれを光電変換して電気的な信号にし、さらにデジタル値に変換して原画処理部１１０へ出力する。撮像部１０１については図３を参照して詳細に後述する。
【００３８】
原画処理部１１０は、撮像部１０１からの撮像信号出力を受けて、ＯＢクランプ部１１１によりダーク補正を行うための準備として、遮光部（オプティカルブラック）の画素データの抽出を行った後、一旦記憶部１０３のバッファメモリへ蓄える。このバッファメモリは、撮像素子から読み出された１画面分の撮像データを１つの単位として、これを複数分記憶できる容量を備えている。
【００３９】
バッファメモリは、たとえば連写といわれる短時間に複数回の撮影動作を行う時に、画像処理部１０４以降の処理速度などによる影響を無くす、あるいは最小にするために設けているが、本第１の実施形態では、画素データの暗電流補正を行うために用いる撮像素子の暗時出力も記憶する機能をもたせている。
【００４０】
また、原画処理部１１０と記憶部１０３間のデータの入出力は、メモリコントロール部１１３により制御される。
【００４１】
一旦、記憶部１０３へ格納された画素データは原画処理部１１０に読み込まれ、原画処置部１１０を構成する暗電流補正部１１４、画面相関抽出部１１２、画面マッチング部１１６、シェーディング補正部１１７、傷補正部１１８等により信号処理が行われる。スイッチ１４１は、画面相関抽出を行う場合と、画像処理部１０４への出力に向けた信号処理を行う場合とで選択的に切換えてデータを供給するものである。
【００４２】
なお、原画処理部１１０での信号処理手順は、図７を参照して詳細に後述する。
【００４３】
画像処理部１０４では、原画処理部１１０により処理された画素データに対して、ホワイトバランスやガンマ補正および色補間、色補正等、いわゆる絵作りに関する一連の画像処理を行い、ＲＧＢの各色成分に分けて信号出力する。従って、画像処理部１０４からの出力データ量は、色補間処理を施すために、原画処理部１１０からの出力データ量の整数倍に増加している。
【００４４】
例えば、撮像部１０１の撮像素子がベイヤー配列のカラーフィルタで覆われている場合、Ｒ（赤）信号とＧ（緑）とを交互に出力される行と、Ｇ信号と Ｂ（青）信号とを交互に出力する行とが、水平１ライン単位で１行おきに存在する。原画処理部１１０から出力されるデータは同じくベイヤー配列の順序を有するので、画像処理部１０４で入力データを色補間処理して各画素についてＲＧＢデータをそれぞれ出力すると、入力データに対して３倍の画像データ量となる。これを概念的に示したものが、図２である。
【００４５】
画像処理部１０４からの出力は、撮像装置に備えられたＬＣＤ等の表示部１２２に表示される最適なサイズとなるように、表示処理部１２０にてフィルタ処理を含めた画像サイズ縮小のための信号処理を行った後に、表示用メモリ１２１に格納される。ここでは、 ＲＧＢの各色成分毎に格納され、カメラに備えられたＬＣＤ表示部１２２の駆動部とのインターフェイスもＲＧＢで行われる。出力は入力と同じくライン単位で行われる。
【００４６】
ＪＰＥＧ圧縮処理部１２５は、ＹＵＶ変換部とＪＰＥＧ符号化処理部とから構成されている。ＹＵＶ変換部で、画像処理部１０４より入力されたＲＧＢ画像データを輝度成分と色差成分に変換し、ＪＰＥＧ符号化処理部により画像圧縮処理する。ＪＰＥＧ符号化処理部では、入力された画像データをＪＰＥＧ符号化処理により画像圧縮を行う。ここでは、ＤＣＴ（離散コサイン変換）およびハフマン変換を行っており、輝度及び色差からなる信号を、ＤＣＴ処理のために輝度信号は縦８ｘ横１６画素、色差信号は８ｘ８画素を最小単位として、ラスタスキャンからジグザグスキャンへ変換するための機能もこの部位に含まれている。
【００４７】
圧縮処理されたデータは後段の記憶装置１３０に順次記憶される。上述の符号化処理を繰り返し、撮像部１０１からの撮像データ１画面分の処理を行う。このＪＰＥＧ符号化処理の前後で、マイコンＰＲＳ１０５は必要に応じて撮影日時情報などのヘッダーやフッターを任意の形式で生成し、符号化により圧縮された画像データとともに記憶装置１３０に格納する。
【００４８】
このとき、記憶装置１３０へは同一の撮像データに基づいて、２つの互いに異なる画像サイズの画像データが格納される。第１の画像データは画像処理部１０４内部の画像縮小処理部による画像縮小処理を施さないもの、第２の画像データは画像処理部１０４内部の画像縮小処理部により画像縮小処理を実施したものである。第１の画像データは撮影された画像を示す画像データとして、第２のデータはサムネイル等の画像データの編集や確認に際しての管理情報として扱うことを主目的として生成される。第１の画像データと第２の画像データは互いに独立した画像ファイルとして管理されるが、関連付けがなされている。
【００４９】
また、ＪＰＥＧ符号化の際に必要な圧縮率やそのために必要な変換参照データ等の設定値は、撮像装置のシャッターが押された時点でマイコンＰＲＳ１０５により設定が完了する。
【００５０】
記憶装置１３０へは複数の画像データの保存を行うことのできる比較的書き込み速度の速い揮発性の記憶部材と、比較的書き込み速度の遅い着脱可能な不揮発性記憶部材とから構成されており、ＪＰＥＧ圧縮処理部１２５からの出力は、最初に揮発性の記憶部材に格納される。このとき、同一の撮像データより生成された、画像サイズの異なる２つの画像データが格納される。その後、撮像装置の動作の合間を見計らって、不揮発性記憶部材へ順次格納される。
【００５１】
なお、不揮発性記憶部材は撮像装置から着脱可能であって、撮像装置に装着した状態で揮発性記憶部材からのデータ書き込みを単数あるいは複数の画面分行った後に撮像装置から取り外し、撮像装置のデータ形式で読み出し可能な別のシステムに装着して記憶されているデータの再生や編集、保存を行えるようになっている。上述の第１の画像データと第２の画像データは共に記憶装置１３０にて上述の目的を満足できるような形式で管理される。
【００５２】
図３は図１に示す撮像部１０１の内部構成を示す概略図である。図３において、９０はＣＣＤエリアセンサ等の撮像素子、８１及び８２は公知のＣＤＳ（二重相関サンプリング）／ＡＧＣ（自動ゲイン調整）部、８３及び８４は公知のＡ／Ｄ変換器である。また、撮像素子９０を駆動する不図示のセンサ駆動部も備えている。この構成により、読み出された光電変換出力に適したアナログ処理を施した後、デジタル信号に変換して出力する。
【００５３】
撮像素子９０は公知のベイヤー配列型ＣＣＤと呼ばれているものであり、９１Ｌ及び９１Ｒは、それぞれ画面左半分、右半分の領域に存在する光電変換素子、９２Ｌ及び９２Ｒは、それぞれ画面左半分、右半分の領域に存在する垂直転送ＣＣＤ（ＶＣＣＤ）である。各光電変換素子とＶＣＣＤはそれぞれペアになっており、２次元にこのペアが複数個配置されることで撮像領域を形成し、被写体からの光束を電荷に変換することで画像を撮像するものである。また、４ＬはＶＣＣＤ９２Ｌから順次転送される電荷を水平方向に転送する水平転送ＣＣＤ（ＨＣＣＤ）、４Ｒは、ＶＣＣＤ９２Ｒから順次転送される電荷を水平方向に転送するＨＣＣＤである。
【００５４】
撮像領域を形成する撮像素子９０の受光面は、Ｒ、Ｇ、Ｂの原色フィルタにより覆われており、Ｇは市松状に、Ｒ、ＢはＧフィルタの間に１ライン毎交互に配置されている（ベイヤー配列）。また、画素は正方格子化されていて、画像の取り込み後の演算が容易なものである。
【００５５】
光電変換素子９１Ｌで発生した電荷はＶＣＣＤ９２Ｌに転送された後、ＨＣＣＤ４Ｌに向けて水平方向の１行を単位として垂直方向に順次転送される。その後、ＨＣＣＤ４Ｌにより方向Ｂに転送されて、電荷電圧変換アンプ９５にて電荷から電圧に変換され、ＣＤＳ／ＡＧＣ部８１により処理され、更にＡ／Ｄ変換器８３にてデジタルデータに変換された後に、図１に示す原画処理部１１０へ出力される。
【００５６】
一方、光電変換部９１Ｒで発生した電荷はＶＣＣＤ９２Ｒに転送された後、９ＨＣＣＤ４Ｒに向けて水平方向の１行を単位として垂直方向に順次転送される。その後、ＨＣＣＤ４Ｒにより方向Ａに転送されて、電荷電圧変換アンプ９６にて電荷から電圧に変換され、ＣＤＳ／ＡＧＣ部８２により処理され、Ａ／Ｄ変換器８４にてデジタルデータに変換された後、図１に示す原画処理部１１０へ出力される。このように、撮像された撮像データが、左右領域で分かれて出力される。
【００５７】
また、撮像素子９０を構成するＶＣＣＤ９２Ｌ及び９２Ｒ、ＨＣＣＤ４Ｌ及び４Ｒ、受光部の光電変換素子、遮光部の光電変換素子はいづれも図３に示されているものより多くの個数により構成されている。例えば図３において、遮光部の光電変換素子は１水平方向について右端、左端に各１つで表現しているが、実際には、複数個で構成されている。
【００５８】
図４は、不図示のカメラ接眼部からファイダを覗いた様子を示し、 ＡＦＰ１〜ＡＦＰ３は３つの測距点を示しており、 測距点ＡＦＰ２で焦点調節している状態を表している。また、図４においては下端に示す各表示はシャッター速度や焦点調節の合焦判定等、カメラの設定状態を示すもので、説明のために全ての表示部が点灯した状態を示しているが、カメラの動作時は、動作状態に応じて点灯あるいは消灯が独立して行われるため、図４のように全ての表示が点灯することはない。また、測距点ＡＦＰ１〜ＡＦＰ３は、それぞれ焦点調節に選択されると、不図示の光学系および照明装置により、撮影者が充分確認できる短い時間で外側の四辺形と内側の四辺形に囲まれた領域が赤く点灯する。
【００５９】
このとき図１の撮像部１０１に含まれている撮像素子の受光部は図５に示すようにＫ×Ｌ画素である。また、上述したように、図５に示すＫ×Ｌ画素の信号に対して原画処理部１１０にて処理し、さらに画像処理部１０４にてホワイトバランスや色補正、色補間等一連の信号処理がＲＧＢの各色毎に施されると、図２に示すように、Ｒ、Ｇ、Ｂの各色毎にＫ×Ｌ画素からなる出力画像になる。すなわち、Ｋ×Ｌ画素からなる撮像素子からのデータ量が、原画処理部１１０および画像処理部１０４により信号処理されることによって、３倍のデータ量となることを示している。
【００６０】
図６は、左右画面間で発生する出力差を境界近傍の複数の光電変換出力から求めて行う場合の補正処理を説明するための図である。
【００６１】
図６（Ａ）は図３に示す撮像素子９０を簡略化した図である。図６（Ａ）に示す例では、晴れた日の風景を撮影しており、太陽、山、木、草が写っている。なお、図６（Ａ）に示す構成において、上述の図１４（Ａ）に示す構成と同じものについては同じ参照番号を付し、ここでは説明を省略する。
【００６２】
図６（Ｂ）は図６（Ａ）のｂ−ｂ’で示す水平方向１行分の光電変換出力例を示す。図６（Ｂ）のレベルＡは、ＨＣＣＤ４Ｒから読み出される遮光部２Ｒの出力レベルを示し、レベルＢは図６（Ａ）のＨＣＣＤ４Ｌから読み出される遮光部２Ｌの出力レベルを示す。また、差分Ｄは、右画面と左画面のレベル差を示す。
【００６３】
図６（Ａ）に示す相関抽出部Ａ及びＢは差分Ｄを補正するための補正量を求めるために用いる撮像データ領域である。それぞれ、撮像領域の左右境界から同数（複数）の光電変換素子出力を抽出し、相関値を求めて補正値を生成する。
【００６４】
ここで本発明における補正値を生成する方法について説明する。
【００６５】
まず、ＨＣＣＤ４Ｒ及びアンプ５Ｒを介して読みだされた相関抽出部Ａの画素データを暗電流補正し、補正後のデータを平均した値ＡＶＧＡと、ＨＣＣＤ４Ｌ及びアンプ５Ｌを介して読みだされた相関抽出部Ｂの画素データを暗電流補正し、補正後のデータを平均した値ＡＶＧＢとを求める。相関抽出部Ａ及びＢの水平方向の画素数をＮとした場合、ＡＳ（Ｎ）、ＢＳ（Ｎ）は、それぞれＨＣＣＤ４Ｒ及びアンプ５Ｒ、ＨＣＣＤ４Ｌ及びアンプ５Ｌにより読みだされた相関抽出部Ａおよび相関抽出部Ｂの画素データに暗電流補正を行った出力とする。すなわち、
ＡＶＧＡ＝（ＡＳ（１）＋ＡＳ（２）＋．．．＋ＡＳ（Ｎ））／Ｎ
ＡＶＧＢ＝（ＢＳ（１）＋ＢＳ（２）＋．．．＋ＢＳ（Ｎ））／Ｎ
…（１）
【００６６】
により求める。次に、平均値ＡＶＧＡ、ＡＶＧＢに基づいて相関値を求める。
相関値＝ＡＶＧＢ−ＡＶＧＡ …（２）
上記のようにして求めた相関値は、そのまま補正値として用いることができるので、ここではＨＣＣＤ４Ｌ及びアンプ５Ｌを介して読みだされた画素データに暗電流補正した後のデータと演算する。すなわち、Ｂ（ｎ）をＨＣＣＤ４Ｌ及びアンプ５Ｌを介して読み出された画素データに暗電流補正を行った出力とすると、まず、
ＢＢ（ｎ）＝Ｂ（ｎ）＋補正値（相関値） …（３）
【００６７】
を演算する。これにより、差分Ｄに対応するレベルを補正することができる。なお、ｎは画素番号を示し、水平方向１行を構成する光電変換素子の個数をＫとすると、１≦ｎ≦Ｋ／２である。次に、左右画面の画素データにオフセット値Ｃを加算する。なお、Ａ（ｎ）はＨＣＣＤ４Ｒ及びアンプ５Ｒを介して読み出された画素データに暗電流補正を行った出力である。
ＦＢ（ｎ）＝ＢＢ（ｎ）＋Ｃ …（４）
ＦＡ（ｎ）＝Ａ（ｎ）＋Ｃ …（５）
これにより図６（Ｃ）に示す波形を得ることができる。
【００６８】
なお、図６（Ｃ）のレベルＣに当たるオフセット値Ｃは、図１に示す画像処理部１０４等でデジタル信号処理が行い易いように、補正後の画素データに共通に加えるオフセット値である。
【００６９】
なお、図６（Ｂ）及び図６（Ｃ）に示す出力波形は表示画像での出力を示すものであるが、撮像素子から得られるＲＧＢの各色成分により構成される画像データであるので、上記補正値生成はＲＧＢの各色成分ごとに独立に行われるものである。
【００７０】
次に、図１の原画処理部１１０において行われる処理を、図１乃至図７を参照して詳細に説明する。図７は原画処理部１１０の動作を示すフローチャートである。
【００７１】
撮像部１０１から原画処理部１１０に入力される画素データは、図５に示すように、水平方向にＫ個、垂直方向にＬ個からなる、受光部にある光電変換素子の出力と、図６（Ａ）に示す遮光部２Ｌ及び２Ｒにある複数の光電変換素子の出力とから構成される。これら光電変換素子の出力は、図３に示すように、左画面の出力がＡ／Ｄ変換器８３を介して、また、右画面の出力がＡ／Ｄ変換器８４を介して、原画処理部１１０に並行に入力される。原画処理部１１０ではこれら２系統のデジタル画素データを並行処理する。
【００７２】
まず、最初に暗電流補正に用いる暗電流補正データを取得する処理を行う。
【００７３】
マイコンＰＲＳ１０５は撮像部を制御して、撮像部１０１に光が入射されない状態で光電変換素子の出力が初期値となるようにリセットした後に、予め決めておいた時間の電荷蓄積動作を行う。ステップＳ１０では、この電荷蓄積動作完了後にＡ／Ｄ変換器８３および８４からそれぞれ出力されたデジタル画素データを並行に入力する。
【００７４】
ステップＳ１１では、図６（Ａ）に示す遮光部２Ｌ及び２Ｒ中の複数の光電変換素子の暗電流出力に対応する画素データを一時的に記憶し、公知の方法にてクランプに用いるデジタルデータを決定する。続いて、図６（Ａ）の受光部１の領域にある光電変換素子から得られる画素データとのクランプ処理を公知の方法で行う。
【００７５】
次にステップＳ１２において、クランプ処理されたデータ（暗電流補正データ）を、メモリコントロール部１１３を介して、記憶部１０３内に予め確保された暗電流補正データ格納領域に格納する。なお、記憶部１０３への格納の際にはその後のデータの扱いが容易となるように、ＨＣＣＤ４Ｒにより方向Ａに転送された画素データの格納順が読み出し順と逆になるように（すなわち、方向Ｂの順になるように）、メモリコントロール部１１３にて制御する。
【００７６】
ステップＳ１０乃至Ｓ１２の処理を、水平ライン数であるＬ回（すなわち、ステップＳ１３でＹＥＳとなるまで）繰り返す。これにより、１フレーム分の暗電流補正データの取り込みが終了する。
【００７７】
続いて、撮像部１０１により、通常の被写体撮影により得た画素データを入力する（ステップＳ１４）。この画素データについてもクランプ処理し（ステップＳ１５）、クランプ処理後の画素データをメモリコントロール部１１３を介して記憶部１０３に予め確保された画素データ格納領域に格納し（ステップＳ１６）、ステップＳ１４乃至Ｓ１６の動作をＬ回（ステップＳ１７でＹＥＳ、すなわち１フレーム分の画像データの処理が終了するまで）繰り返す。
【００７８】
次に、暗電流補正を行うためにスイッチ１４１を切換えて、記憶部１０３からメモリコントロール部１１３を介して読み出した画像データ及び暗電流補正データを暗電流補正処理部１１４に入力し、画素データに対して暗電流補正を行う（ステップＳ１８）。暗電流補正部１１４は、マイコンＰＲＳ１０５の制御下で、画素データを取得したときの蓄積時間に相当する暗電流補正データとなるように各々の蓄積時間比に基づいて暗電流補正データに対して演算処理を行って調整し、調整した暗電流補正データを画素データから減算する。これにより、画素データを構成する個々の光電変換素子出力に含まれている暗電流成分を除去してＳ／Ｎ特性の良好な画素データを生成することができる。上記のように暗電流補正された画素データは、画面相関抽出部１１２に入力されると共に、記憶部１０３にも格納される。
【００７９】
画面相関抽出部１１２では、右画面と左画面のレベルのずれを画像マッチング部１１６にて補正するために必要な補正値を求める基準となる相関値を求めるために、画面相関抽出処理を行う（ステップＳ１９）。具体的には、画面相関抽出部１１２に図６（Ａ）に示す相関抽出部Ａおよび相関抽出部Ｂの画像データが入力されると、上述の式（１）により変数ＡＶＧＡおよび変数ＡＶＧＢを求め、さらに、上述の式（２）により相関値を算出する。
【００８０】
画面相関抽出部１１２から出力される相関値は、マイコンＰＲＳ１０５に読み込まれ、予め用意しておいた処理内容にしたがって処理された後に、画面マッチング部１１６でのずれ補正処理制御に反映される。
【００８１】
続いて、求めた画像の相関値に基づいてマイコンＰＲＳ１０５が生成した補正値を用いて、画面マッチング処理部１１６による画面マッチングを行う（ステップＳ２０）。このときスイッチ１４１は画面マッチング部１１６側に切換えられており、メモリコントロール部１１３を介して記憶部１０３から暗電流補正された画素データが読み出される。なお、本第１の実施形態においては、図３の左画面の画像データに対して補正処理を行うことにより画面のマッチングを行うものとする。
【００８２】
ステップＳ２０では、図３の右画面の画像データがスイッチ１４１を経て画面マッチング部１１６に入力される。右画面の画像データに対して、画面マッチング部１１６は、上記式（５）により上述したように図６（Ｃ）に示すレベルＣに対応する値（オフセット値）を加算する。一方、図３の左画面の画像データがスイッチ１４１を経て画面マッチング部１１６に入力されると、入力されたラインの相関値に基づいて、マイコンＰＲＳ１０５が予め用意しておいた補正値を用いて、上記式（３）及び（４）に示す演算を行い、レベルのずれが補正される。
【００８３】
画面マッチング部１１６によりマッチング処理された後は、図３のＡ／Ｄ変換器８３および８４の２系統で別々に出力され、それぞれ別個に処理されていた画像データが、各行毎のデータとしてまとめられる。
【００８４】
続いて、ステップＳ２１において、シェーディング補正処理部１１７により、予め用意しておいた係数を画面マッチング処理された画像データに乗じることで光学的要因により生じた画像データの歪みを補正する。
【００８５】
次に、ステップＳ２２において、傷補正処理部１１８により、ゴミや傷などにより適正な光電変換出力が得られない部位を、その周囲の出力に基づいて算出した値に置換する。ゴミや傷などのある部分は周囲の画素の出力と差異があることから、その差異が予め決めておいた値よりも大きい時にゴミ又は傷があると判断することができる。
【００８６】
傷補正部１１８による処理を終えた画像データは、画像処理部１０４へ順次出力される。
【００８７】
画面マッチング処理（ステップＳ２０）、シェーディング補正処理（ステップＳ２１）および傷補正処理（ステップＳ２２）も水平方向のライン単位で行われるので、これらの処理をＬ回繰返すことにより（ステップＳ２３でＹＥＳ）、水平ライン数がＬからなる光電変換素子の出力について、１フレーム分の原画処理が終了する。
【００８８】
上記の処理により、図６（Ｂ）に示す出力波形が図６（Ｃ）に示す出力波形に補正され、右画面と左画面のレベル差である図６（Ｂ）に示す差分Ｄが補正され、左右画面で段差のない画像データを得ることができる。
【００８９】
このように、第１の実施形態では、画面マッチングにて補正処理を行う場合に、その補正値を求める画像データに予め暗電流補正を行っておくことで、精度の高い画面マッチング処理を施すことができる。
【００９０】
＜第２の実施形態＞
以下、本発明の第２の実施形態を図面を参照して説明する。
【００９１】
図８は、本発明の第２の実施形態におけるデジタルカメラなどの撮像装置の構成を示す概略ブロック図である。図８に示す構成と図１に示す構成とでは、スイッチ部１４１と暗電流補正部１１４の配置が入れ換わってところが異なる。なお、図８において、図１と同様の構成には同じ参照番号を付し、各構成要素の詳細な動作については説明を省略するｓ。
【００９２】
上記第１の実施形態では、原画処理部１１０において、画像データの暗電流補正を画面相関抽出の前処理として１フレーム分行っておき、記憶部１０３に暗電流補正後の画像データを格納する構成であった。本第２の実施形態では、処理必要な画素データについてその都度暗電流補正する場合について説明する。
【００９３】
以下、本第２の実施形態における原画処理部１１０’の動作を図９を参照しながら説明する。
【００９４】
ステップＳ１０乃至Ｓ１７で行われる処理は図７で行われる処理と同様であるので、ここでは説明を省略する。
【００９５】
ステップＳ３０において、図６（Ａ）に示す相関抽出部Ａ及び相関抽出部Ｂのクランプ処理済みの画像データと、暗電流補正データとをメモリコントロール部１１３を介して記憶部１０３から読み込む。本第２の実施形態においては、暗電流補正部１１４とメモリコントロール部１１３との間にスイッチ１４１が無いので、メモリコントロール部１１３から暗電流補正部１１４に直接データが入力される。暗電流補正部１１４における暗電流補正処理動作は、図７のステップＳ１８で説明した動作と同様である。
【００９６】
次のステップＳ３１において相関値を得るために、スイッチ１４１はここでは暗電流補正後の画像データを画面相関抽出部１１２へ出力するよう切換えられている。従って、暗電流補正部１１４は、暗電流補正済みの相関抽出部Ａ及び相関抽出部Ｂの画像データを画面相関抽出処理部１１２へ出力し、画面相関抽出処理部１１２では入力したデータに基づいて、図７のステップＳ１９と同様の動作により、相関値を得る。ここで暗電流補正部１１４により暗電流補正され、画面相関抽出部１１２へ入力される画像データは相関抽出部Ａおよび相関抽出部Ｂの領域のみであるから、ステップＳ３０及びＳ３１の処理は、第１の実施形態に比べて、かなり短時間で終了する。
【００９７】
続いて、求めた画像の相関値に基いてマイコンＰＲＳ１０５で生成された補正値を用いて、画面マッチング処理部１１６による画面マッチング等の処理を行うが、本第２の実施形態においては、その前に暗電流補正処理部１１４による暗電流補正処理を行う（ステップＳ３２）。
【００９８】
記憶部１０３には、既に、１フレーム分の暗電流補正データと画像データが格納されているので、これらのデータを記憶部１０３から暗電流補正部１１４へメモリコントロール部１１３を介して読み出す。こうして読み出したデータを用いて、図７のステップＳ１８と同様にして１フレーム分の画像データに対して暗電流補正処理を行う。
【００９９】
ここでは、スイッチ１４１は画面マッチング部１１６へデータが出力されるように切換えられており、暗電流補正された画像データが画面順次マッチング部１１６へ入力される。ステップＳ３３において、マイコンＰＲＳ１０５が生成した補正値を用いて、図７のステップＳ２０と同様の画面マッチングを行い、１行分の画像データに対してマッチング処理が終了すると、ＨＣＣＤ４Ｒにより方向Ａに転送された右画面の画像データの順序を逆にして（すなわち、データ順を方向Ｂの順にする）、左画面の画像データと合わせて１行分の画像データにし、シェーディング補正部１１７に出力する。
【０１００】
なお、右画面の画像データの順序の変換は、ステップＳ３２で暗電流補正を行う際に、メモリコントロール部１１３により記憶部１０３からの読み出し順序を逆にすることで行っても良い。
【０１０１】
この後に行うシェーディング補正処理（ステップＳ３４）およびゴミ・傷補正処理（ステップＳ３５）は、それぞれ図７のステップＳ２１及びＳ２２の動作と同様であるために、説明を省略する。上記ステップＳ３２乃至Ｓ３５をＬ回（すなわ水平ライン数分）繰り返し（ステップＳ３６）、１フレーム分の原画像処理が終了する。
【０１０２】
上記の通り本第２の実施形態によれば、画面マッチングを行うための補正値を求める際に、１フレーム分の画像データの内、必要部分のみを選択して補正値を求めることで、メモリコントロールの処理が簡潔なシステム構成で、上記第１の実施形態と同様に精度の高い画面マッチング処理を施すことができる。
【０１０３】
＜第３の実施形態＞
以下、本発明の第３の実施形態を図面を参照して説明する。
【０１０４】
上記第１および第２の実施形態では、画像データを画面相関抽出の前処理として暗電流補正を必ず行うものであった。これに対し、本第３の実施形態においては、画面相関抽出の前処理である暗電流補正をするかしないかを選択的に切換える場合について説明する。
【０１０５】
図１０は、本第３の実施形態における撮像装置の概略構成を示す図である。図１と比較してスイッチ部１４２が追加されていることが異なっているが、それ以外の各構成要素の機能は図１に示すものと同じであるため同じ参照番号を付し、説明を省略する。
【０１０６】
次に、図１１を参照して原画処理部１１０”の動作説明をする。なお、図７に示す処理と同じ処理については同じ参照番号を付し、説明を省略する。
【０１０７】
ステップＳ４０において、暗電流補正を行うかどうかを判断する。暗電流処理を行う場合には、スイッチ１４１を１に設定して、データを暗電流補正部１１４４に出力し、ステップＳ１８に進む。また、行わない場合には、スイッチ１４１を０にし、スイッチ１４２を１に設定することで、暗電流補正部１１４を迂回して、画像データを直接画面相関抽出部１１２に出力し、ステップＳ１９の処理に進む。
【０１０８】
ステップＳ４０における暗電流補正の実行の有無を決める動作の一例について、図１２のフローチャートを参照して説明する。
【０１０９】
ステップＳ４１で、カメラの動作モードが連写か単写かを判断し、連写であれば暗電流補正処理を行わないと判断する（ステップＳ４４）。カメラ動作モードが単写であるならば、ステップＳ４２で、撮像部１０１での電荷蓄積時間が予め決めておいた時間Ｔと比較して長いか短いかを判定し、短い時には暗電流補正処理を行わないと判断する（ステップＳ４４）。一方、長い時には、ステップＳ４３で、現在の撮像部１０１あるいは撮像部１０１近傍の温度を不図示の温度計により測定し、その結果と予め決めておいた温度Ｔｅｍｐとを比較して高いか低いかを判定し、高ければ暗電流補正処理を行うと判断し（ステップＳ４５）、低ければ行わないと判断する（ステップＳ４４）。
【０１１０】
蓄積時間が短いとき、あるいは撮像部の温度が低く、複数の光電変換素子の個々の暗電流出力の差が比較的小さいときには、暗電流補正の補正効果に比較して、処理時間や消費電流などのマイナス作用の影響が大きくなる。特に連続撮影モードでカメラを動作させているときには、撮影間隔が広がってしまう。従って、上記要因に応じて画面相関抽出を行う画像データへの暗電流補正処理の有無を選択的に行うことで、最適な処理を行うことができる。
【０１１１】
【他の実施形態】
上記第１乃至第３の実施形態においては、図３の右画面の画像データに左画面の画像データのレベルを合わせるように補正する場合について説明したが、左画面の画像データに右画面の画像データのレベルを合わせるようにしても、また、中間のレベルに合わせるように左右両画面の画像データを合わせるようにしても良い。これらの動作は、画面相関抽出部１１２により得られる相関値に基づく補正値を変更すれば容易に実施可能である。
【０１１２】
また、本発明は上記実施の形態で説明した構成に限られるものではなく、例えば、入力される信号がＲＧＢなる色成分や輝度成分、色差成分でなくても良く、また撮像素子がＣＣＤ撮像素子でなくてもよい。また、撮影された１画面が２つより大きい画像ブロックであっても良く、また、画面マッチングの方法が統計的処理など、上記実施の形態で示した内容とは異なっていても、本発明の機能が達成できる構成であれば良いことは言うまでもない。
【０１１３】
また、本発明は、デジタルカメラに限らず、カメラ以外の光学機器や他の装置など２次元に配設された光電変換素子により撮像されて得られた画像信号を処理して、最終的に例えばモニタやプリンタ等の出力装置へ画像として出力するものであれば適用できる。
【０１１４】
また、上記実施の形態では、エリアセンサにより得られる画像信号を、複数の出力系（ＨＣＣＤ、アンプ等）を介して所定領域毎に別々に読み出す場合について説明したが、本発明はこれに限られるものではなく、例えば、撮影領域をずらして複数枚の画像を撮影したり、複数のエリアセンサを用いて複数の画像を撮影し、得られた複数の画像を合成することでより広い被写体領域の画像を得る場合など、所定領域毎に出力される画像信号を合成して１枚の画像を取得する様々な場合に適用することが可能である。
【０１１５】
また、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、スキャナ、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルカメラ、ビデオカメラなど）に適用してもよい。
【０１１６】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フロッピーディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。
【０１１７】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１８】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図７、図９または図１１に示すフローチャートに対応するプログラムコードが格納されることになる。
【０１１９】
【発明の効果】
以上説明したように本発明によれば、複数のブロックからなる画像データにおいて境界面で発生する濃度のずれを補正し、違和感のない自然な画像を必要最小限の機能構成により実現することができる。
【０１２０】
また、撮像素子の高画素化への対応を可能とすることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における撮像装置の構成を示す概略ブロック図である。
【図２】本発明の第１の実施形態における画像処理部からの出力データの概念を示す図である。
【図３】図１に示す撮像部の構成を示す図である。
【図４】本発明の第１の実施形態の撮像装置のファインダーを覗いた様子を示す図である。
【図５】図１の撮像部に含まれている撮像素子の受光部を説明する図である。
【図６】本発明の第１の実施形態における補正処理を説明するための図である。
【図７】本発明の第１の実施形態における原画処理部の処理手順を示すフローチャートである。
【図８】本発明の第２の実施形態における撮像装置の構成を示す概略ブロック図である。
【図９】本発明の第２の実施形態における原画処理部の処理手順を示すフローチャートである。
【図１０】本発明の第３の実施形態における撮像装置の構成を示す概略ブロック図である。
【図１１】本発明の第３の実施形態における原画処理部の処理手順を示すフローチャートである。
【図１２】本発明の第３の実施形態における暗電流補正の実行の有無を決める動作を示すフローチャートである。
【図１３】従来の撮像素子の構成例を示す図である。
【図１４】従来の別の撮像素子の構成例を示す図である。
【符号の説明】
１０１ 撮像部
１０３ 記憶部
１０４ 画像処理部
１０５ マイコンＰＲＳ
１１０、１１０’、１１０” 原画処理部
１１１ ＯＢクランプ部
１１２ 画面相関抽出部
１１３ メモリコントロール部
１１４ 暗電流補正部
１１６ 画面マッチング部
１１７ シェーディング補正部
１１８ 傷補正部
１２０ 表示処理部
１２１ 表示用メモリ
１２２ 表示部
１２５ ＪＰＥＧ圧縮部
１３０ 記憶装置
１４１ スイッチ
【発明の属する技術分野】
本発明は、撮像装置から複数のブロックに分割して出力された画像を画像処理する画像処理装置、画像処理方法及び撮像装置に関する。
【０００２】
【従来の技術】
従来、ＣＣＤ等の固体撮像素子を用いたデジタルビデオカメラやデジタルスチルカメラ等の撮像装置においては、例えば特開平５−１３７０５９号公報や特開平６−１４１２４６号公報に示されるように、複数のＣＣＤを用いて被写体をそれぞれ部分的に撮像し、画像処理においてそれらの部分画像を合成して被写体全体の撮像画像を得ることにより解像度を高める方法が知られている。
【０００３】
また、近年においては数百万画素からなるＣＣＤを用いた撮像システムも開発されており、高速に信号処理を行うための工夫がいろいろとなされてきている。
【０００４】
図１３に従来の撮像素子の構成例を示す。
【０００５】
図１３は一般的に使われているＣＣＤの概略構成を示す図である。主に、複数の光電変換素子からなる受光部１と、一部の光電変換素子への光入射を防ぐべく複数の光電変換素子の上面に遮光部材を配置した遮光部２Ｌ及び２Ｒと、水平転送ＣＣＤ（ＨＣＣＤ）４と、不図示の垂直転送ＣＣＤ（ＶＣＣＤ）と、電荷電圧変換アンプ５等から構成されている。
【０００６】
その駆動方法は、受光部１で発生した電荷をＶＣＣＤに転送した後、水平方向１行を単位としてＨＣＣＤ４から読み出すべく順次電荷転送を行い、ＨＣＣＤ４からの出力は電荷電圧変換アンプ１０５にて電荷電圧変換されて出力される。
【０００７】
図１４（Ａ）は、従来の別の撮像素子の構成例を示す。
【０００８】
図１４（Ａ）は、受光部１からの光電変換出力を左右２つの水平転送ＣＣＤ（ＨＣＣＤ）４Ｌ及び４Ｒに分けて同時に読み出す構成を示す図である。図１４（Ａ）に示す構成を有する撮像素子においても、光電変換出力を水平方向１列を単位としてＨＣＣＤ４Ｌ及び４Ｒにより電荷転送するが、左半分の光電変換出力はＨＣＣＤ４Ｌにより左方向へ、また、右半分の光電変換出力はＨＣＣＤ４Ｒにより右方向へ電荷転送を行い、さらに個別に用意した電荷電圧変換アンプ５Ｌ及び５Ｒにてそれぞれ電荷電圧変換する。
【０００９】
この構成では２つのＨＣＣＤ４Ｌ及び４Ｒにより並行に読み出し駆動を行うことができるので図１３に示す構成のおよそ半分の駆動時間で１フレームの読み出し駆動を行うことができる。
【００１０】
また、特開平３−７４９９１号公報には、画像情報を分割して読み取るべく複数の撮像素子を設け、隣接する撮像素子の撮像範囲を境界部分で重複させ、両撮像素子の撮像画像を境界部分で貼り合わせて画像情報全体の画像を得る画像読取装置において、構成する画像データの中から近接画素との間の空間的な濃度変化の小さい画素位置を検出し、その画素位置で一方の撮像素子の撮像画像を構成する画像データと、他方の撮像素子の撮像画像を構成する画像データとを貼り合わせるようにした画像読取装置が示されている。
【００１１】
【発明が解決しようとする課題】
上記のように複数の撮像素子により被写体を部分的に分割して撮像し、それらの撮像画像を貼り合わせて被写体全体の撮像画像を得る場合、各撮像素子間の感度差が異なると、貼り合わせ部分（境界部分）で感度差に起因する画像濃度の段差が生じ、不自然な画質の撮像画像が得られるという不具合が生じる。
【００１２】
また、上記特開平５−１３７０５９号公報及び特開平６−１４１２４６号公報には、複数の撮像素子により被写体を部分的に分割撮像する技術については開示されているが、撮像素子間の感度差に起因して撮像画像の境界部分に生じる濃度段差の問題については記載がなく、この問題の解決方法も開示されていない。
【００１３】
貼り合わせの目立たない撮像画像とするために、特開平３−７４９９１号公報には、境界部分での画像の乱れ等の画質不良を改善する方法が示されているものの、ライン毎に境界部分の濃度変化の少ない位置を検出して２つの部分画像を単純に貼り合わせるため、貼合処理が複雑で処理時間が長くなってしまう。
【００１４】
また、この方法は２つの撮像画像の貼り合わせ位置を横方向のライン単位で制御するに過ぎないので、縦方向の境界部分の急激な濃度変化を効果的に抑制することは困難である。特に、撮像素子間の感度差に起因して境界部分に生じる濃度段差を効果的に低減し、貼り合わせの目立たない撮像画像を得ることは難しい。
【００１５】
これを改善する手法として、特開平１１−０５５５５８号公報では、被写体を２枚のＣＣＤにより境界部分が重複するように左右に分割されて撮像し、両撮像画像をアナログ信号処理回路及びＡ／Ｄ変換部を経て画像メモリに記憶した後、更にシェーディング補正部で撮像面内の感度分布のバラツキを補正し、画像合成部で境界部分を貼り合わせて被写体全体の撮像画像が生成されるデジタルカメラが提案されている。
【００１６】
この手法では、撮像画像は左右の部分画像のうち、境界部分の画像の平均値演算等の処理により当該境界部分の濃度段差を低減した境界部分の画像が生成され、この境界部分の画像と左右の境界部分の画像を除く部分画像とを合成して生成されものであるが、被写体光像を部分的に重複した複数の画像として分割した後に複数の撮像素子へ導く必要があるため、３次元空間による形状の増大、組み立て精度とこれに伴うコストアップが生じてしまう。
【００１７】
また、上述した図１４（Ａ）に示す構成では１枚のＣＣＤで撮像部を実現するので、光路分割などの手段は不要であり、撮像システムの構成の簡略化とコストを抑えることはできるものの、撮像画像の左右領域が独立した系（すなわち、ＨＣＣＤ４Ｌとアンプ５Ｌ、ＨＣＣＤ４Ｒとアンプ５Ｒ）にて別々に読み出されるため、その境界面での段差が目立ってしまう。
【００１８】
図１４（Ｂ）は図１４（Ａ）のａ−ａ’で示す水平方向１行分の光電変換出力を示した例である。
【００１９】
図１４（Ａ）は晴れた日の風景を写した例を示しており、太陽、山、木、草が写っている。図１４（Ｂ）のレベルＡは図１４（Ａ）の遮光部２Ｒからの出力を示し、レベルＢは遮光部２Ｌからの出力を示し、レベルＣは太陽に相当する部分の出力である。差分Ｄは上述した左右独立の系にて読み出されたことにより発生するレベル差である。
【００２０】
このレベル差を画面にて違和感なく見えるようにする手法を画面マッチングとよび、その１つとして境界面の濃度段差を目立たなくする方法がある。これは境界面の画像データから求めた相関度に基づき境界面の濃度段差を補正することだが、その精度向上にはＳ／Ｎ低下をもたらす暗電流への対策が必要となっている。
【００２１】
本発明は上記問題点を鑑みてなされたものであり、複数のブロックからなる画像データにおいて境界面で発生する濃度のずれを補正し、違和感のない自然な画像を必要最小限の機能構成により実現することを目的とする。
【００２２】
また、撮像素子の高画素化への対応を可能とすることを更なる目的とするものである。
【００２３】
【課題を解決するための手段】
上記目的を達成するために、本発明の撮像装置は、第１領域で生成された電荷を第１水平転送路を介して第１画像信号として出力するとともに、第２領域で生成された電荷を第２水平転送路を介して第２画像信号として出力する撮像素子と、光が入射されない状態の前記撮像素子の出力から生成された暗電流補正データを用いて、前記撮像素子にて生成された前記第１画像信号と前記第２画像信号の暗電流補正を行う暗電流補正手段と、前記暗電流補正手段にて暗電流補正された前記第１画像信号と前記第２画像信号の差分から、前記第１画像信号と前記第２画像信号の相関値を求める相関抽出手段と、前記相関抽出手段にて求めた相関値を用いて、前記第１画像信号と前記第２画像信号の出力レベルのずれを補正して合成するずれ補正手段と、連写撮影の場合には、前記暗電流補正手段が前記暗電流補正を行わないように制御し、単写撮影で前記撮像素子の電荷の蓄積時間が閾値以上、且つ、前記撮像素子の近傍の温度が閾値以上である場合に、前記暗電流補正手段が前記暗電流補正を行うように制御し、単写撮影で前記撮像素子の電荷蓄積時間が閾値未満である場合、または、単写撮影で前記撮像素子の近傍の温度が閾値未満である場合に、前記暗電流補正手段が前記暗電流補正を行わないように制御する制御手段とを有する。
【００２４】
また、本発明の画像処理方法は、光が入射されない状態の撮像素子の出力から生成された暗電流補正データを記憶する記憶工程と、光が入射された状態の撮像素子の第１領域で生成された電荷を第１水平転送路を介して第１画像信号として出力するとともに、第２領域で生成された電荷を第２水平転送路を介して第２画像信号として出力する撮像工程と、前記記憶工程で記憶された暗電流補正データを用いて、前記撮像工程にて生成された前記第１画像信号と前記第２画像信号の暗電流補正を行う暗電流補正工程と、前記暗電流補正工程において暗電流補正された前記第１画像信号と前記第２画像信号の差分から、前記第１画像信号と前記第２画像信号の相関値を求める相関抽出工程と、前記相関抽出工程において求めた相関値を用いて、前記第１画像信号と前記第２画像信号の出力レベルのずれを補正して合成するずれ補正工程と、連写撮影の場合には、前記暗電流補正工程を行わないように制御し、単写撮影で前記撮像素子の電荷の蓄積時間が閾値以上、且つ、前記撮像素子の近傍の温度が閾値以上である場合に前記暗電流補正工程を行うように制御し、単写撮影で前記撮像素子の電荷蓄積時間が閾値未満、または、単写撮影で前記撮像素子の近傍の温度が閾値未満である場合に、前記暗電流補正工程を行わないように制御する制御工程とを有する。
【００２５】
上記構成によれば、画面マッチングにて補正処理を行う際、その補正値を求める画像データに予め暗電流補正を行っておくことで、精度の高い画面マッチング処理を施すことができ、良好な画像データを得ることができる。
【００３２】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００３３】
＜第１の実施形態＞
図１は、本発明の第１の実施形態におけるデジタルカメラなどの撮像装置の構成を示す概略ブロック図である。
【００３４】
同図に示すように、撮像装置は、ＣＣＤエリアセンサ等からなる撮像部１０１と、画像処理全体の制御を行うマイコンＰＲＳ１０５と、撮像部１０１からの画像信号を処理する原画処理部１１０と、原画処理部１１０からの出力を受けてホワイトバランスや色補間等の処理を行う画像処理部１０４と、複数の画像データを保存する不揮発性の記憶部材からなる記憶部１０３、更に、処理済みの画像データを表示するための表示処理部１２０、表示用メモリ１２１及びＬＣＤ等の表示部、また、処理済みのデータを記憶するためのＪＰＥＧ圧縮処理部１２５及び記憶装置１３０を具備している。
【００３５】
マイコンＰＲＳ１０５は、たとえば、内部にＣＰＵ（中央演算処理部）、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（電気的消去可能プログラマブルＲＯＭ）、入出力ポ−ト等が配置されたワンチップのコンピュ−タ（以下、マイコンと略記す）である。
【００３６】
マイコンＰＲＳ１０５は、ＲＯＭに格納されたシ−ケンスプログラムに基づいて、一連の動作を行う。なお、本発明の特徴は原画処理部１１０にあるので、原画処理部１１０がマイコンＰＲＳ１０５の制御下にあることを明確に示すために図１で矢印を付加しているが、他の部分もマイコンＰＲＳ１０５により制御される。
【００３７】
撮像部１０１では、不図示の光学系を通じて被写体からの光束を撮像素子上に結像させており、撮像素子はこれを光電変換して電気的な信号にし、さらにデジタル値に変換して原画処理部１１０へ出力する。撮像部１０１については図３を参照して詳細に後述する。
【００３８】
原画処理部１１０は、撮像部１０１からの撮像信号出力を受けて、ＯＢクランプ部１１１によりダーク補正を行うための準備として、遮光部（オプティカルブラック）の画素データの抽出を行った後、一旦記憶部１０３のバッファメモリへ蓄える。このバッファメモリは、撮像素子から読み出された１画面分の撮像データを１つの単位として、これを複数分記憶できる容量を備えている。
【００３９】
バッファメモリは、たとえば連写といわれる短時間に複数回の撮影動作を行う時に、画像処理部１０４以降の処理速度などによる影響を無くす、あるいは最小にするために設けているが、本第１の実施形態では、画素データの暗電流補正を行うために用いる撮像素子の暗時出力も記憶する機能をもたせている。
【００４０】
また、原画処理部１１０と記憶部１０３間のデータの入出力は、メモリコントロール部１１３により制御される。
【００４１】
一旦、記憶部１０３へ格納された画素データは原画処理部１１０に読み込まれ、原画処置部１１０を構成する暗電流補正部１１４、画面相関抽出部１１２、画面マッチング部１１６、シェーディング補正部１１７、傷補正部１１８等により信号処理が行われる。スイッチ１４１は、画面相関抽出を行う場合と、画像処理部１０４への出力に向けた信号処理を行う場合とで選択的に切換えてデータを供給するものである。
【００４２】
なお、原画処理部１１０での信号処理手順は、図７を参照して詳細に後述する。
【００４３】
画像処理部１０４では、原画処理部１１０により処理された画素データに対して、ホワイトバランスやガンマ補正および色補間、色補正等、いわゆる絵作りに関する一連の画像処理を行い、ＲＧＢの各色成分に分けて信号出力する。従って、画像処理部１０４からの出力データ量は、色補間処理を施すために、原画処理部１１０からの出力データ量の整数倍に増加している。
【００４４】
例えば、撮像部１０１の撮像素子がベイヤー配列のカラーフィルタで覆われている場合、Ｒ（赤）信号とＧ（緑）とを交互に出力される行と、Ｇ信号と Ｂ（青）信号とを交互に出力する行とが、水平１ライン単位で１行おきに存在する。原画処理部１１０から出力されるデータは同じくベイヤー配列の順序を有するので、画像処理部１０４で入力データを色補間処理して各画素についてＲＧＢデータをそれぞれ出力すると、入力データに対して３倍の画像データ量となる。これを概念的に示したものが、図２である。
【００４５】
画像処理部１０４からの出力は、撮像装置に備えられたＬＣＤ等の表示部１２２に表示される最適なサイズとなるように、表示処理部１２０にてフィルタ処理を含めた画像サイズ縮小のための信号処理を行った後に、表示用メモリ１２１に格納される。ここでは、 ＲＧＢの各色成分毎に格納され、カメラに備えられたＬＣＤ表示部１２２の駆動部とのインターフェイスもＲＧＢで行われる。出力は入力と同じくライン単位で行われる。
【００４６】
ＪＰＥＧ圧縮処理部１２５は、ＹＵＶ変換部とＪＰＥＧ符号化処理部とから構成されている。ＹＵＶ変換部で、画像処理部１０４より入力されたＲＧＢ画像データを輝度成分と色差成分に変換し、ＪＰＥＧ符号化処理部により画像圧縮処理する。ＪＰＥＧ符号化処理部では、入力された画像データをＪＰＥＧ符号化処理により画像圧縮を行う。ここでは、ＤＣＴ（離散コサイン変換）およびハフマン変換を行っており、輝度及び色差からなる信号を、ＤＣＴ処理のために輝度信号は縦８ｘ横１６画素、色差信号は８ｘ８画素を最小単位として、ラスタスキャンからジグザグスキャンへ変換するための機能もこの部位に含まれている。
【００４７】
圧縮処理されたデータは後段の記憶装置１３０に順次記憶される。上述の符号化処理を繰り返し、撮像部１０１からの撮像データ１画面分の処理を行う。このＪＰＥＧ符号化処理の前後で、マイコンＰＲＳ１０５は必要に応じて撮影日時情報などのヘッダーやフッターを任意の形式で生成し、符号化により圧縮された画像データとともに記憶装置１３０に格納する。
【００４８】
このとき、記憶装置１３０へは同一の撮像データに基づいて、２つの互いに異なる画像サイズの画像データが格納される。第１の画像データは画像処理部１０４内部の画像縮小処理部による画像縮小処理を施さないもの、第２の画像データは画像処理部１０４内部の画像縮小処理部により画像縮小処理を実施したものである。第１の画像データは撮影された画像を示す画像データとして、第２のデータはサムネイル等の画像データの編集や確認に際しての管理情報として扱うことを主目的として生成される。第１の画像データと第２の画像データは互いに独立した画像ファイルとして管理されるが、関連付けがなされている。
【００４９】
また、ＪＰＥＧ符号化の際に必要な圧縮率やそのために必要な変換参照データ等の設定値は、撮像装置のシャッターが押された時点でマイコンＰＲＳ１０５により設定が完了する。
【００５０】
記憶装置１３０へは複数の画像データの保存を行うことのできる比較的書き込み速度の速い揮発性の記憶部材と、比較的書き込み速度の遅い着脱可能な不揮発性記憶部材とから構成されており、ＪＰＥＧ圧縮処理部１２５からの出力は、最初に揮発性の記憶部材に格納される。このとき、同一の撮像データより生成された、画像サイズの異なる２つの画像データが格納される。その後、撮像装置の動作の合間を見計らって、不揮発性記憶部材へ順次格納される。
【００５１】
なお、不揮発性記憶部材は撮像装置から着脱可能であって、撮像装置に装着した状態で揮発性記憶部材からのデータ書き込みを単数あるいは複数の画面分行った後に撮像装置から取り外し、撮像装置のデータ形式で読み出し可能な別のシステムに装着して記憶されているデータの再生や編集、保存を行えるようになっている。上述の第１の画像データと第２の画像データは共に記憶装置１３０にて上述の目的を満足できるような形式で管理される。
【００５２】
図３は図１に示す撮像部１０１の内部構成を示す概略図である。図３において、９０はＣＣＤエリアセンサ等の撮像素子、８１及び８２は公知のＣＤＳ（二重相関サンプリング）／ＡＧＣ（自動ゲイン調整）部、８３及び８４は公知のＡ／Ｄ変換器である。また、撮像素子９０を駆動する不図示のセンサ駆動部も備えている。この構成により、読み出された光電変換出力に適したアナログ処理を施した後、デジタル信号に変換して出力する。
【００５３】
撮像素子９０は公知のベイヤー配列型ＣＣＤと呼ばれているものであり、９１Ｌ及び９１Ｒは、それぞれ画面左半分、右半分の領域に存在する光電変換素子、９２Ｌ及び９２Ｒは、それぞれ画面左半分、右半分の領域に存在する垂直転送ＣＣＤ（ＶＣＣＤ）である。各光電変換素子とＶＣＣＤはそれぞれペアになっており、２次元にこのペアが複数個配置されることで撮像領域を形成し、被写体からの光束を電荷に変換することで画像を撮像するものである。また、４ＬはＶＣＣＤ９２Ｌから順次転送される電荷を水平方向に転送する水平転送ＣＣＤ（ＨＣＣＤ）、４Ｒは、ＶＣＣＤ９２Ｒから順次転送される電荷を水平方向に転送するＨＣＣＤである。
【００５４】
撮像領域を形成する撮像素子９０の受光面は、Ｒ、Ｇ、Ｂの原色フィルタにより覆われており、Ｇは市松状に、Ｒ、ＢはＧフィルタの間に１ライン毎交互に配置されている（ベイヤー配列）。また、画素は正方格子化されていて、画像の取り込み後の演算が容易なものである。
【００５５】
光電変換素子９１Ｌで発生した電荷はＶＣＣＤ９２Ｌに転送された後、ＨＣＣＤ４Ｌに向けて水平方向の１行を単位として垂直方向に順次転送される。その後、ＨＣＣＤ４Ｌにより方向Ｂに転送されて、電荷電圧変換アンプ９５にて電荷から電圧に変換され、ＣＤＳ／ＡＧＣ部８１により処理され、更にＡ／Ｄ変換器８３にてデジタルデータに変換された後に、図１に示す原画処理部１１０へ出力される。
【００５６】
一方、光電変換部９１Ｒで発生した電荷はＶＣＣＤ９２Ｒに転送された後、９ＨＣＣＤ４Ｒに向けて水平方向の１行を単位として垂直方向に順次転送される。その後、ＨＣＣＤ４Ｒにより方向Ａに転送されて、電荷電圧変換アンプ９６にて電荷から電圧に変換され、ＣＤＳ／ＡＧＣ部８２により処理され、Ａ／Ｄ変換器８４にてデジタルデータに変換された後、図１に示す原画処理部１１０へ出力される。このように、撮像された撮像データが、左右領域で分かれて出力される。
【００５７】
また、撮像素子９０を構成するＶＣＣＤ９２Ｌ及び９２Ｒ、ＨＣＣＤ４Ｌ及び４Ｒ、受光部の光電変換素子、遮光部の光電変換素子はいづれも図３に示されているものより多くの個数により構成されている。例えば図３において、遮光部の光電変換素子は１水平方向について右端、左端に各１つで表現しているが、実際には、複数個で構成されている。
【００５８】
図４は、不図示のカメラ接眼部からファイダを覗いた様子を示し、 ＡＦＰ１〜ＡＦＰ３は３つの測距点を示しており、 測距点ＡＦＰ２で焦点調節している状態を表している。また、図４においては下端に示す各表示はシャッター速度や焦点調節の合焦判定等、カメラの設定状態を示すもので、説明のために全ての表示部が点灯した状態を示しているが、カメラの動作時は、動作状態に応じて点灯あるいは消灯が独立して行われるため、図４のように全ての表示が点灯することはない。また、測距点ＡＦＰ１〜ＡＦＰ３は、それぞれ焦点調節に選択されると、不図示の光学系および照明装置により、撮影者が充分確認できる短い時間で外側の四辺形と内側の四辺形に囲まれた領域が赤く点灯する。
【００５９】
このとき図１の撮像部１０１に含まれている撮像素子の受光部は図５に示すようにＫ×Ｌ画素である。また、上述したように、図５に示すＫ×Ｌ画素の信号に対して原画処理部１１０にて処理し、さらに画像処理部１０４にてホワイトバランスや色補正、色補間等一連の信号処理がＲＧＢの各色毎に施されると、図２に示すように、Ｒ、Ｇ、Ｂの各色毎にＫ×Ｌ画素からなる出力画像になる。すなわち、Ｋ×Ｌ画素からなる撮像素子からのデータ量が、原画処理部１１０および画像処理部１０４により信号処理されることによって、３倍のデータ量となることを示している。
【００６０】
図６は、左右画面間で発生する出力差を境界近傍の複数の光電変換出力から求めて行う場合の補正処理を説明するための図である。
【００６１】
図６（Ａ）は図３に示す撮像素子９０を簡略化した図である。図６（Ａ）に示す例では、晴れた日の風景を撮影しており、太陽、山、木、草が写っている。なお、図６（Ａ）に示す構成において、上述の図１４（Ａ）に示す構成と同じものについては同じ参照番号を付し、ここでは説明を省略する。
【００６２】
図６（Ｂ）は図６（Ａ）のｂ−ｂ’で示す水平方向１行分の光電変換出力例を示す。図６（Ｂ）のレベルＡは、ＨＣＣＤ４Ｒから読み出される遮光部２Ｒの出力レベルを示し、レベルＢは図６（Ａ）のＨＣＣＤ４Ｌから読み出される遮光部２Ｌの出力レベルを示す。また、差分Ｄは、右画面と左画面のレベル差を示す。
【００６３】
図６（Ａ）に示す相関抽出部Ａ及びＢは差分Ｄを補正するための補正量を求めるために用いる撮像データ領域である。それぞれ、撮像領域の左右境界から同数（複数）の光電変換素子出力を抽出し、相関値を求めて補正値を生成する。
【００６４】
ここで本発明における補正値を生成する方法について説明する。
【００６５】
まず、ＨＣＣＤ４Ｒ及びアンプ５Ｒを介して読みだされた相関抽出部Ａの画素データを暗電流補正し、補正後のデータを平均した値ＡＶＧＡと、ＨＣＣＤ４Ｌ及びアンプ５Ｌを介して読みだされた相関抽出部Ｂの画素データを暗電流補正し、補正後のデータを平均した値ＡＶＧＢとを求める。相関抽出部Ａ及びＢの水平方向の画素数をＮとした場合、ＡＳ（Ｎ）、ＢＳ（Ｎ）は、それぞれＨＣＣＤ４Ｒ及びアンプ５Ｒ、ＨＣＣＤ４Ｌ及びアンプ５Ｌにより読みだされた相関抽出部Ａおよび相関抽出部Ｂの画素データに暗電流補正を行った出力とする。すなわち、
ＡＶＧＡ＝（ＡＳ（１）＋ＡＳ（２）＋．．．＋ＡＳ（Ｎ））／Ｎ
ＡＶＧＢ＝（ＢＳ（１）＋ＢＳ（２）＋．．．＋ＢＳ（Ｎ））／Ｎ
…（１）
【００６６】
により求める。次に、平均値ＡＶＧＡ、ＡＶＧＢに基づいて相関値を求める。
相関値＝ＡＶＧＢ−ＡＶＧＡ …（２）
上記のようにして求めた相関値は、そのまま補正値として用いることができるので、ここではＨＣＣＤ４Ｌ及びアンプ５Ｌを介して読みだされた画素データに暗電流補正した後のデータと演算する。すなわち、Ｂ（ｎ）をＨＣＣＤ４Ｌ及びアンプ５Ｌを介して読み出された画素データに暗電流補正を行った出力とすると、まず、
ＢＢ（ｎ）＝Ｂ（ｎ）＋補正値（相関値） …（３）
【００６７】
を演算する。これにより、差分Ｄに対応するレベルを補正することができる。なお、ｎは画素番号を示し、水平方向１行を構成する光電変換素子の個数をＫとすると、１≦ｎ≦Ｋ／２である。次に、左右画面の画素データにオフセット値Ｃを加算する。なお、Ａ（ｎ）はＨＣＣＤ４Ｒ及びアンプ５Ｒを介して読み出された画素データに暗電流補正を行った出力である。
ＦＢ（ｎ）＝ＢＢ（ｎ）＋Ｃ …（４）
ＦＡ（ｎ）＝Ａ（ｎ）＋Ｃ …（５）
これにより図６（Ｃ）に示す波形を得ることができる。
【００６８】
なお、図６（Ｃ）のレベルＣに当たるオフセット値Ｃは、図１に示す画像処理部１０４等でデジタル信号処理が行い易いように、補正後の画素データに共通に加えるオフセット値である。
【００６９】
なお、図６（Ｂ）及び図６（Ｃ）に示す出力波形は表示画像での出力を示すものであるが、撮像素子から得られるＲＧＢの各色成分により構成される画像データであるので、上記補正値生成はＲＧＢの各色成分ごとに独立に行われるものである。
【００７０】
次に、図１の原画処理部１１０において行われる処理を、図１乃至図７を参照して詳細に説明する。図７は原画処理部１１０の動作を示すフローチャートである。
【００７１】
撮像部１０１から原画処理部１１０に入力される画素データは、図５に示すように、水平方向にＫ個、垂直方向にＬ個からなる、受光部にある光電変換素子の出力と、図６（Ａ）に示す遮光部２Ｌ及び２Ｒにある複数の光電変換素子の出力とから構成される。これら光電変換素子の出力は、図３に示すように、左画面の出力がＡ／Ｄ変換器８３を介して、また、右画面の出力がＡ／Ｄ変換器８４を介して、原画処理部１１０に並行に入力される。原画処理部１１０ではこれら２系統のデジタル画素データを並行処理する。
【００７２】
まず、最初に暗電流補正に用いる暗電流補正データを取得する処理を行う。
【００７３】
マイコンＰＲＳ１０５は撮像部を制御して、撮像部１０１に光が入射されない状態で光電変換素子の出力が初期値となるようにリセットした後に、予め決めておいた時間の電荷蓄積動作を行う。ステップＳ１０では、この電荷蓄積動作完了後にＡ／Ｄ変換器８３および８４からそれぞれ出力されたデジタル画素データを並行に入力する。
【００７４】
ステップＳ１１では、図６（Ａ）に示す遮光部２Ｌ及び２Ｒ中の複数の光電変換素子の暗電流出力に対応する画素データを一時的に記憶し、公知の方法にてクランプに用いるデジタルデータを決定する。続いて、図６（Ａ）の受光部１の領域にある光電変換素子から得られる画素データとのクランプ処理を公知の方法で行う。
【００７５】
次にステップＳ１２において、クランプ処理されたデータ（暗電流補正データ）を、メモリコントロール部１１３を介して、記憶部１０３内に予め確保された暗電流補正データ格納領域に格納する。なお、記憶部１０３への格納の際にはその後のデータの扱いが容易となるように、ＨＣＣＤ４Ｒにより方向Ａに転送された画素データの格納順が読み出し順と逆になるように（すなわち、方向Ｂの順になるように）、メモリコントロール部１１３にて制御する。
【００７６】
ステップＳ１０乃至Ｓ１２の処理を、水平ライン数であるＬ回（すなわち、ステップＳ１３でＹＥＳとなるまで）繰り返す。これにより、１フレーム分の暗電流補正データの取り込みが終了する。
【００７７】
続いて、撮像部１０１により、通常の被写体撮影により得た画素データを入力する（ステップＳ１４）。この画素データについてもクランプ処理し（ステップＳ１５）、クランプ処理後の画素データをメモリコントロール部１１３を介して記憶部１０３に予め確保された画素データ格納領域に格納し（ステップＳ１６）、ステップＳ１４乃至Ｓ１６の動作をＬ回（ステップＳ１７でＹＥＳ、すなわち１フレーム分の画像データの処理が終了するまで）繰り返す。
【００７８】
次に、暗電流補正を行うためにスイッチ１４１を切換えて、記憶部１０３からメモリコントロール部１１３を介して読み出した画像データ及び暗電流補正データを暗電流補正処理部１１４に入力し、画素データに対して暗電流補正を行う（ステップＳ１８）。暗電流補正部１１４は、マイコンＰＲＳ１０５の制御下で、画素データを取得したときの蓄積時間に相当する暗電流補正データとなるように各々の蓄積時間比に基づいて暗電流補正データに対して演算処理を行って調整し、調整した暗電流補正データを画素データから減算する。これにより、画素データを構成する個々の光電変換素子出力に含まれている暗電流成分を除去してＳ／Ｎ特性の良好な画素データを生成することができる。上記のように暗電流補正された画素データは、画面相関抽出部１１２に入力されると共に、記憶部１０３にも格納される。
【００７９】
画面相関抽出部１１２では、右画面と左画面のレベルのずれを画像マッチング部１１６にて補正するために必要な補正値を求める基準となる相関値を求めるために、画面相関抽出処理を行う（ステップＳ１９）。具体的には、画面相関抽出部１１２に図６（Ａ）に示す相関抽出部Ａおよび相関抽出部Ｂの画像データが入力されると、上述の式（１）により変数ＡＶＧＡおよび変数ＡＶＧＢを求め、さらに、上述の式（２）により相関値を算出する。
【００８０】
画面相関抽出部１１２から出力される相関値は、マイコンＰＲＳ１０５に読み込まれ、予め用意しておいた処理内容にしたがって処理された後に、画面マッチング部１１６でのずれ補正処理制御に反映される。
【００８１】
続いて、求めた画像の相関値に基づいてマイコンＰＲＳ１０５が生成した補正値を用いて、画面マッチング処理部１１６による画面マッチングを行う（ステップＳ２０）。このときスイッチ１４１は画面マッチング部１１６側に切換えられており、メモリコントロール部１１３を介して記憶部１０３から暗電流補正された画素データが読み出される。なお、本第１の実施形態においては、図３の左画面の画像データに対して補正処理を行うことにより画面のマッチングを行うものとする。
【００８２】
ステップＳ２０では、図３の右画面の画像データがスイッチ１４１を経て画面マッチング部１１６に入力される。右画面の画像データに対して、画面マッチング部１１６は、上記式（５）により上述したように図６（Ｃ）に示すレベルＣに対応する値（オフセット値）を加算する。一方、図３の左画面の画像データがスイッチ１４１を経て画面マッチング部１１６に入力されると、入力されたラインの相関値に基づいて、マイコンＰＲＳ１０５が予め用意しておいた補正値を用いて、上記式（３）及び（４）に示す演算を行い、レベルのずれが補正される。
【００８３】
画面マッチング部１１６によりマッチング処理された後は、図３のＡ／Ｄ変換器８３および８４の２系統で別々に出力され、それぞれ別個に処理されていた画像データが、各行毎のデータとしてまとめられる。
【００８４】
続いて、ステップＳ２１において、シェーディング補正処理部１１７により、予め用意しておいた係数を画面マッチング処理された画像データに乗じることで光学的要因により生じた画像データの歪みを補正する。
【００８５】
次に、ステップＳ２２において、傷補正処理部１１８により、ゴミや傷などにより適正な光電変換出力が得られない部位を、その周囲の出力に基づいて算出した値に置換する。ゴミや傷などのある部分は周囲の画素の出力と差異があることから、その差異が予め決めておいた値よりも大きい時にゴミ又は傷があると判断することができる。
【００８６】
傷補正部１１８による処理を終えた画像データは、画像処理部１０４へ順次出力される。
【００８７】
画面マッチング処理（ステップＳ２０）、シェーディング補正処理（ステップＳ２１）および傷補正処理（ステップＳ２２）も水平方向のライン単位で行われるので、これらの処理をＬ回繰返すことにより（ステップＳ２３でＹＥＳ）、水平ライン数がＬからなる光電変換素子の出力について、１フレーム分の原画処理が終了する。
【００８８】
上記の処理により、図６（Ｂ）に示す出力波形が図６（Ｃ）に示す出力波形に補正され、右画面と左画面のレベル差である図６（Ｂ）に示す差分Ｄが補正され、左右画面で段差のない画像データを得ることができる。
【００８９】
このように、第１の実施形態では、画面マッチングにて補正処理を行う場合に、その補正値を求める画像データに予め暗電流補正を行っておくことで、精度の高い画面マッチング処理を施すことができる。
【００９０】
＜第２の実施形態＞
以下、本発明の第２の実施形態を図面を参照して説明する。
【００９１】
図８は、本発明の第２の実施形態におけるデジタルカメラなどの撮像装置の構成を示す概略ブロック図である。図８に示す構成と図１に示す構成とでは、スイッチ部１４１と暗電流補正部１１４の配置が入れ換わってところが異なる。なお、図８において、図１と同様の構成には同じ参照番号を付し、各構成要素の詳細な動作については説明を省略するｓ。
【００９２】
上記第１の実施形態では、原画処理部１１０において、画像データの暗電流補正を画面相関抽出の前処理として１フレーム分行っておき、記憶部１０３に暗電流補正後の画像データを格納する構成であった。本第２の実施形態では、処理必要な画素データについてその都度暗電流補正する場合について説明する。
【００９３】
以下、本第２の実施形態における原画処理部１１０’の動作を図９を参照しながら説明する。
【００９４】
ステップＳ１０乃至Ｓ１７で行われる処理は図７で行われる処理と同様であるので、ここでは説明を省略する。
【００９５】
ステップＳ３０において、図６（Ａ）に示す相関抽出部Ａ及び相関抽出部Ｂのクランプ処理済みの画像データと、暗電流補正データとをメモリコントロール部１１３を介して記憶部１０３から読み込む。本第２の実施形態においては、暗電流補正部１１４とメモリコントロール部１１３との間にスイッチ１４１が無いので、メモリコントロール部１１３から暗電流補正部１１４に直接データが入力される。暗電流補正部１１４における暗電流補正処理動作は、図７のステップＳ１８で説明した動作と同様である。
【００９６】
次のステップＳ３１において相関値を得るために、スイッチ１４１はここでは暗電流補正後の画像データを画面相関抽出部１１２へ出力するよう切換えられている。従って、暗電流補正部１１４は、暗電流補正済みの相関抽出部Ａ及び相関抽出部Ｂの画像データを画面相関抽出処理部１１２へ出力し、画面相関抽出処理部１１２では入力したデータに基づいて、図７のステップＳ１９と同様の動作により、相関値を得る。ここで暗電流補正部１１４により暗電流補正され、画面相関抽出部１１２へ入力される画像データは相関抽出部Ａおよび相関抽出部Ｂの領域のみであるから、ステップＳ３０及びＳ３１の処理は、第１の実施形態に比べて、かなり短時間で終了する。
【００９７】
続いて、求めた画像の相関値に基いてマイコンＰＲＳ１０５で生成された補正値を用いて、画面マッチング処理部１１６による画面マッチング等の処理を行うが、本第２の実施形態においては、その前に暗電流補正処理部１１４による暗電流補正処理を行う（ステップＳ３２）。
【００９８】
記憶部１０３には、既に、１フレーム分の暗電流補正データと画像データが格納されているので、これらのデータを記憶部１０３から暗電流補正部１１４へメモリコントロール部１１３を介して読み出す。こうして読み出したデータを用いて、図７のステップＳ１８と同様にして１フレーム分の画像データに対して暗電流補正処理を行う。
【００９９】
ここでは、スイッチ１４１は画面マッチング部１１６へデータが出力されるように切換えられており、暗電流補正された画像データが画面順次マッチング部１１６へ入力される。ステップＳ３３において、マイコンＰＲＳ１０５が生成した補正値を用いて、図７のステップＳ２０と同様の画面マッチングを行い、１行分の画像データに対してマッチング処理が終了すると、ＨＣＣＤ４Ｒにより方向Ａに転送された右画面の画像データの順序を逆にして（すなわち、データ順を方向Ｂの順にする）、左画面の画像データと合わせて１行分の画像データにし、シェーディング補正部１１７に出力する。
【０１００】
なお、右画面の画像データの順序の変換は、ステップＳ３２で暗電流補正を行う際に、メモリコントロール部１１３により記憶部１０３からの読み出し順序を逆にすることで行っても良い。
【０１０１】
この後に行うシェーディング補正処理（ステップＳ３４）およびゴミ・傷補正処理（ステップＳ３５）は、それぞれ図７のステップＳ２１及びＳ２２の動作と同様であるために、説明を省略する。上記ステップＳ３２乃至Ｓ３５をＬ回（すなわ水平ライン数分）繰り返し（ステップＳ３６）、１フレーム分の原画像処理が終了する。
【０１０２】
上記の通り本第２の実施形態によれば、画面マッチングを行うための補正値を求める際に、１フレーム分の画像データの内、必要部分のみを選択して補正値を求めることで、メモリコントロールの処理が簡潔なシステム構成で、上記第１の実施形態と同様に精度の高い画面マッチング処理を施すことができる。
【０１０３】
＜第３の実施形態＞
以下、本発明の第３の実施形態を図面を参照して説明する。
【０１０４】
上記第１および第２の実施形態では、画像データを画面相関抽出の前処理として暗電流補正を必ず行うものであった。これに対し、本第３の実施形態においては、画面相関抽出の前処理である暗電流補正をするかしないかを選択的に切換える場合について説明する。
【０１０５】
図１０は、本第３の実施形態における撮像装置の概略構成を示す図である。図１と比較してスイッチ部１４２が追加されていることが異なっているが、それ以外の各構成要素の機能は図１に示すものと同じであるため同じ参照番号を付し、説明を省略する。
【０１０６】
次に、図１１を参照して原画処理部１１０”の動作説明をする。なお、図７に示す処理と同じ処理については同じ参照番号を付し、説明を省略する。
【０１０７】
ステップＳ４０において、暗電流補正を行うかどうかを判断する。暗電流処理を行う場合には、スイッチ１４１を１に設定して、データを暗電流補正部１１４４に出力し、ステップＳ１８に進む。また、行わない場合には、スイッチ１４１を０にし、スイッチ１４２を１に設定することで、暗電流補正部１１４を迂回して、画像データを直接画面相関抽出部１１２に出力し、ステップＳ１９の処理に進む。
【０１０８】
ステップＳ４０における暗電流補正の実行の有無を決める動作の一例について、図１２のフローチャートを参照して説明する。
【０１０９】
ステップＳ４１で、カメラの動作モードが連写か単写かを判断し、連写であれば暗電流補正処理を行わないと判断する（ステップＳ４４）。カメラ動作モードが単写であるならば、ステップＳ４２で、撮像部１０１での電荷蓄積時間が予め決めておいた時間Ｔと比較して長いか短いかを判定し、短い時には暗電流補正処理を行わないと判断する（ステップＳ４４）。一方、長い時には、ステップＳ４３で、現在の撮像部１０１あるいは撮像部１０１近傍の温度を不図示の温度計により測定し、その結果と予め決めておいた温度Ｔｅｍｐとを比較して高いか低いかを判定し、高ければ暗電流補正処理を行うと判断し（ステップＳ４５）、低ければ行わないと判断する（ステップＳ４４）。
【０１１０】
蓄積時間が短いとき、あるいは撮像部の温度が低く、複数の光電変換素子の個々の暗電流出力の差が比較的小さいときには、暗電流補正の補正効果に比較して、処理時間や消費電流などのマイナス作用の影響が大きくなる。特に連続撮影モードでカメラを動作させているときには、撮影間隔が広がってしまう。従って、上記要因に応じて画面相関抽出を行う画像データへの暗電流補正処理の有無を選択的に行うことで、最適な処理を行うことができる。
【０１１１】
【他の実施形態】
上記第１乃至第３の実施形態においては、図３の右画面の画像データに左画面の画像データのレベルを合わせるように補正する場合について説明したが、左画面の画像データに右画面の画像データのレベルを合わせるようにしても、また、中間のレベルに合わせるように左右両画面の画像データを合わせるようにしても良い。これらの動作は、画面相関抽出部１１２により得られる相関値に基づく補正値を変更すれば容易に実施可能である。
【０１１２】
また、本発明は上記実施の形態で説明した構成に限られるものではなく、例えば、入力される信号がＲＧＢなる色成分や輝度成分、色差成分でなくても良く、また撮像素子がＣＣＤ撮像素子でなくてもよい。また、撮影された１画面が２つより大きい画像ブロックであっても良く、また、画面マッチングの方法が統計的処理など、上記実施の形態で示した内容とは異なっていても、本発明の機能が達成できる構成であれば良いことは言うまでもない。
【０１１３】
また、本発明は、デジタルカメラに限らず、カメラ以外の光学機器や他の装置など２次元に配設された光電変換素子により撮像されて得られた画像信号を処理して、最終的に例えばモニタやプリンタ等の出力装置へ画像として出力するものであれば適用できる。
【０１１４】
また、上記実施の形態では、エリアセンサにより得られる画像信号を、複数の出力系（ＨＣＣＤ、アンプ等）を介して所定領域毎に別々に読み出す場合について説明したが、本発明はこれに限られるものではなく、例えば、撮影領域をずらして複数枚の画像を撮影したり、複数のエリアセンサを用いて複数の画像を撮影し、得られた複数の画像を合成することでより広い被写体領域の画像を得る場合など、所定領域毎に出力される画像信号を合成して１枚の画像を取得する様々な場合に適用することが可能である。
【０１１５】
また、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、スキャナ、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルカメラ、ビデオカメラなど）に適用してもよい。
【０１１６】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フロッピーディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。
【０１１７】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１８】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図７、図９または図１１に示すフローチャートに対応するプログラムコードが格納されることになる。
【０１１９】
【発明の効果】
以上説明したように本発明によれば、複数のブロックからなる画像データにおいて境界面で発生する濃度のずれを補正し、違和感のない自然な画像を必要最小限の機能構成により実現することができる。
【０１２０】
また、撮像素子の高画素化への対応を可能とすることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における撮像装置の構成を示す概略ブロック図である。
【図２】本発明の第１の実施形態における画像処理部からの出力データの概念を示す図である。
【図３】図１に示す撮像部の構成を示す図である。
【図４】本発明の第１の実施形態の撮像装置のファインダーを覗いた様子を示す図である。
【図５】図１の撮像部に含まれている撮像素子の受光部を説明する図である。
【図６】本発明の第１の実施形態における補正処理を説明するための図である。
【図７】本発明の第１の実施形態における原画処理部の処理手順を示すフローチャートである。
【図８】本発明の第２の実施形態における撮像装置の構成を示す概略ブロック図である。
【図９】本発明の第２の実施形態における原画処理部の処理手順を示すフローチャートである。
【図１０】本発明の第３の実施形態における撮像装置の構成を示す概略ブロック図である。
【図１１】本発明の第３の実施形態における原画処理部の処理手順を示すフローチャートである。
【図１２】本発明の第３の実施形態における暗電流補正の実行の有無を決める動作を示すフローチャートである。
【図１３】従来の撮像素子の構成例を示す図である。
【図１４】従来の別の撮像素子の構成例を示す図である。
【符号の説明】
１０１ 撮像部
１０３ 記憶部
１０４ 画像処理部
１０５ マイコンＰＲＳ
１１０、１１０’、１１０” 原画処理部
１１１ ＯＢクランプ部
１１２ 画面相関抽出部
１１３ メモリコントロール部
１１４ 暗電流補正部
１１６ 画面マッチング部
１１７ シェーディング補正部
１１８ 傷補正部
１２０ 表示処理部
１２１ 表示用メモリ
１２２ 表示部
１２５ ＪＰＥＧ圧縮部
１３０ 記憶装置
１４１ スイッチ
Claims (5)
- 第１領域で生成された電荷を第１水平転送路を介して第１画像信号として出力するとともに、第２領域で生成された電荷を第２水平転送路を介して第２画像信号として出力する撮像素子と、
光が入射されない状態の前記撮像素子の出力から生成された暗電流補正データを用いて、前記撮像素子にて生成された前記第１画像信号と前記第２画像信号の暗電流補正を行う暗電流補正手段と、
前記暗電流補正手段にて暗電流補正された前記第１画像信号と前記第２画像信号の差分から、前記第１画像信号と前記第２画像信号の相関値を求める相関抽出手段と、
前記相関抽出手段にて求めた相関値を用いて、前記第１画像信号と前記第２画像信号の出力レベルのずれを補正して合成するずれ補正手段と、
連写撮影の場合には、前記暗電流補正手段が前記暗電流補正を行わないように制御し、単写撮影で前記撮像素子の電荷の蓄積時間が閾値以上、且つ、前記撮像素子の近傍の温度が閾値以上である場合に、前記暗電流補正手段が前記暗電流補正を行うように制御し、単写撮影で前記撮像素子の電荷蓄積時間が閾値未満である場合、または、単写撮影で前記撮像素子の近傍の温度が閾値未満である場合に、前記暗電流補正手段が前記暗電流補正を行わないように制御する制御手段と
を有することを特徴とする撮像装置。 - 前記相関抽出手段は、前記第１画像信号と前記第２画像信号から抽出された同数の画素分の信号の差分に基づいて前記相関値を求めることを特徴とする請求項１に記載の撮像装置。
- 光が入射されない状態の撮像素子の出力から生成された暗電流補正データを記憶する記憶工程と、
光が入射された状態の撮像素子の第１領域で生成された電荷を第１水平転送路を介して第１画像信号として出力するとともに、第２領域で生成された電荷を第２水平転送路を介して第２画像信号として出力する撮像工程と、
前記記憶工程で記憶された暗電流補正データを用いて、前記撮像工程にて生成された前記第１画像信号と前記第２画像信号の暗電流補正を行う暗電流補正工程と、
前記暗電流補正工程において暗電流補正された前記第１画像信号と前記第２画像信号の差分から、前記第１画像信号と前記第２画像信号の相関値を求める相関抽出工程と、
前記相関抽出工程において求めた相関値を用いて、前記第１画像信号と前記第２画像信号の出力レベルのずれを補正して合成するずれ補正工程と、
連写撮影の場合には、前記暗電流補正工程を行わないように制御し、単写撮影で前記撮像素子の電荷の蓄積時間が閾値以上、且つ、前記撮像素子の近傍の温度が閾値以上である場合に前記暗電流補正工程を行うように制御し、単写撮影で前記撮像素子の電荷蓄積時間が閾値未満、または、単写撮影で前記撮像素子の近傍の温度が閾値未満である場合に、前記暗電流補正工程を行わないように制御する制御工程と
を有することを特徴とする画像処理方法。 - コンピュータに、請求項３に記載の画像処理方法の各工程を実行させるためのプログラム。
- 請求項４に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001136557A JP4817529B2 (ja) | 2001-05-07 | 2001-05-07 | 撮像装置及び画像処理方法 |
| US10/105,743 US7050098B2 (en) | 2001-03-29 | 2002-03-25 | Signal processing apparatus and method, and image sensing apparatus having a plurality of image sensing regions per image frame |
| EP02007148A EP1246453A3 (en) | 2001-03-29 | 2002-03-28 | Signal processing apparatus and method, and image sensing apparatus |
| CN021087156A CN1217533C (zh) | 2001-03-29 | 2002-03-29 | 信号处理设备及方法,与图象感测设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001136557A JP4817529B2 (ja) | 2001-05-07 | 2001-05-07 | 撮像装置及び画像処理方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002335454A JP2002335454A (ja) | 2002-11-22 |
| JP2002335454A5 JP2002335454A5 (ja) | 2008-07-24 |
| JP4817529B2 true JP4817529B2 (ja) | 2011-11-16 |
Family
ID=18983813
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001136557A Expired - Fee Related JP4817529B2 (ja) | 2001-03-29 | 2001-05-07 | 撮像装置及び画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4817529B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4341297B2 (ja) | 2003-05-23 | 2009-10-07 | 株式会社ニコン | 信号処理装置、および電子カメラ |
| JP4763469B2 (ja) * | 2005-03-07 | 2011-08-31 | 富士フイルム株式会社 | 固体撮像装置および画像入力装置、ならびにその画像補正方法 |
| JP2007018458A (ja) * | 2005-07-11 | 2007-01-25 | Sony Corp | 表示装置、センサ信号の補正方法並びに撮像装置 |
| JP2007259135A (ja) * | 2006-03-23 | 2007-10-04 | Fujifilm Corp | 撮像装置およびその駆動方法 |
| JP2007318635A (ja) * | 2006-05-29 | 2007-12-06 | Fujifilm Corp | 撮像装置、撮像方法 |
| EP2555508A4 (en) * | 2010-04-01 | 2013-10-30 | Toshiba Kk | X-RAY DETECTOR AND METHOD FOR CONTROLLING IT |
| JP2013029995A (ja) * | 2011-07-28 | 2013-02-07 | Clarion Co Ltd | 撮像システム |
| JP5360270B2 (ja) | 2011-12-07 | 2013-12-04 | 凸版印刷株式会社 | 液晶表示装置 |
| JP5957925B2 (ja) * | 2012-02-08 | 2016-07-27 | リコーイメージング株式会社 | 暗露光制御装置 |
| EP2940516A4 (en) | 2012-12-27 | 2017-01-18 | Toppan Printing Co., Ltd. | Liquid crystal display device, color filter substrate, and color filter substrate production method |
| CN105026962B (zh) | 2013-01-25 | 2018-05-04 | 凸版印刷株式会社 | 滤色器基板、液晶显示装置及滤色器基板的制造方法 |
| CN115278124A (zh) * | 2022-08-08 | 2022-11-01 | 天津大学 | 抑制暗电流分布非均匀性的方法及装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11112884A (ja) * | 1997-10-06 | 1999-04-23 | Nec Corp | ビデオカメラ装置の暗電流補正方法および該方法によるビデオカメラ装置 |
| JP2000184269A (ja) * | 1998-12-11 | 2000-06-30 | Canon Inc | 撮像装置と該撮像装置の制御方法、及び記録媒体 |
| JP3619077B2 (ja) * | 1999-09-20 | 2005-02-09 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法及び記憶媒体 |
| JP4655383B2 (ja) * | 2001-02-23 | 2011-03-23 | ソニー株式会社 | イメージセンサの画像信号処理装置 |
-
2001
- 2001-05-07 JP JP2001136557A patent/JP4817529B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002335454A (ja) | 2002-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7050098B2 (en) | Signal processing apparatus and method, and image sensing apparatus having a plurality of image sensing regions per image frame | |
| JP3980782B2 (ja) | 撮像制御装置および撮像制御方法 | |
| JP5108172B2 (ja) | 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体 | |
| KR20110126053A (ko) | 촬상 장치, 손떨림 보정 방법 및 기록 매체 | |
| JP3854754B2 (ja) | 撮像装置、画像処理装置及びその方法、並びにメモリ媒体 | |
| JP4817529B2 (ja) | 撮像装置及び画像処理方法 | |
| JP4004346B2 (ja) | 撮像装置及びディストーション補正方法 | |
| JP2000244823A (ja) | 撮像素子の欠陥画素補正装置 | |
| JP2007243917A (ja) | 撮像装置および画像処理プログラム | |
| JP2004328117A (ja) | ディジタルカメラおよび撮像制御方法 | |
| JP3980781B2 (ja) | 撮像装置および撮像方法 | |
| JP4317117B2 (ja) | 固体撮像装置および撮像方法 | |
| JP2004023683A (ja) | 固体撮像素子の欠陥補正装置及び方法 | |
| JP4458864B2 (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
| JP2001203969A (ja) | 撮像装置およびその動作制御方法 | |
| JP4279562B2 (ja) | 固体撮像装置の制御方法 | |
| JPH1169226A (ja) | 電子カメラ | |
| JP4732795B2 (ja) | 固体撮像装置および画像補正方法 | |
| JP3738654B2 (ja) | デジタルカメラ | |
| JP4307862B2 (ja) | 信号処理方法、信号処理回路、及び撮像装置 | |
| JP4687619B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2006041867A (ja) | 画像処理方法および画像処理装置並びに撮像装置およびタイミング制御装置 | |
| JP4449692B2 (ja) | 電子カメラ | |
| JP2008219803A (ja) | 画像信号の補正方法及び撮像装置 | |
| JP2003143491A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080502 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080502 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080606 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080611 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100820 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100827 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101022 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110428 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110624 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110826 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110830 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140909 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140909 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |