JP4677300B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、静止画像や動画像を撮像する技術に関するものである。

近年、家庭用ビデオカメラやデジタルスチルカメラなどの撮像機器が一般に普及している。これらの撮像機器には、２次元状に複数個配列された受光素子の出力信号を、複数の垂直転送ＣＣＤ及び１つ以上の水平転送ＣＣＤを用いて順に出力する固体撮像素子を用いたものがある。

上記のような固体撮像素子の画素数は数十万から数百万個もあり、また半導体ウエハには一定の割合である程度の基板欠損が必ず存在する。

従って、固体撮像素子の量産時において１つでも点欠陥があるものを全て不良品として廃棄してしまうと、歩留まりが著しく低下して製造コストを引き上げてしまう。そのため、ある程度の点欠陥があるものでも良品にすることにより歩留まりを向上させ製造コストを抑えている。

このような点欠陥を補正する従来技術として、特許文献１には、固体撮像素子に含まれる欠陥画素の位置及びその出力信号に含まれる欠陥成分レベルのデータを記憶しておき、電荷蓄積時間に応じて欠陥補正を行う画像欠陥補正装置が開示されている。

また垂直転送ＣＣＤの点欠陥は、一般的に、点欠陥が存在する垂直転送ＣＣＤを用いて出力される縦一列の画素の全ての輝度信号を、それぞれが点欠陥を通過する時間に応じた分だけ大きくしてしまう。そのため、縦一列の画素の輝度信号がそれぞれ実際の画像の輝度よりも高輝度を示し、画像上において白縦線として見える。

これらの問題に鑑みて、特許文献２では、製造時に垂直転送ＣＣＤにある欠陥を記憶しておき、撮影時に補正量をリアルタイムに検出して補正を行う方法が提案されている。
特許２５６５２６１号公報 特開２００４−３６４２６６号公報

しかしながらこれらの撮像機器では、画素数が増大するに従い上記の線状欠陥は増える傾向にあるので、欠陥情報を記憶するために必要とするメモリが増大するという問題がある。また、線状欠陥は温度依存性があるので、製造時に欠陥を検出する際に温度管理をする必要があり、製造コストが上昇してしまうという問題がある。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、固体撮像素子の欠陥を低コストに効果的に補正できるようにすることである。

上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、２次元の行列状に配列された複数の画素と、該複数の画素の信号を垂直方向に転送する垂直転送部と、該垂直転送部により転送されてきた信号を水平方向に転送する水平転送部とを有し、前記垂直転送部と前記水平転送部とを駆動することにより信号を読み出す撮像素子と、露光を制御するシャッターと、前記シャッターが閉じた後に前記複数の画素の信号を前記垂直転送部に転送せずに、前記垂直転送部と前記水平転送部とを駆動して１フィールド分の信号を読み出すダミー読み出しと、前記シャッターが閉じた後に前記画素の信号を前記垂直転送部に転送し、前記垂直転送部と前記水平転送部とを駆動して前記複数の画素の信号を複数フィールドに分けて読み出す実読み出しとを行なうように前記撮像素子を駆動する駆動手段と、前記実読み出しにより読み出された各フィールドの信号から前記ダミー読み出しにより読み出された１フィールド分の信号を差し引く補正手段とを具備し、前記撮像素子の露光が終了して前記シャッターを閉じた後、前記駆動手段により前記実読み出しを行なう前に前記ダミー読み出しを行うようにするとともに、前記ダミー読み出しにより読み出される信号を、前記実読み出しにより複数フィールドに分けて読み出される信号をフィールド毎に記憶するための記憶領域の一部に記憶することを特徴とする。

また、本発明に係わる撮像装置の制御方法は、２次元の行列状に配列された複数の画素と、該複数の画素の信号を垂直方向に転送する垂直転送部と、該垂直転送部により転送されてきた信号を水平方向に転送する水平転送部とを有し、前記垂直転送部と前記水平転送部とを駆動することにより信号を読み出す撮像素子を備える撮像装置を制御する方法であって、シャッターが閉じた後に前記複数の画素の信号を前記垂直転送部に転送せずに、前記垂直転送部と前記水平転送部とを駆動して１フィールド分の信号を読み出すダミー読み出しと、シャッターが閉じた後に前記画素の信号を前記垂直転送部に転送し、前記垂直転送部と前記水平転送部とを駆動して前記複数の画素の信号を複数フィールドに分けて読み出す実読み出しとを行なうように前記撮像素子を駆動する駆動ステップと、前記実読み出しにより読み出された各フィールドの信号から前記ダミー読み出しにより読み出された１フィールド分の信号を差し引く補正ステップとを具備し、前記撮像素子の露光が終了して前記シャッターを閉じた後、前記駆動ステップにより前記実読み出しを行なう前に前記ダミー読み出しを行うようにするとともに、前記ダミー読み出しにより読み出される信号を、前記実読み出しにより複数フィールドに分けて読み出される信号をフィールド毎に記憶するための記憶領域の一部に記憶することを特徴とする。

本発明によれば、固体撮像素子の欠陥を低コストに効果的に補正することが可能となる。

以下、本発明の好適な一実施形態について、添付図面を参照して詳細に説明する。

図１は、本発明の一実施形態に係わる撮像装置の構成を示す図である。

図１において、１００は撮像装置である。１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する撮像素子（本実施形態ではＣＣＤ）、１６は撮像素子１４のアナログ出力信号をディジタル信号に変換するＡ／Ｄ変換器である。

１８は撮像素子１４、 Ａ／Ｄ変換器１６、 Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。

２０は画像処理回路であり、 Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。

また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う。この制御は、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理等である。

さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。

Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。

画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。

また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することが出来る。

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。

これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。

また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮・伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は絞り機能を備えるシャッター１２を制御する露光制御部であり、フラッシュ４８と連携することによりフラッシュ調光機能も有するものである。

４２は撮影レンズ１０のフォーカシングを制御する測距制御部、４４は撮影レンズ１０のズーミングを制御するズーム制御部、４６はバリアである保護部１０２の動作を制御するバリア制御部である。

４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う。

５０は撮像装置１００全体を制御するシステム制御回路、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。

５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部である。表示部５４は、撮像装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。

また、表示部５４は、その一部の機能が光学ファインダー１０４内に設置されている。 表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示等がある。また、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付け・時刻表示、等もある。

また、表示部５４の表示内容のうち、光学ファインダー１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。

５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。

６０，６２，６４，６６，６８，７０は、システム制御回路５０の各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作部の具体的な説明を行う。

６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。

６２はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。

６４はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了でＯＮとなり、露光処理、現像処理、記録処理という一連の処理の動作開始を指示する。露光処理とは、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に書き込む処理である。現像処理とは、画像処理回路２０やメモリ制御回路２２での演算を用いて画像データを可視化する処理である。記録処理とは、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００或いは２１０に書き込む処理である。

７０は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタンが含まれる。また、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等も含まれる。

８０は電源制御部で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。そして、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

８２はコネクタ、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池、ＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる電源である。

９０及び９４はメモリカードやハードディスク等の記録媒体とのインタフェース、９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。９８はコネクタ９２及び／或いは９６に記録媒体２００或いは２１０が装着されているか否かを検知する記録媒体着脱検知部である。

なお、本実施形態では記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。

インターフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。

さらに、インタフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成した場合次のことが可能となる。すなわち、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード、等の各種通信カードを接続することができる。これにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。

１０２は、撮像装置１００の撮影レンズ１０を含む撮像部を覆うことにより、撮像部の汚れや破損を防止するバリアである保護部である。

１０４は光学ファインダであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などが設置されている。

１１０は通信部で、ＲＳ２３２Ｃ、ＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。

１１２は通信部１１０により撮像装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

２００はメモリカードやハードディスク等の記録媒体である。

記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、撮像装置１００とのインタフェース２０４、撮像装置１００と接続を行うコネクタ２０６を備えている。

２１０はメモリカードやハードディスク等の記録媒体である。

記録媒体２１０は、半導体メモリや磁気ディスク等から構成される記録部２１２、撮像装置１００とのインタフェース２１４、撮像装置１００と接続を行うコネクタ２１６を備えている。

次に、図２乃至図６を参照して、本実施形態の撮像装置の動作について説明する。

図２及び図３は本実施形態の撮像装置１００の主ルーチンのフローチャートである。

図２及び図３を用いて、撮像装置１００の動作を説明する。

電池交換等の電源投入により、システム制御回路５０はフラグや制御変数等を初期化し（ステップＳ１０１）、画像表示部２８の画像表示をＯＦＦ状態に初期設定する（ステップＳ１０２）。

システム制御回路５０は、モードダイアル６０の設定位置を判断し、モードダイアル６０が電源ＯＦＦに設定されていたならば（ステップＳ１０３）、各表示部の表示を終了状態に変更し、保護部１０２のバリアを閉じて撮像部を保護する。また、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ５６に記録し、電源制御部８０により画像表示部２８を含む撮像装置１００各部の不要な電源を遮断する等の所定の終了処理を行なう（ステップＳ１０５）。その後、ステップＳ１０３に戻る。

モードダイアル６０が撮影モードに設定されていたならば（ステップＳ１０３）、ステップＳ１０６に進む。

モードダイアル６０がその他のモードに設定されていたならば（ステップＳ１０３）、システム制御回路５０は選択されたモードに応じた処理を実行し（ステップＳ１０４）、処理を終えたならばステップＳ１０３に戻る。

システム制御回路５０は、電源制御部８０により電池等により構成される電源８６の残容量や動作情況が撮像装置１００の動作に問題があるか否かを判断する（ステップＳ１０６）。そして、問題があるならば表示部５４を用いて画像や音声により所定の警告表示を行った後に（ステップＳ１０８）、ステップＳ１０３に戻る。

電源８６に問題が無いならば（ステップＳ１０６）、システム制御回路５０は記録媒体２００或いは２１０の動作状態が撮像装置１００の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かを判断する（ステップＳ１０７）。そして、問題があるならば表示部５４を用いて画像や音声により所定の警告表示を行った後に（ステップＳ１０８）、ステップＳ１０３に戻る。

記録媒体２００或いは２１０の動作状態に問題が無いならば（ステップＳ１０７）、表示部５４を用いて画像や音声により撮像装置１００の各種設定状態の表示を行う（ステップＳ１０９）。なお、画像表示部２８の画像表示がＯＮであったならば、画像表示部２８も用いて画像や音声により撮像装置１００の各種設定状態の表示を行う。

システム制御回路５０は、撮像した画像データを逐次表示するスルー表示状態に設定して（ステップＳ１１６）、ステップＳ１１９に進む。

スルー表示状態に於いては、撮像素子１２、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、画像表示メモリ２４に逐次書き込まれたデータを、メモリ制御回路２２、Ｄ／Ａ変換器２６を介して画像表示部２８により逐次表示する。これにより、電子ファインダー機能を実現している。

次に、シャッタースイッチＳＷ１が押されていないならば（ステップＳ１１９）、ステップＳ１０３に戻る。

シャッタースイッチＳＷ１が押されたならば（ステップＳ１１９）、ステップＳ１２２に進む。

システム制御回路５０は、測距処理を行って撮影レンズ１０の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッター時間を決定する（ステップＳ１２２）。測光処理において、必要であればフラッシュの設定も行う。

この測距・測光処理のステップＳ１２２の詳細は図４を用いて後述する。

測距・測光処理のステップＳ１２２を終えたならば、ステップＳ１２５に進む。

シャッタースイッチＳＷ２が押されずに（ステップＳ１２５）、さらにシャッタースイッチＳＷ１も解除されたならば（ステップＳ１２６）、ステップＳ１０３に戻る。

シャッタースイッチＳＷ２が押されたならば（ステップＳ１２５）、ステップＳ１２９に進む。

ステップＳ１２９では、システム制御回路５０は撮影処理を実行する。すなわち、システム制御回路５０は、撮像素子１４、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器から直接メモリ制御回路２２を介して、メモリ３０に撮影した画像データを書き込む露光処理を行なう。またメモリ制御回路２２そして必要に応じて画像処理回路２０を用いて、メモリ３０に書き込まれた画像データを読み出して各種処理を行う現像処理を行なう。

この撮影処理のステップＳ１２９の詳細は図５を用いて後述する。

システム制御回路５０は撮影処理のステップＳ１２９が終わったならば、ステップＳ１３４に進む。

システム制御回路５０は、メモリ３０に書き込まれた撮影画像データを読み出して、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて各種画像処理を、また、圧縮・伸長回路３２を用いて設定したモードに応じた画像圧縮処理を行なう。その後、記録媒体２００或いは２１０へ画像データの書き込みを行う記録処理を実行する（ステップＳ１３４）。

この記録処理のステップＳ１３４の詳細は図６を用いて後述する。

次に、システム制御回路５０は、シャッタースイッチＳＷ２が押されているかを判断し（ステップＳ１３５）、押されていればステップＳ１３６に進み、押されていなければシステム制御回路５０は一連の撮影動作を終えてステップＳ１０３に戻る。

シャッタースイッチＳＷ２が押されていたならば（ステップＳ１３５）、連写モードが設定されているか否かを判断する。連写モードが設定されていた場合（ステップＳ１３６）には、ステップＳ１２９に戻り、再び撮影を行なう（ステップＳ１２９）。連写モードが設定されていなかった場合には、ステップＳ１３５に戻り、シャッタースイッチＳＷ２がＯＦＦにされるまで待機し、ＯＦＦされた後に、一連の撮影動作を終えてステップＳ１０３に戻る。

図４は、図３のステップＳ１２２における測距・測光処理の詳細なフローチャートである。

システム制御回路５０は、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６を介して画像処理回路２０に撮影画像データを逐次読み込む（ステップＳ２０１）。この逐次読み込まれた画像データを用いて、画像処理回路２０はＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理、ＡＦ（オートフォーカス）処理に用いる所定の演算を行っている。

なお、ここでの各処理は、撮影した全画素数のうちの必要に応じた特定の部分を必要個所分切り取って抽出し、演算に用いている。これにより、ＴＴＬ方式のＡＥ、ＥＦ、ＡＷＢ、ＡＦの各処理において、中央重点モード、平均モード、評価モードの各モード等の異なるモード毎に最適な演算を行うことが可能となる。

画像処理回路２０での演算結果を用いて、システム制御回路５０は露出（ＡＥ）が適正と判断されるまで（ステップＳ２０２）、露光制御部４０を用いてＡＥ制御を行う（ステップＳ２０３）。

ＡＥ制御で得られた測定データを用いて、システム制御回路５０はフラッシュ（ＥＦ）が必要か否かを判断し（ステップＳ２０４）、フラッシュが必要ならばフラッシュフラグをセットし、フラッシュ４８を充電する（ステップＳ２０５）。

露出（ＡＥ）が適正と判断したならば（ステップＳ２０２）、測定データ及び／或いは設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶する。

画像処理回路２０での演算結果及びＡＥ制御で得られた測定データを用いて、システム制御回路５０はホワイトバランス（ＷＢ）が適正と判断されるまで（ステップＳ２０６）、画像処理回路２０を用いてＡＷＢ制御を行う（ステップＳ２０７）。

ホワイトバランス（ＡＷＢ）が適正と判断したならば（ステップＳ２０６）、測定データ及び／或いは設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶する。

ＡＥ制御及びＡＷＢ（オートホワイトバランス）制御で得られた測定データを用いて、システム制御回路５０は測距（ＡＦ）が合焦と判断されるまで（ステップＳ２０８）、測距制御部４２を用いてＡＦ（オートフォーカス）制御を行う（ステップＳ２０９）。

測距（ＡＦ）が合焦と判断したならば（ステップＳ２０８）、測定データ及び／或いは設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶し、測距・測光処理ルーチンＳ１２２を終了する。

図５は、図３のステップＳ１２９における撮影処理の詳細なフローチャートである。

システム制御回路５０は、システム制御回路５０の内部メモリ或いはメモリ５２に記憶される測光データに従い、露光制御部４０によって、絞り機能を有するシャッター１２を絞り値に応じて開放して撮像素子１０を露光する。これは、ステップＳ３０１、ステップＳ３０２において行なわれる。

フラッシュ・フラグによりフラッシュ４８が必要か否かを判断し（ステップＳ３０３）、必要な場合はフラッシュ（ＥＦ）を発光させる（ステップＳ３０４）。

システム制御回路５０は、測光データに従って撮像素子１２の露光終了を待ち（ステップＳ３０５）、シャッター１２を閉じる（ステップＳ３０６）。ここでシャッター速度（Ｔｖ）が所定速度αより速いかを判断する（ステップＳ３０７）。また、撮像素子１４の温度（Ｔｅｍｐ）が所定温度βより低いかを判断する（ステップＳ３０８）。そして、Ｔｖ＞α且つＴｅｍｐ＜βを満たしていれば、ステップＳ３１０のダミー画像読出しに進み、線状欠陥補正を行う。ステップＳ３０７とステップＳ３０８の条件が満たされていないときには、線状欠陥だけでなく画素自体の固定パターンノイズ（暗電流ノイズ）が目立つようになるので、ステップＳ３２０に進み黒引き処理を行うことになる。

なお、シャッター速度の所定速度αについては、固定パターンノイズが目立つようになるシャッター速度として、所定速度αを例えば２秒とする。また、撮像素子温度の所定温度βについては、固定パターンノイズが目立つようになる撮像素子温度として、所定温度βを例えば５０℃とする。また、シャッター速度や撮像素子温度の変化と画素自体の固定パターンノイズの関係から、固定パターンノイズが目立つようになる限界を求めて、所定速度α及び所定温度βを決定して、予め記憶しておくようにしてもよい。

ここで黒引き処理とは、撮像素子１４の本撮影画像の露光時間と同じ時間だけシャッター１２を閉じた状態で電荷の蓄積を行ない、この蓄積の結果得られた暗電流成分を本撮影画像の信号から差し引く処理である。この処理を行なうことにより、本撮影画像の信号から暗電流成分が除去され、暗電流による固定パターンノイズを低減させることができる。

また、この黒引き処理を行なうと、詳細は後述するが、線状欠陥の信号成分も本撮影画像の信号から差し引かれるので、線状欠陥補正を行なう必要はない。

ステップＳ３１０からは線状欠陥補正の処理に入る。

まず、線状欠陥補正処理の説明の前に、本実施形態に用いられる撮像素子であるＣＣＤの構造について説明しておく。

図１０は、本実施形態に用いられる撮像素子１４の構成を示す図である。

図１０に示すように、撮像素子１４（ＣＣＤ）は、２次元の行列状に多数の画素１４ａが並んで配置され、それらの画素１４ａの列の間に垂直転送ＣＣＤ１４ｂが配置されて構成されている。これらの画素の配置は、Ｒ（赤）の画素とＧ（緑）の画素が並んだ行と、Ｇ（緑）の画素とＢ（青）の画素が並んだ行とが上下方向に交互に並んだいわゆるベイヤ配列であるものとする。本実施形態では、このような配置の画素からの画像信号の読み出しを、３フィールド読み出しにより行なう。３フィールド読み出しでは、最初の第１フィールドにおいて、１行目、４行目、７行目、…の画素の信号を垂直転送ＣＣＤ１４ｂに転送して読み出し、次の第２フィールドにおいて、２行目、５行目、８行目、…の画素の信号を同様に読み出す。さらに第３フィールドにおいて、３行目、６行目、９行目、…の画素の信号を読み出す。なお、垂直転送ＣＣＤ１４ｂに転送された信号電荷は、垂直転送ＣＣＤ１４ｂにより垂直方向に転送され、その後水平転送ＣＣＤ１４ｃにより後段のアンプに送られる。

このような読み出し方をするのは、近年の撮像素子では画素数が極めて多く、画素同士が近接しているため、全画素の信号を一括して垂直転送ＣＣＤ１４ｂに転送すると、垂直転送ＣＣＤ１４ｂ内で上下の隣り合う画素の信号が混色を起こしてしまうからである。また、３行毎に読み出すのは、同じフィールドにおいて、例えば１行目と４行目の画素の信号を読み出せば、同じフィールド内で、Ｒ、Ｇ、Ｂの３色の信号が揃うからである。

また、線状欠陥補正処理について簡単に説明しておく。撮像素子であるＣＣＤにおいては、垂直転送ＣＣＤに点欠陥があると、一般的に、点欠陥が存在する垂直転送ＣＣＤを用いて出力される縦一列の画素の全ての輝度信号を、それぞれが点欠陥を通過する時間に応じた分だけ大きくしてしまう。そのため、縦一列の画素の輝度信号がそれぞれ実際の画像の輝度よりも高輝度を示し、画像上において白縦線と見える。これを線状欠陥と呼ぶ。そこで、本実施形態では、撮像素子１４で被写体像を撮像した後に、まず、撮像した画像信号を各画素１４ａから垂直転送ＣＣＤ１４ｂに転送しない状態で、垂直転送ＣＣＤ１４ｂを駆動し、撮影画像信号のない状態で空転送を行なう。この空転送により、垂直転送ＣＣＤ１４ｂの点欠陥に起因する線状欠陥信号のみが読み出される。これをダミーフィールドと呼ぶことにする。そして、この線状欠陥信号（ダミーフィールド）を、ダミーフィールドの読み出し後に各画素１４ａから垂直転送ＣＣＤ１４ｂを介して読み出された画像信号から差し引く。これにより、線状欠陥信号が差し引かれて欠陥が除去された画像信号を得ることができる。

このような前提のもとに以下の説明を行なう。

ステップＳ３１０で線状欠陥補正の処理に入ると以下の動作が行なわれる。

まず、最初に撮像素子１４からダミーフィールド画像を読み出し、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６から直接メモリ制御回路２２を介して、メモリ３０に書き込む（ステップＳ３１０）。このときダミーフィールド画像を書き込むメモリ３０は、図７のように３フィールド読み出しの撮像素子１４に対応して３フィールドで構成されており、その最後に読み出される第３フィールドのメモリ領域にダミー画像を書き込む(ステップＳ３１０)。ダミー画像のサイズは本撮影画像の１フィールド分の画像サイズと同じサイズで取り込まれる。

次に、図１０に示したように、第１フィールドに対応する画素１４ａの画像信号を垂直転送ＣＣＤ１４ｂに転送し、垂直転送ＣＣＤ１４ｂを駆動して本撮影画像の第１フィールドの画像信号を読み出す。同様に、第２フィールド、第３フィールドについても各フィールドに対応する画素の画像信号を順に読み出していく（ステップＳ３１１）。その本撮影画像を撮像素子１４から読み出す際に、ステップＳ３１０で取り込んだダミー画像をメモリ３０から読み出しながら各フィールド毎に本撮影画像から減算し、メモリ３０に線状欠陥補正された各フィールドの画像を書き込んでいく（ステップＳ３１２）。このとき、減算後の線状欠陥補正された本撮影画像の各フィールドは、図７に示すようにメモリ３０の各フィールドに対応する領域に書き込まれる。なお、図７における「第１フィールド・１ライン」という領域は、図１０に示した撮像素子の１行目の画素の画像信号が書き込まれる領域である。また、「第１フィールド・２ライン」という領域は、図１０に示した撮像素子の４行目の画素の画像信号が書き込まれる領域である。以下同様に、撮像素子の各フィールドの各行の画素の画像信号が、メモリ３０の対応する領域に書き込まれる。

なお、最後のフィールド（第３フィールド）の撮像素子１４からの読み出し時には、メモリ３０上の第３フィールドの画像信号が書き込まれるべき領域にダミーフィールド画像が存在している。しかし、第３フィールドについては、ダミーフィールド画像をメモリ３０から読み出しながら、それを撮像素子１４から読み出される第３フィールドの画像信号から減算しつつ、減算結果をメモリ３０のダミーフィールドが記憶されている領域に上書きする。そのため、メモリ３０の第３フィールドに対応する領域にダミーフィールド画像が予め書き込まれていても問題はないし、また、メモリ上で上書きされるためダミーフィールド用に余分なメモリを確保する必要が無い。

なお、線状欠陥補正については、後に図８、図９を用いてさらに詳しく説明する。

黒引きを行う場合のステップＳ３２０以降の処理では、まず通常画像を読み出す（ステップＳ３２０）。その後、直前の撮影の時と同じ露光時間で蓄積した黒画像を読み出す必要があるので、シャッターを閉じたまま露光を開始して（ステップＳ３２１）、露光時間の終了を待ち（ステップＳ３２２）、黒画像を撮像素子１４から順次読み出す（ステップＳ３２３）。読み出された黒画像は既にステップＳ３２０で読み出されてメモリ３０に記憶されている本撮影画像をメモリから読み出しながら、ステップＳ３２３で読み出した画像を差し引いて（ステップＳ３２４）メモリ３０に書き戻す。

メモリ３０上に撮影された画像が揃ったならば、設定された撮影モードに応じて、現像処理（ステップＳ３３０）を順次行った後、メモリ３０に処理を終えた画像データを書き込む。

一連の処理を終えたならば、撮影処理ルーチンＳ１２９を終了する。

図６は、図３のステップＳ１３４における記録処理の詳細なフローチャートである。

システム制御回路５０は、メモリ制御回路２２を用いて、メモリ３０に書き込まれた画像データを読み出して、設定したモードに応じた画像圧縮処理を圧縮・伸長回路３２により行う（ステップＳ４０２）。その後、インタフェース９０或いは９４、コネクタ９２或いは９６を介して、メモリカードやコンパクトフラッシュ（登録商標）カード等の記録媒体２００或いは２１０へ圧縮した画像データの書き込みを行う（ステップＳ４０３）。

記録媒体への書き込みが終わったならば、記録処理ルーチンＳ１３４を終了する。

図８は、図５のステップＳ３１０〜ステップＳ３１２までの線状欠陥補正に関するタイミングチャートである。

ＶＤは垂直同期信号を示し、露光の期間では読み出しパルスが出た後に電子シャッターを出力して撮像素子１４内の蓄積電荷をクリアし、本露光を開始する。その後、シャッター速度に応じてシャッター閉じのパルスを出力してシャッターを閉じることで、撮像素子１４への露光を終了させる。

その後、通常であれば第１フィールドの読み出しパルスを出力して、第１フィールドの映像信号を読み出すところであるが、本実施形態では、まず線状欠陥を補正するためのダミーフィールド画像を読み出す。ダミーフィールド画像の読み出しでは、各画素１４ａの信号を垂直転送ＣＣＤ１４ｂに転送するパルスを出力せずに垂直転送ＣＣＤ１４ｂを駆動して、撮像素子１４内で画素情報の無い空転送画像を読み出す。線状欠陥は画素１４ａの電荷が無くとも垂直転送ＣＣＤ１４ｂを通過するだけで発生するので線状欠陥を補正する画像として使用することができる。

ダミーフィールド画像をメモリ３０に取り込んだ後、第１フィールドの画素１４ａの画像信号を垂直転送ＣＣＤ１４ｂに転送するパルスを出力して、第１フィールド画像を読み出す。この読み出す際に、予めメモリ３０に記憶されているダミーフィールド画像を読み出しながら、読み出された第１フィールド画像と減算処理を行い、減算結果を第１フィールド画像用のメモリ領域（図７参照）に書き込む。同様の処理を第２フィールドにも行い、第３フィールドにも同様の処理を行う。第３フィールドの処理では、ダミー画像は第３フィールド画像用のメモリ領域に記憶されているので、減算を行うためにダミー画像を読み出したメモリ領域には減算処理結果を書き戻すことになる。そのため、ダミー画像が記憶されていたメモリ領域には減算処理された第３フィールドの画像が上書きされるので、全フィールドの画像が読み出された後には、ダミー画像はメモリ上に残っていない。

このようにして、線状欠陥の画像補正を行う。

図９は線状欠陥補正前後の画像を説明した図である。

図９（ａ）は線状欠陥未補正の画像である。垂直転送ＣＣＤ上に欠陥が生じているので、そこを通過してる画素には白縦筋が発生してしまう。

図９（ｂ）の左側の図は、線状欠陥未補正画像を各読み出しフィールド毎に分解した画像を示している。各フィールド毎の画像は行（ライン）単位で順番に読み出されることになるので、それぞれの画像の垂直方向サイズは、最終的な画像サイズに対して（１／フィールド数）の垂直サイズになる。具体的には、本実施形態では３フィールド読み出しを行なうので、各フィールドでは３行（３ライン）おきの画像が読み出されるので、フィールドごとに分解された画像の垂直方向のサイズは、最終的な画像の垂直方向のサイズの１／３となる。

図９（ｂ）の中央の図は、ダミーフィールドを読み出した画像である。ダミーフィールドでは画素信号の垂直転送ＣＣＤへの転送パルスを出力していないため、画像としては黒画像になる。しかし画素の情報は無くとも、垂直転送ＣＣＤ上を転送しているので、線状欠陥である白縦筋が発生する。この白縦筋の信号レベルが各フィールドの画像を読み出したときの白縦筋と同じレベルになるので、このダミー画像を減算することで線状欠陥補正を行うことができる。そして線状欠陥は垂直転送ＣＣＤ上で発生するため、各フィールドでの線状欠陥レベルは等しいので、ダミー画像は１フィールド分の画像で各フィールドの画像に対して減算を行うことができる。

図９（ｂ）の右側の図は、線状欠陥補正を施した後の画像を示す。線状欠陥補正を施した後の画像では、白縦筋が除去されている。

なお、上記の説明では、撮像素子１４の画像信号を３フィールドに分けて読み出す場合について説明したが、本発明はこれに限定されることなく、３フィールド以外の任意の数のフィールドに分けて読み出す場合にも適用可能である。また、複数フィールドに分けずに、全画素を一括して読み出す場合にも適用可能である。

以上説明したように、各フィールド毎の画像からダミー画像を減算することで線状欠陥補正を行うことができるので、撮影画像の画質の向上を図ることができる。

また、ダミー画像が１フィールド分で済むことになるので、通常の黒引きを行うより撮影処理に要する時間を短縮することができる。

さらに、ダミー画像を事前に読み出し、第３フィールド画像用のメモリに記憶しておくため、余分なメモリを確保する必要が無く、撮影に用いるメモリ容量を低減することができる。

また、白縦線を目立たなくすることにより、従来よりも製造時に良品とする垂直転送ＣＣＤの点欠陥の数を増やして良品の基準を下げることができるので、撮像素子の歩留まりを向上させ製造コストを抑えることができる。

本発明の一実施形態に係わる撮像装置の構成を示す図である。 撮像装置の主ルーチンのフローチャートの一部を示す図である。 撮像装置の主ルーチンのフローチャートの一部を示す図である。 撮像装置の測距・測光ルーチンのフローチャートである。 撮像装置の撮影ルーチンのフローチャートである。 撮像装置の記録ルーチンのフローチャートである 一実施形態におけるメモリの配置を示す図である。 撮像装置の撮影タイミングチャートである。 一実施形態における補正方法を適用する前後の画像を示す図である。 一実施形態に用いられるＣＣＤの構造を示す図である。

符号の説明

１０ 撮影レンズ
１２ シャッター
１４ 撮像素子
１４ａ 画素
１４ｂ 垂直転送ＣＣＤ
１４ｃ 水平転送ＣＣＤ
１６ Ａ／Ｄ変換器
１８ タイミング発生回路
２０ 画像処理回路
２２ メモリ制御回路
２４ 画像表示メモリ
２６ Ｄ／Ａ変換器
２８ 画像表示部
３０ メモリ
３２ 画像圧縮・伸長回路
４０ 露光制御部
４２ 測距制御部
４４ ズーム制御部
４６ バリア制御部
４８ フラッシュ
５０ システム制御回路
５２ メモリ
５４ 表示部
５６ 不揮発性メモリ
６０ モードダイアルスイッチ
６２ シャッタースイッチＳＷ１
６４ シャッタースイッチＳＷ２
７０ 操作部
８０ 電源制御部
８２ コネクタ
８４ コネクタ
８６ 電源
９０ インタフェース
９２ コネクタ
９４ インタフェース
９６ コネクタ
９８ 記録媒体着脱検知部
１００ 撮像装置
１０２ 保護部
１０４ 光学ファインダ
１１０ 通信部
１１２ コネクタ（またはアンテナ）
２００ 記録媒体
２０２ 記録部
２０４ インタフェース
２０６ コネクタ
２１０ 記録媒体
２１２ 記録部
２１４ インタフェース
２１６ コネクタ

Claims (6)

1. ２次元の行列状に配列された複数の画素と、該複数の画素の信号を垂直方向に転送する垂直転送部と、該垂直転送部により転送されてきた信号を水平方向に転送する水平転送部とを有し、前記垂直転送部と前記水平転送部とを駆動することにより信号を読み出す撮像素子と、
   露光を制御するシャッターと、
   前記シャッターが閉じた後に前記複数の画素の信号を前記垂直転送部に転送せずに、前記垂直転送部と前記水平転送部とを駆動して１フィールド分の信号を読み出すダミー読み出しと、前記シャッターが閉じた後に前記画素の信号を前記垂直転送部に転送し、前記垂直転送部と前記水平転送部とを駆動して前記複数の画素の信号を複数フィールドに分けて読み出す実読み出しとを行なうように前記撮像素子を駆動する駆動手段と、
   前記実読み出しにより読み出された各フィールドの信号から前記ダミー読み出しにより読み出された１フィールド分の信号を差し引く補正手段とを具備し、
   前記撮像素子の露光が終了して前記シャッターを閉じた後、前記駆動手段により前記実読み出しを行なう前に前記ダミー読み出しを行うようにするとともに、前記ダミー読み出しにより読み出される信号を、前記実読み出しにより複数フィールドに分けて読み出される信号をフィールド毎に記憶するための記憶領域の一部に記憶することを特徴とする撮像装置。
2. 前記駆動手段は、前記ダミー読み出しにおいて、前記駆動手段が前記実読み出しで読み出す１つのフィールドの画像サイズと同じサイズの信号を読み出すように、前記撮像素子を駆動することを特徴とする請求項１に記載の撮像装置。
3. 前記ダミー読み出しで読み出される信号を、前記実読み出しで前記複数フィールドの最後に読み出されるフィールドの信号が記憶される記憶領域に記憶することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記実読み出しで前記複数フィールドのうちの最後に読み出されるフィールドの信号から前記ダミー読み出しで読み出される信号を差し引いた信号は、前記ダミー読み出しで読み出される信号が記憶されている記憶領域に上書きすることを特徴とする請求項３に記載の撮像装置。
5. 撮影時のシャッター速度が所定速度よりも高速で且つ、撮影時の前記撮像素子の温度が所定温度よりも低温の場合に、前記駆動手段が前記ダミー読み出しを行なうことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. ２次元の行列状に配列された複数の画素と、該複数の画素の信号を垂直方向に転送する垂直転送部と、該垂直転送部により転送されてきた信号を水平方向に転送する水平転送部とを有し、前記垂直転送部と前記水平転送部とを駆動することにより信号を読み出す撮像素子を備える撮像装置を制御する方法であって、
   シャッターが閉じた後に前記複数の画素の信号を前記垂直転送部に転送せずに、前記垂直転送部と前記水平転送部とを駆動して１フィールド分の信号を読み出すダミー読み出しと、シャッターが閉じた後に前記画素の信号を前記垂直転送部に転送し、前記垂直転送部と前記水平転送部とを駆動して前記複数の画素の信号を複数フィールドに分けて読み出す実読み出しとを行なうように前記撮像素子を駆動する駆動ステップと、
   前記実読み出しにより読み出された各フィールドの信号から前記ダミー読み出しにより読み出された１フィールド分の信号を差し引く補正ステップとを具備し、
   前記撮像素子の露光が終了して前記シャッターを閉じた後、前記駆動ステップにより前記実読み出しを行なう前に前記ダミー読み出しを行うようにするとともに、前記ダミー読み出しにより読み出される信号を、前記実読み出しにより複数フィールドに分けて読み出される信号をフィールド毎に記憶するための記憶領域の一部に記憶することを特徴とする撮像装置の制御方法。

Images