JP4646394B2

JP4646394B2 - 撮像装置

Info

Publication number: JP4646394B2
Application number: JP2000382445A
Authority: JP
Inventors: 英明吉田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2000-12-15
Filing date: 2000-12-15
Publication date: 2011-03-09
Anticipated expiration: 2020-12-15
Also published as: JP2002185861A

Description

【０００１】
【発明の属する技術分野】
本発明は、画素加算により感度の向上をはかった撮像装置に係わり、特に欠陥補償機能を備えた撮像装置に関する。
【０００２】
【従来の技術】
近年、ＣＣＤ等の撮像素子により被写体像を撮像して映像信号を得るデジタルスチルカメラ（電子カメラ）が盛んに開発されている。この種の電子カメラに用いられる撮像装置において、画素欠陥の補償及び画素加算読み出しはそれぞれ公知である。即ち、前者によって欠陥のある撮像素子でも実用に供されることが可能となり、市場に提供可能なコストが実現されている。また、後者によってＳＮ比やダイナミックレンジの向上を図ることができる。
【０００３】
このとき、例えば２行２列の４画素加算読み出しによって１つの画素（これを複画素と称する、これに対して原画素を単位画素と称する）を得る場合、複画素中に１画素でも欠陥画素が含まれていた場合はこの複画素は欠陥画素となる。このため、従来の欠陥補償技術を適用したとすると、この欠陥複画素に対して隣接する複画素の情報をもって充当（代用）することになる。
【０００４】
【発明が解決しようとする課題】
上記の例では、欠陥複画素の中にも、単位画素では欠陥でない有効な画素が含まれているにも拘わらず、加算読み出しによって欠陥画素情報と混合されるためにこれらの画素情報は無効となる。そして、欠陥複画素に対する補正は、欠陥単位画素に最も近い隣接単位画素ではなく、より遠い隣接複画素情報によって行われる。従って、解像度の劣化が大きいものであった。
【０００５】
なお、この課題に対し、画素信号加算読み出し方式として撮像素子からの信号読み出し部、即ちサンプルホールド回路を利用した画素信号加算を用いる場合に関しては、欠陥画素が含まれる部分だけを通常の加算動作と異なるサンプルホールド処理をすることで、有効な単位画素に相当する情報を得ることができるようにして、解像度劣化を防ぐようにした技術が提案されている。（特開平１１−１２２５３８号公報）
しかしながら、この種の方式にあっても次のような問題があった。即ち、技術的に高度な要素を含むデリケートなハード回路であり、基本性能の安定確保が困難な場合もあるサンプルホールド回路に、更に特殊な切り換え動作を必要とするため、性能の確保が極めて困難になる可能性がある。
【０００６】
本発明は、上記事情を考慮して成されたもので、その目的とするところは、複雑な負担の大きいハード回路を要することなく、また有効画素の情報を無駄無く利用し、従ってＳＮの劣化を最小限にとどめつつ解像度の劣化を事実上生じない効果的な欠陥補正が可能な撮像装置を提供することにある。
【０００７】
【課題を解決するための手段】
（構成）
上記課題を解決するために本発明は次のような構成を採用している。
【０００８】
即ち本発明は、画素加算により感度の向上をはかった撮像装置において、被写体を撮像する撮像素子と、この撮像素子を駆動する駆動手段と、前記駆動手段を用いて前記撮像素子の光電変換単位の画素である単位画素の画素情報を垂直方向に複数個加算しつつ読み出すライン加算読み出しが可能な読み出し手段と、前記単位画素に関する画素欠陥情報である単位画素欠陥情報を記憶する記憶手段と、前記読み出し手段を制御して、前記記憶手段に記憶された欠陥情報を基に、前記撮像素子の画面内部に含まれる各ラインに関して、当該加算対象の複数ラインに欠陥画素が含まれていない場合にはライン加算読み出しを適用し、欠陥画素が含まれている場合には非加算読み出しを適用する撮像制御手段とを有したことを特徴とする。
【０００９】
ここで、非加算読み出しを適用したラインに関しては、欠陥画素の欠陥補償処理を施した後に外部演算手段により垂直方向の画素情報加算を行うことが望ましい。さらに、外部演算手段は、デジタル演算手段であることが望ましい。
【００１１】
また、外部演算手段は、デジタル演算手段であることが望ましい。
【００１２】
（作用）
本発明によれば、加算対象の複数ラインに欠陥画素が含まれていない場合にはライン加算読み出しを適用し、欠陥画素が含まれている場合には非加算読み出しを適用し、欠陥画素があるラインは非加算読み出しとして、外部で欠陥データを補償した後に加算する。これにより、複画素内の有効画素データが有効利用されるため、事実上解像度が低下しない。
【００１４】
【発明の実施の形態】
以下、本発明の詳細を図示の実施形態によって説明する。
【００１５】
（第１の実施形態）
図１は、本発明の第１の実施形態に係わる電子カメラの概略構成を示すブロック図である。
【００１６】
図中１０１は各種レンズからなるレンズ系、１０２はレンズ系１０１を駆動するためのレンズ駆動機構、１０３はレンズ系１０１の絞りを制御するための露出制御機構、１０４はローパス及び赤外カット用のフィルタ、１０５は色フィルタを内蔵したＣＣＤカラー撮像素子、１０６は撮像素子１０５を駆動するためのＣＣＤドライバ、１０７はＡ／Ｄ変換器等を含むプリプロセス回路、１０８は色信号生成処理，マトリックス変換処理，その他各種のデジタル処理を行うためのデジタルプロセス回路、１０９はカードインターフェース、１１０はＣＦ等のメモリカード、１１１はＬＣＤ画像表示系を示している。
【００１７】
また、図中の１１２は各部を統括的に制御するためのシステムコントローラ（ＣＰＵ）、１１３は各種ＳＷからなる操作スイッチ系、１１４は操作状態及びモード状態等を表示するための操作表示系、１１５はレンズ駆動機構１０２を制御するためのレンズドライバ、１１６は発光手段としてのストロボ、１１７は露出制御機構及びストロボ１１６を制御するための露出制御ドライバ、１１８は各種設定情報等を記憶するための不揮発性メモリ（ＥＥＰＲＯＭ）を示している。
【００１８】
本実施形態の電子カメラにおいては、システムコントローラ１１２が全ての制御を統括的に行っており、ＣＣＤドライバ１０６によるＣＣＤ撮像素子１０５の駆動を制御して露光（電荷蓄積）及び信号の読み出しを行い、それをプリプロセス回路１０７を介してデジタルプロセス回路１０８に取込んで、各種信号処理を施した後にカードインターフェース１０９を介してメモリカード１１０に記録するようになっている。
【００１９】
図２は、ＣＣＤ撮像素子１０５の素子構造を示す平面図である。受光素子としてフォトダイオード２０１がマトリクス配置され、フォトダイオード２０１間に縦列方向に複数本の垂直ＣＣＤ２０２が配置され、垂直ＣＣＤ２０２の端部に横列方向に１本の水平ＣＣＤ２０３が配置されている。そして、フォトダイオード２０１に蓄積された信号電荷は電荷移送パルスＴＧにより垂直ＣＣＤ２０２に読み出され、垂直ＣＣＤ２０２内を紙面下方向に転送される。垂直ＣＣＤ２０２を転送した信号電荷は水平ＣＣＤ２０３に移送され、この水平ＣＣＤ２０３を紙面左方向に転送され、最終的に読み出しアンプであるＦＤＡ（フローティングディフュージョンアンプ）２０４を介して出力されるようになっている。
【００２０】
ここまでの基本構成は従来装置と同様であるが、本実施形態ではこれに加え、ＣＣＤ１０５に対して単位画素の画素情報を垂直方向に複数個加算しつつ読み出す加算読み出し手段と、単位画素欠陥情報を記憶する記憶手段と、画素情報の補正を行うための画素情報補正手段が設けられている。なお、撮像素子１０５における垂直方向の加算読み出しはシステムコントローラ１１２の制御下にＣＣＤドライバ１０６によって行われ、水平方向の加算及び補正処理はシステムコントローラ１１２の制御下にデジタルプロセス回路１０８内で行われるようになっている。
【００２１】
本実施形態で用いる撮像素子１０５は、順次走査（プログレシブスキャニング）型とし、縦横の画素ピッチが等しい（値をｐとする）正方画素タイプであるとする。そして、この撮像素子１０５の各画素（単位画素）は、基本的には垂直方向の２画素が撮像素子内で加算されて読み出され、水平方向の２画素は撮像素子内又は外部回路により加算される。その結果、図３に示すように２×２の４画素が最小単位として出力されることになる。このように実質的な画像情報の最小単位が、撮像素子１０２の複数の画素（単位画素）から構成されている時に、これを複画素と名付ける。
【００２２】
次に、本実施形態における画素加算信号読み出し及び欠陥補正の動作について説明する。
【００２３】
読み出しは、公知の垂直２画素加算（Ｈブランキング間に２単位の垂直転送パルス出力）をベースにした選択的ライン加算読み出しである。即ち、単位画素に関する欠陥画素のアドレス情報に基づいて、以下のように垂直駆動を行う。
【００２４】
加算対象の複数ライン（次及びその次の２ライン）に欠陥画素が存在しない場合、図４（ａ）に示すように、毎回の水平ブランキング期間に２画素（２行）分のＶ転送クロックを出力する。これにより、通常の垂直２画素加算動作が行われ、第１次複画素が得られる。
【００２５】
加算対象の複数ライン（次及びその次の２ライン）に欠陥画素が存在する場合、図４（ｂ）に示すように、次及びその次の２回の水平ブランキング期間に各１単位ずつの垂直駆動パルスを出力する。これにより非加算動作が行われ、加算すべき画素も独立に読み出される。従ってこの場合、欠陥が存在するライン数によって、読み出される時点でのライン数は変化する。
【００２６】
次いで、非加算で読み出された（従って単位画素の）画素データに関しては、外部回路により垂直２画素のデジタル加算を行う。これに先立って、欠陥画素に関しては欠陥補償処理を行う。その際、同一の複画素に属する他の非欠陥画素データ（欠陥が当該１画素だけの場合は他の３画素）の平均値で充当する。これによって、全てのデータが垂直２画素加算された画素（第１次複画素）となる。そして、第１次複画素に対して外部回路により水平２画素のデジタル加算処理を行うことで、最終的な４画素加算情報（第２次複画素情報）を得る。この場合、本来４画素の加算値となるべきこの複画素の値は、欠陥画素を除いた有効３画素の合計値の４／３倍として求められたことになる。
【００２７】
以上の処理をまとめたフローチャートを、図５に示す。まず、加算対象の２ラインに欠陥画素が含まれているか否かを判定し、欠陥画素が含まれている場合は、非加算読み出しを行う。そして、欠陥画素に対して欠陥補償処理を行った後、外部回路により垂直２画素デジタル加算を行い、第１次複画素を生成する。一方、加算対象の２ラインに欠陥画素が含まれていない場合は、通常の２ライン加算読み出しを行って第１次複画素を生成する。そして、第１次複画素を用いて水平２画素デジタル加算を行うことにより、４つの単位画素を加算した複画素を生成する。
【００２８】
なお、同一（最終）複画素内の４画素が全て欠陥画素の場合や、隣接画素が全て欠陥画素の場合など、当該処理の実行が不可能な場合は、この最終複画素を欠陥複画素と見なして、改めて最終複画素単位で従来の欠陥補償処理を適用する。
【００２９】
また、上記では欠陥情報の取得については触れていないが、公知の任意の手法を用いることができる。例えば、事前に製造工程で調べたデータ（温度や露光時間依存も含む）をメモリに記憶しておいたものを、使用時の温度や露光時間を参照して用いても良い。特に、黒欠陥はこの方法が望ましい。また、撮影直前に例えば使用予定露光時間で遮光状態でテスト撮像して求めたデータを利用しても良い。特に、白欠陥はこの方法が優れている。なお、各欠陥として登録されるデータはそれぞれその該当する画素個々のアドレスデータであることは言うまでも無い。
【００３０】
このように本実施形態によれば、ＣＣＤ撮像素子に対し、基本的には２ライン加算読み出しを行い、加算対象のラインに欠陥画素が含まれる場合には非加算読み出しを行い、非加算読み出しによる画像情報に対しては外部で欠陥データを補償した後に加算する。即ち、加算読み出し後の複画素単位でデータ補償を行うのではなく、欠陥画素があるラインは非加算読み出しとし、外部で欠陥データを補償した後に加算する。これにより、複画素内の有効データが有効に利用されるため、解像度の低下を抑制することができる。また、サンプルホールド回路に特殊な切り換え動作を持たせる等の複雑なハード構成を要することなく、簡易な回路構成で実現することができる。
【００３１】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。装置構成は前記図１に示すものと同様であり、最終的に４画素加算した複画素を得る点も同じである。
【００３２】
図６は、本実施形態における動作を説明するためのフローチャートである。まず、ＣＣＤ撮像素子に対して、公知の垂直２画素加算（Ｈブランキング間に２単位の垂直転送パルス出力）読み出しを使用する。従って、読み出された情報は全て垂直２画素加算された画素（第１次複画素）である。
【００３３】
次いで、外部回路により水平２画素加算処理（デジタル演算）を行うが、この水平２加算処理に先立ち欠陥補償処理を行う。読み出された第１次複画素に対し欠陥画素を含むか否かの判定を行い、欠陥画素を含む場合は次のような欠陥補償処理を行う。即ち、第１次複画素のうち、欠陥画素を含むものについては近隣の欠陥画素を含まない第１次複画素で充当する。この場合、同一の最終（第２次）複画素に属するものが有ればこれを優先して採用し、無ければ同一複画素に限らず隣接するものを採用する。なお、当初から同一複画素に限らず隣接するもの（複数個ある場合は平均値）を採用しても良い。
【００３４】
次いで、上記のように欠陥画素がある場合は欠陥補償処理を行った後、欠陥画素がない場合はそのまま、水平２画素デジタル加算を行って第２次複画素を生成する。
【００３５】
このように本実施形態によれば、垂直加算後の水平加算を外部加算とし、欠陥画素を含む場合は水平加算前の段階で欠陥補償することにより、２画素のみの加算状態で欠陥補償することになり、４画素の加算状態で欠陥補償するよりも解像度低下を抑えられる。
【００３６】
この点に関して詳細に述べれば、欠陥補償以前に垂直加算によって２単位画素からなる第１次複画素を生成するから、１単位画素の欠陥によって同一の第１次複画素に属する他の単位画素も欠陥扱いとして道連れになる問題を有してはいるが、従来の（４画素加算後の）欠陥補償の場合には道連れになる単位画素が３画素であったのに対してこれが１画素に低減している。この結果、例えば１複画素あたり１個だけの欠陥が生じているような状況においては、従来の欠陥補償では別の複画素データによる充当が必須となるため解像度劣化を生じるのに対して、本実施形態では同一の複画素に属する第１次複画素で欠陥補償することができるから、事実上解像度の低下を生じないものである。
【００３７】
また第１の実施形態とは異なり、画素欠陥の個数によってフレームレートが変化することも無く、垂直加算駆動による高速フレームレートが維持できる。
【００３８】
なお、本発明は上述した各実施形態に限定されるものではない。実施形態では、モノクロ撮像素子で説明したが、本発明はカラー撮像素子にも同様に適用できる。カラーの場合は元の加算が通常同色の加算処理となり、コーディングパターンによっては隣接加算以外の加算が用いられるが、その加算対象の複画素に対して全く同様に適用できる。また、デジタルスチルカメラ等の電子カメラに限らず、ビデオカメラ等のムービーにも全く同様に適用できる。その他、本発明の要旨を逸脱しない範囲で、種々変形して実施することができる。
【００３９】
【発明の効果】
以上詳述したように本発明によれば、加算対象の複数ラインに欠陥画素が含まれていない場合にはライン加算読み出しを行い、欠陥画素が含まれている場合には非加算読み出しとして、外部で欠陥データを補償した後に加算する。これにより、複画素内の有効画素データが有効利用されるため、解像度の低下を抑制することができる。
【図面の簡単な説明】
【図１】第１の実施形態に係わる電子カメラの回路構成を示すブロック図。
【図２】ＣＣＤ撮像素子の素子構造を示す平面図。
【図３】ＣＣＤ撮像素子における単位画素と複画素との関係を示す図。
【図４】加算駆動のパルス位相を示すタイミングチャート。
【図５】第１の実施形態における動作を説明するためのフローチャート。
【図６】第２の実施形態における動作を説明するためのフローチャート。
【符号の説明】
１０１…レンズ系
１０２…レンズ駆動機構
１０３…露出制御機構
１０４…フィルタ系
１０５…ＣＣＤカラー撮像素子
１０６…ＣＣＤドライバ
１０７…プリプロセス部
１０８…デジタルプロセス部
１０９…カードインターフェース
１１０…メモリカード
１１１…ＬＣＤ画像表示系
１１２…システムコントローラ（ＣＰＵ）
１１３…操作スイッチ系
１１４…操作表示系
１１５…レンズドライバ
１１６…ストロボ
１１７…露出制御ドライバ
１１８…不揮発性メモリ（ＥＥＰＲＯＭ）
２０１…フォトダイオード
２０２…垂直ＣＣＤ
２０３…水平ＣＣＤ
２０４…読み出しアンプ

Claims

被写体を撮像する撮像素子と、
この撮像素子を駆動する駆動手段と、
前記駆動手段を用いて前記撮像素子の光電変換単位の画素である単位画素の画素情報を垂直方向に複数個加算しつつ読み出すライン加算読み出しが可能な読み出し手段と、
前記単位画素に関する画素欠陥情報である単位画素欠陥情報を記憶する記憶手段と、
前記読み出し手段を制御して、前記記憶手段に記憶された欠陥情報を基に、前記撮像素子の画面内部に含まれる各ラインに関して、当該加算対象の複数ラインに欠陥画素が含まれていない場合にはライン加算読み出しを適用し、欠陥画素が含まれている場合には非加算読み出しを適用する撮像制御手段と、
を有したことを特徴とする撮像装置。
前記非加算読み出しを適用したラインに関しては、欠陥画素の欠陥補償処理を施した後に外部演算手段により垂直方向の画素情報加算を行うことを特徴とする請求項１記載の撮像装置。
前記外部演算手段は、デジタル演算手段であることを特徴とする請求項２記載の撮像装置。