JP4425834B2

JP4425834B2 - 欠陥画素更新システム

Info

Publication number: JP4425834B2
Application number: JP2005214425A
Authority: JP
Inventors: 善洋佐藤
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2005-07-25
Filing date: 2005-07-25
Publication date: 2010-03-03
Anticipated expiration: 2025-07-25
Also published as: US20070033627A1; US7602426B2; JP2007036458A

Description

本発明は、汎用のデジタルカメラやカメラ付き携帯電話に内蔵する固体撮像素子の欠陥画素を補正するためのシステムに関するものである。

近年、ＣＣＤセンサやＣＭＯＳセンサなどの固体撮像素子を用いたデジタルカメラが使用されている。これらの固体撮像素子は、少なくとも数十万以上の画素を有するので、全く欠陥画素のない固体撮像素子を製造することは実際には困難と言える。従って、ある程度の欠陥画素は常に存在するとの前提に立った上で、固体撮像素子を使用することが要求されている。

欠陥画素からは正常な信号を出力し得ないものがあり、例えば、被写体の輝度に対応して出力されるはずの出力信号に対し余分な信号成分を加算した信号を出力してしまい、画像を白っぽくしてしまう白キズや、被写体の輝度に対応して出力されるはずの出力信号に対しある信号成分を減算した信号を出力してしまい、画像を黒っぽくしてしまう黒キズなどがある。このように欠陥画素から出力された信号を、ソフトウェア処理により補正する機能を備え、画質の向上を図るようにしたデジタルカメラが既に開発されている。

このようなデジタルカメラによれば、生産工程で、画素欠陥検査装置を用いて固体撮像素子の欠陥画素を検出し、その位置情報及び画像の傷の種類や程度の情報を、例えば、デジタルカメラに搭載したメモリ内に情報として記憶させることにより、実際の撮像時に、欠陥画素からの出力信号を適宜補正するという手法をとっている（例えば、特許文献１，２参照。）。固体撮像素子はますます大規模になり画素数が増える傾向にあり、それに伴い、上述したような欠陥画素を補正する方法が製品の品質を決定付ける要素として重要になってくる。
特開２０００−５９６９０号公報特開平５−６８２０９号公報

しかしながら、生産工程における工場出荷時の固体撮像素子の欠陥画素情報はデジタルカメラにあらかじめ記憶させておき、画素補正することができるが、出荷後の経時劣化により生じた欠陥画素に対しては新規で発生した欠陥画素の画像上の位置特定が非常に困難であるため画素補正ができない問題があった。

本発明は上記問題点を考慮してなされたもので、固体撮像素子の経時劣化により生じた欠陥画素の補正を行うことのできるデジタルカメラの欠陥画素更新システムを提供することを目的とする。

内蔵する固体撮像素子の欠陥画素情報が記録される再書き込み可能な不揮発性メモリと、インターネットを通してサーバーに前記画像データを送信するとともに、この画像データに基づいてサーバーが解析して得た欠陥画素情報を受信する通信手段を備え、前記通信手段を通して得られた欠陥画素情報を前記不揮発性メモリに書き加える欠陥画素情報記録手段とを備えるデジタルカメラと、このデジタルカメラからインターネットを通して送信されてきた画像データを解析して欠陥画素情報を取得する機能と、取得した欠陥画素情報を前記デジタルカメラにインターネットを通して送信する通信手段を備えるサーバーでデジタルカメラの欠陥画素情報更新システムを構成する。

前記手段により、ユーザーは、フラッシュメモリライターのような治具を使用せずに、インターネットによりデジタルカメラからサーバーへアクセスするだけで、デジタルカメラの不揮発性メモリに格納されている固体撮像素子の欠陥画素情報を随時更新することができ、経年劣化した固体撮像素子であっても撮像した画像の欠陥画素補正を行うことができるようになる。これにより経年劣化によるデジタルカメラの画像品質の低下を防ぐことができ、ユーザーは半永久的に傷のない画像を楽しむことができるようになる。

図面を参照して本発明の実施の形態を以下に説明する。図１は、本発明を実施したデジタルカメラの電気的構成を示すブロック図である。同図において、撮像レンズ１とメカニカルシャッター２の後方にＣＣＤ撮像素子３が配設されている。被写体からの光をＣＣＤ撮像素子３上に結像させるための撮像レンズ１は、中央制御回路４からの制御信号により駆動されるレンズ駆動回路５を介して、合焦位置に移動するようになっている。また、メカニカルシャッター２のシャッタータイミングとシャッター速度は、ユーザーのレリーズ操作のタイミングに従って中央制御回路４からの制御信号により設定される。

ＣＣＤ撮像素子３は、その画素上に結像された被写体の光学像を電気的信号に変換する、いわゆる光電変換を行うものである。駆動回路６は転送パルスを生成して、ＣＣＤ撮像素子３に供給する回路であり、ＣＣＤ撮像素子３は、駆動回路６によって生成された転送パルスに基づいて、撮像信号を出力する。

ＣＤＳ（相関二重サンプリング）回路７は、ノイズを低減するための回路であり、駆動回路６から出力された駆動パルスに基づいて駆動される。ＣＣＤ撮像素子３にはＣＤＳ７が接続され、ＣＤＳ７の出力端子には、アナログ信号をデジタル信号に変換して出力するＡ／Ｄ変換回路８が接続される。このＡ／Ｄ変換回路８を介して得られたＣＣＤ撮像素子３の画素毎の画像データは、一旦、画像用メモリ９に記憶される。

画像用メモリ９に記憶された画像データは、中央制御回路４によって各種の画像処理が施され、最終的には、メモリカード、光磁気ディスク等の記録媒体からなる記録メディア１０に記憶される。ここで、各種の画像処理には、ＣＣＤ撮像素子３の欠陥画素の画像データを補正する処理が含まれる。

中央制御回路４には、ＣＣＤ撮像素子３の欠陥画素に関する欠陥画素補正処理を行う信号処理ＤＳＰＬＳＩ１８が備えられている。ここで、信号処理ＤＳＰＬＳＩ１８の詳細については後述する。さらに、中央制御回路４には、外部より前記信号処理ＤＳＰＬＳＩ１８に内蔵するＦＬＡＳＨＲＯＭにアクセスするためのシリアル端子１１が接続されている。また、ＬＣＤ１６は、ＬＣＤ１６を駆動する信号を作り出すＬＣＤ駆動回路１７を介して、中央制御回路４に接続されている。

次に前記信号処理ＤＳＰＬＳＩ１８について図２を用いて説明する。信号処理ＤＳＰＬＳＩ１８は、画像処理の機能をもつ信号処理ＤＳＰ３０、各処理の流れを制御し、ＣＰＵバス３２を介して各デバイス（共有メモリ３１，ワークＳＲＡＭ３６，ＦＬＡＳＨＲＯＭ３４，ＬＣＤ駆動回路１７，記録メディア１０）へのデータの読み込みや書き込みを行うＣＰＵ３３、前記信号処理ＤＳＰ３０と前記ＣＰＵ３３より共通にデータを読み書きできる共有メモリ３１、ＣＰＵ３３の処理するデータを蓄積するワークＳＲＡＭ３６、ＣＣＤ撮像素子のシリアル番号や欠陥画素情報などのデータを格納する不揮発性メモリであるＦＬＡＳＨＲＯＭ３４、シリアル端子１１を介してシリアル通信でコンピューターと送受信し、ＦＬＡＳＨＲＯＭ３４に格納されたデータの読み出しや書き込みを行うための回路であるＦＬＡＳＨＲＯＭインターフェース３５により構成される。

ＦＬＡＳＨＲＯＭ３４には欠陥画素の位置を示す欠陥画素情報及びＣＣＤ撮像素子のシリアル番号が格納されており、ともにデジタルカメラの生産工程において書き込まれ、前記欠陥画素情報は撮像した画像の欠陥画素を補正するために用いられるデータであり、前記シリアル番号は後述するサーバーとの通信による欠陥画素情報の更新を行う際にサーバーが固体撮像素子が正当な製品であることを認証するためのデータである。欠陥画素情報について、出荷後の経時劣化により情報の更新が必要になった場合は、ユーザーの意図する任意のタイミングでコンピューターと接続して、インターネットを介してサーバーから更新する。このため、ＦＬＡＳＨＲＯＭ３４には、外部シリアル端子１１を介してコンピューターと接続してインターネットによりサーバーとデータを入出力するための回路であるＦＬＡＳＨＲＯＭインターフェース３５を備えている。ＦＬＡＳＨＲＯＭインターフェース３５はＣＰＵ３３からの制御信号に従い欠陥画素解析用の画像データとＣＣＤ撮像素子のシリアル番号及び欠陥画素補正用データをシリアル端子１１を介してサーバーへ出力する。ここで、欠陥画素解析用の画像データをサーバーへ送信する場合、事前にＣＰＵ３３が記録メディア１０から撮像した画像データを読み出してＦＬＡＳＨＲＯＭ３４に書き込む。一方、ＦＬＡＳＨＲＯＭインターフェース３５にはサーバーからシリアル端子１１を介して新規の欠陥画素補正用データとＣＣＤ撮像素子のシリアル番号の認証完了通知が入力され、同様に制御信号によりＣＰＵ３３へ通知する仕組みを有する。なお、前記の新規の欠陥画素情報が入力された場合、ＦＬＡＳＨＲＯＭインターフェース３５はＦＬＡＳＨＲＯＭ３４に格納されている欠陥画素情報の更新を行う。なお、サーバーとの通信の処理の流れについては後述する。

信号処理ＤＳＰ３０は、撮像時に画像用メモリ９に蓄積された画像データを共有メモリ３１に格納されている欠陥画素情報により欠陥画素補正処理して共有メモリ３１に書き込む。書き込まれた画像データはＣＰＵ３３により記録メディア１０に書き込まれ、ユーザーの意図したタイミングにてＣＰＵ３３が前記記録メディア１０より読み出し、ＬＣＤ駆動回路１７を介してＬＣＤに出力される。また、ＣＰＵ３３は信号処理ＤＳＰ３０が画像補正に用いる欠陥画素情報をＦＬＡＳＨＲＯＭ３４より読み取り、共有メモリに書き込む。なお、ワークＳＲＡＭ３６はＣＰＵ３３が各処理を行うためのデータを格納するためのメモリである。

次にサーバーとの通信により欠陥画素補正を行うためのシステムについて図３を用いて説明する。欠陥画素情報の更新を行う場合、ユーザーは、まずデジタルカメラ４０のシリアル端子４１とシリアルケーブル４２の一方の端子と接続し、もう一方の端子はインターネット４４へのアクセスが可能なコンピューター４３のシリアル端子と接続する。これによりデジタルカメラ４０は、同じくインターネット４４へのアクセスが可能なサーバー４５との欠陥画素情報の更新をするための通信処理を行う。コンピュータ４３にはデジタルカメラ４０との間で行われるシリアル通信とサーバー４５との間で行われるインターネット４４による通信を相互に変換処理するソフトウェアを備えている。

図４に欠陥画素更新を行う際のサーバーとデジタルカメラの処理手順のフローチャートを示す。ユーザーの意図するタイミングでデジタルカメラが欠陥画素情報の更新処理を開始すると、前記ＦＬＡＳＨＲＯＭに格納されているＣＣＤシリアル番号がサーバーに送信される。サーバーでは受信した番号が正当な製品のものであるかの認証処理を行う。ここで認証できない場合は欠陥画素情報の更新処理は中断される。一方、ＣＣＤシリアル番号の認証に成功した場合は認証成功の通知をデジタルカメラに送信し、デジタルカメラではこれを受信して、ＦＬＡＳＨＲＯＭに格納されている欠陥画素情報及び欠陥画素解析用の画像データをサーバーに送信する。この画像データはユーザーが事前に任意で選択した欠陥画素補正が施されていない解析用の画像データであり、サーバーではこの画像を解析して前記欠陥画素情報と比較を行い、経時劣化により発生した新規の欠陥画素の画像上の位置を特定する。解析の結果、サーバーは、新規欠陥画素が存在しない場合は処理を中断し、一方、新規欠陥画素が存在する場合、特定した欠陥画素の位置をデジタルカメラより受信した欠陥画素情報に書き加えて新規の欠陥画素情報を作成しデジタルカメラに送信する。デジタルカメラでは新規の欠陥画素情報を受信し、前記ＦＬＡＳＨＲＯＭの欠陥画素情報を更新する。

次に、欠陥画素情報をサーバーのメモリに蓄積した場合の方法について前述した図４との差分のみに着目して本発明の実施の形態を以下に説明する。図５に欠陥画素更新を行う際のサーバーとデジタルカメラの処理手順のフローチャートを示す。図４では欠陥画素情報はデジタルカメラよりサーバーへ送信されたが、本実施形態の場合はサーバーに備えられた欠陥画素情報メモリより取得される。欠陥画素情報メモリは前記ＣＣＤシリアル番号ごとにメモリ内の格納領域を分割して、初期のデジタルカメラ生産時より各々の領域に該当するＣＣＤ撮像素子の欠陥画素情報を格納する。サーバーは、デジタルカメラよりＣＣＤシリアル番号を受信して認証完了すると、その番号に基づき欠陥画素情報メモリの領域を検索して該当する欠陥画素情報を取得する。さらに、サーバーは、図４と同様にデジタルカメラより受信した画像データを解析して新規の欠陥画素の位置を特定するが、新規欠陥画素が存在しない場合は処理を中断し、一方、新規欠陥画素が存在した場合、特定した欠陥画素の位置を前記欠陥画素情報メモリに書き加えて新規欠陥画素情報を作成し、デジタルカメラに送信する。

本実施形態では例としてデジタルカメラを示したが、図３に示すようなカメラ付き携帯電話であっても適用可能である。すなわち、携帯電話自身に備えている無線通信機能を用いてサーバーとの通信を確立し、前述した処理と同一の処理を行えば、デジタルカメラの場合と同様に欠陥画素情報の更新を行うことができるのである。また、固体撮像素子としてＣＣＤセンサを例としたが、ＣＭＯＳセンサを用いても同様に実施することが可能である。

デジタルカメラの全体ブロック図である。デジタルカメラに内蔵する信号処理ＤＳＰＬＳＩのブロック図である。デジタルカメラ及びカメラ付き携帯電話とサーバーによる欠陥画素情報更新システムの概観図である。サーバーに欠陥画素情報メモリを有しない場合のデジタルカメラまたはカメラ付き携帯電話とサーバーとの通信による欠陥画素情報更新の処理手順を示すフローチャートである。サーバーに欠陥画素情報メモリを有する場合のデジタルカメラまたはカメラ付き携帯電話とサーバーとの通信による欠陥画素情報更新の処理手順を示すフローチャートである。

符号の説明

１撮影レンズ
２メカニカルシャッター
３ＣＣＤ撮像素子
４中央制御回路
５レンズ駆動回路
６駆動回路
７ＣＤＳ
８Ａ／Ｄ
９画像用メモリ
１０記録メディア
１１シリアル端子
１６ＬＣＤ
１７ＬＣＤ駆動回路
１８信号処理ＤＳＰＬＳＩ
３０信号処理ＤＳＰ
３１共有メモリ
３２ＣＰＵバス
３３ＣＰＵ
３４ＦＬＡＳＨＲＯＭ
３５ＦＬＡＳＨＲＯＭインターフェース
３６ワークＳＲＡＭ
４０デジタルカメラ
４１シリアル端子
４２シリアルケーブル
４３コンピューター
４４インターネット
４５サーバー
４６カメラ付き携帯電話

Claims

被写体を光電変換して画素ごとの撮像信号を出力する固体撮像素子を内蔵し、前記撮像素子に基づいて被写体像の画像データを得るデジタルカメラにおいて、
前記固体撮像素子の欠陥画素情報が予め記録されている再書き込み可能な不揮発性メモリと、
インターネットを通してサーバーに前記画像データを送信するとともに、この画像データに基づいてサーバーが解析して得た欠陥画素情報を受信する通信手段と、
前記通信手段を通して得られた欠陥画素情報を前記不揮発性メモリに書き加える欠陥画素情報記録手段とを備えたことを特徴とするデジタルカメラ。
前記画像データをサーバーに送信する際に、前記不揮発性メモリに格納される欠陥画素情報を送信することを特徴とする請求項１記載のデジタルカメラ。
前記画像データをサーバーに送信する際に、内蔵した固体撮像素子固有のＩＤ情報を送信することを特徴とする請求項１、２いずれか記載のデジタルカメラ。
請求項１〜３のいずれか記載のデジタルカメラと、このデジタルカメラからインターネットを通して送信されてきた画像データを解析して欠陥画素情報を取得し、取得された欠陥画素情報を前記デジタルカメラにインターネットを通して送信するサーバーとからなることを特徴とするデジタルカメラの欠陥画素情報更新システム。
前記サーバーは、デジタルカメラから送信された欠陥画素情報と、同様にデジタルカメラから送信された画像データを解析して取得した欠陥画素情報との比較により新規な欠陥画素が発生しているか否かを評価し、新規な欠陥画素が発生したときにはその欠陥画素情報をデジタルカメラから送信された欠陥画素情報に書き加えることを特徴とする請求項４記載のデジタルカメラの欠陥画素情報更新システム。
前記サーバーは、デジタルカメラに内蔵された固体撮像素子がもつ欠陥画素情報を予め書き込んだ欠陥画素情報メモリを備え、この欠陥画素情報メモリに書き込まれた欠陥画素情報と、デジタルカメラから送信された画像データを解析して取得した欠陥画素情報との比較により新規な欠陥画素が発生しているか否かを評価し、新規な欠陥画素情報が発生したときにはその欠陥画素情報を前記欠陥画素情報メモリに書き加えることを特徴とする請求項４記載のデジタルカメラの欠陥画素情報更新システム。
前記欠陥画素情報メモリが複数領域設けられるとともに各々の欠陥画素情報メモリには複数のデジタルカメラが各々内蔵する固体撮像素子に固有のＩＤ情報が割り当てられ、サーバーは、デジタルカメラが画像データを送信する際に送信されてくるＩＤ情報に対応した欠陥画素情報メモリの領域を参照して新規な欠陥画素の発生の有無を評価することを特徴とする請求項６記載のデジタルカメラの欠陥画素情報更新システム。