JPH089264A - 固体撮像装置 - Google Patents
固体撮像装置Info
- Publication number
- JPH089264A JPH089264A JP6140129A JP14012994A JPH089264A JP H089264 A JPH089264 A JP H089264A JP 6140129 A JP6140129 A JP 6140129A JP 14012994 A JP14012994 A JP 14012994A JP H089264 A JPH089264 A JP H089264A
- Authority
- JP
- Japan
- Prior art keywords
- data
- circuit
- interpolation
- pixel
- solid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
(57)【要約】
【目的】 本発明は、撮像素子の欠陥画素の撮像データ
を補償し、出力する固体撮像装置に関するものであり、
欠陥画素に対する補償誤差の小さな優れた固体撮像装置
を提供することを目的とする。 【構成】 固体撮像素子２１で読み込まれた撮像データ
が欠陥画素の場合、欠陥画素選択回路１５により、撮像
データを、補償対象画素とその近傍画素データ間のルー
ルを学習したニューラルネットワーク回路１７の出力す
る補償用データと置換し出力する。または、欠陥画素選
択回路２５により撮像データを、補間対象画素近傍の画
素のデータと補間方法の優劣情報間のルールを学習した
ニューラルネットワーク回路の出力する補間方法の優劣
情報に基づき補間方法選択回路で選択された補間方法で
形成された補間データと置換し出力する。
を補償し、出力する固体撮像装置に関するものであり、
欠陥画素に対する補償誤差の小さな優れた固体撮像装置
を提供することを目的とする。 【構成】 固体撮像素子２１で読み込まれた撮像データ
が欠陥画素の場合、欠陥画素選択回路１５により、撮像
データを、補償対象画素とその近傍画素データ間のルー
ルを学習したニューラルネットワーク回路１７の出力す
る補償用データと置換し出力する。または、欠陥画素選
択回路２５により撮像データを、補間対象画素近傍の画
素のデータと補間方法の優劣情報間のルールを学習した
ニューラルネットワーク回路の出力する補間方法の優劣
情報に基づき補間方法選択回路で選択された補間方法で
形成された補間データと置換し出力する。
Description
【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、撮像素子の欠陥画素の
撮像データを補償し、出力する固体撮像装置に関するも
のである。
撮像データを補償し、出力する固体撮像装置に関するも
のである。
【０００２】
【従来の技術】一般に、半導体により形成したＣＣＤ等
の固体撮像素子では、その製造過程で異常な撮像信号を
出力する欠陥画素を生じる場合がある。そして、この欠
陥画素からの撮像出力に起因する画質劣化を生じること
が知られている。この欠陥画素による画質劣化のために
固体撮像素子の歩留まりが落ち、固体撮像素子の高価格
化の原因となる。
の固体撮像素子では、その製造過程で異常な撮像信号を
出力する欠陥画素を生じる場合がある。そして、この欠
陥画素からの撮像出力に起因する画質劣化を生じること
が知られている。この欠陥画素による画質劣化のために
固体撮像素子の歩留まりが落ち、固体撮像素子の高価格
化の原因となる。
【０００３】この歩留まり向上のため、上記の画質劣化
を回避するための映像情報補間回路を有する固体撮像装
置が提案され、例えば特開平３−２９６３７４号公報に
開示されている。以下に従来の固体撮像装置について図
面を参照しながら説明する。
を回避するための映像情報補間回路を有する固体撮像装
置が提案され、例えば特開平３−２９６３７４号公報に
開示されている。以下に従来の固体撮像装置について図
面を参照しながら説明する。
【０００４】図７は従来の固体撮像装置の構成の一例を
示すブロック図である。図７において、１は固体撮像素
子、２はＡ−Ｄ変換回路、３は遅延回路、６は補間対象
画素近傍に位置する画素の撮像データを比較し、補間対
象画素の近傍における被写体像のパターンを識別する補
間対象画素近傍パターン識別回路、７は被写体像のパタ
ーンに応じて、補間に用いる画素を選択する補間画素選
択回路、８は補間画素選択回路７で選択された画素と補
間対象画素近傍に位置する画素の撮像データに基づいて
補間データを出力する補間回路、４は補間回路８より出
力される補間データとＡ−Ｄ変換回路２から遅延回路３
を介して出力される撮像データの切り替えを行う切り替
えスイッチ、５は遅延回路３からの出力が欠陥位置の撮
像データである場合に、切り替えスイッチ４を用いて、
撮像データを補間回路８より出力される補間データに置
換する欠陥画素選択回路である。
示すブロック図である。図７において、１は固体撮像素
子、２はＡ−Ｄ変換回路、３は遅延回路、６は補間対象
画素近傍に位置する画素の撮像データを比較し、補間対
象画素の近傍における被写体像のパターンを識別する補
間対象画素近傍パターン識別回路、７は被写体像のパタ
ーンに応じて、補間に用いる画素を選択する補間画素選
択回路、８は補間画素選択回路７で選択された画素と補
間対象画素近傍に位置する画素の撮像データに基づいて
補間データを出力する補間回路、４は補間回路８より出
力される補間データとＡ−Ｄ変換回路２から遅延回路３
を介して出力される撮像データの切り替えを行う切り替
えスイッチ、５は遅延回路３からの出力が欠陥位置の撮
像データである場合に、切り替えスイッチ４を用いて、
撮像データを補間回路８より出力される補間データに置
換する欠陥画素選択回路である。
【０００５】以上のように構成された固体撮像装置につ
いて、以下その動作について説明する。固体撮像素子１
から取り出されたアナログ撮像データはＡ−Ｄ変換回路
２でデジタルの撮像データに変換される。このデジタル
撮像データは遅延回路３と欠陥近傍パターン識別回路６
へ送られる。
いて、以下その動作について説明する。固体撮像素子１
から取り出されたアナログ撮像データはＡ−Ｄ変換回路
２でデジタルの撮像データに変換される。このデジタル
撮像データは遅延回路３と欠陥近傍パターン識別回路６
へ送られる。
【０００６】図８は補間対象画素と近傍パターン識別に
用いる画素の配列を示すものである。図８のＸは補間対
象画素を示し、ａ，ｂ，ｃ，ｄ，ｅはパターン識別に用
いる近傍画素を表している。欠陥近傍パターン識別回路
６は、図８のａ，ｂ，ｃ，ｄ，ｅに対応する近傍５画素
の撮像データａL，ｂL，ｃL，ｄL，ｅLを順次取り出
し、隣あった近傍５画素の撮像データのレベル差ＶR＝
｜ｃL−ｅL｜、ＶL＝｜ａL−ｄL｜、ＨR＝｜ｂL−ｃL
｜、ＨL＝｜ａL−ｂL｜を求め、（ＶL，ＨL）（ＶL，Ｈ
R）（ＶR，ＨL）（ＶR，ＨR）の組み合わせで比較を行
い、その比較結果をパターン識別信号Ｑ1〜Ｑ4として補
間方法選択回路７へ送り、近傍５画素の撮像データａ
L，ｂL，ｃL，ｄL，ｅLを補間回路８へ送る。補間画素
選択回路７は欠陥近傍パターン識別回路から送られてく
るパターン識別信号Ｑ1〜Ｑ4と（表１）に示す判断テー
ブルから選択制御信号ＤCLを形成し補間回路へ送る。
用いる画素の配列を示すものである。図８のＸは補間対
象画素を示し、ａ，ｂ，ｃ，ｄ，ｅはパターン識別に用
いる近傍画素を表している。欠陥近傍パターン識別回路
６は、図８のａ，ｂ，ｃ，ｄ，ｅに対応する近傍５画素
の撮像データａL，ｂL，ｃL，ｄL，ｅLを順次取り出
し、隣あった近傍５画素の撮像データのレベル差ＶR＝
｜ｃL−ｅL｜、ＶL＝｜ａL−ｄL｜、ＨR＝｜ｂL−ｃL
｜、ＨL＝｜ａL−ｂL｜を求め、（ＶL，ＨL）（ＶL，Ｈ
R）（ＶR，ＨL）（ＶR，ＨR）の組み合わせで比較を行
い、その比較結果をパターン識別信号Ｑ1〜Ｑ4として補
間方法選択回路７へ送り、近傍５画素の撮像データａ
L，ｂL，ｃL，ｄL，ｅLを補間回路８へ送る。補間画素
選択回路７は欠陥近傍パターン識別回路から送られてく
るパターン識別信号Ｑ1〜Ｑ4と（表１）に示す判断テー
ブルから選択制御信号ＤCLを形成し補間回路へ送る。
【０００７】
【表１】
【０００８】ここで、（表１）中のＱ1は（ＶL，ＨL）
の比較結果であり、ＶL＞ＨLのとき「Ｈ」、ＶL＜ＨLの
とき「Ｌ」である。同様にＱ2は（ＶL，ＨR）の比較結
果であり、ＶL＞ＨRのとき「Ｈ」、ＶL＜ＨRのとき
「Ｌ」である。Ｑ3は（ＶR，ＨL）の比較結果であり、
ＶR＞ＨLのとき「Ｈ」であり、ＶR＜ＨLのとき「Ｌ」で
ある。Ｑ4は（ＶR，ＨR）の比較結果であり、ＶR＞ＨR
のとき「Ｈ」であり、ＶR＜ＨRのとき「Ｌ」である。
の比較結果であり、ＶL＞ＨLのとき「Ｈ」、ＶL＜ＨLの
とき「Ｌ」である。同様にＱ2は（ＶL，ＨR）の比較結
果であり、ＶL＞ＨRのとき「Ｈ」、ＶL＜ＨRのとき
「Ｌ」である。Ｑ3は（ＶR，ＨL）の比較結果であり、
ＶR＞ＨLのとき「Ｈ」であり、ＶR＜ＨLのとき「Ｌ」で
ある。Ｑ4は（ＶR，ＨR）の比較結果であり、ＶR＞ＨR
のとき「Ｈ」であり、ＶR＜ＨRのとき「Ｌ」である。
【０００９】補間回路８は補間画素選択回路７より送ら
れてきた選択制御信号ＤCLの補間方法と欠陥近傍パター
ン識別回路６より送られてくる撮像データａL，ｂL，ｃ
L，ｄL，ｅLから補間データを形成し切り替えスイッチ
４へ送る。ここで、補間画素選択回路７より送られてき
た選択制御信号ＤCLが表１のＭLのとき、欠陥近傍パタ
ーン識別回路６より送られてきた撮像データｄLを補間
データとして出力し、補間画素選択回路７より送られて
きた選択制御信号ＤCLが表１のＭmのとき、欠陥近傍パ
ターン識別回路６より送られてきた撮像データｅL，ｄL
の平均値（ｅL＋ｄL）／２を補間データとして出力す
る。同様に補間画素選択回路７より送られてきた選択制
御信号ＤCLが表１のＭRのとき、欠陥近傍パターン識別
回路６より送られてきた撮像データｅLを補間データと
して出力し、補間画素選択回路７より送られてきた選択
制御信号ＤCLが表１のＭVのとき、欠陥近傍パターン識
別回路６より送られてきた撮像データｂLを補間データ
として出力する。
れてきた選択制御信号ＤCLの補間方法と欠陥近傍パター
ン識別回路６より送られてくる撮像データａL，ｂL，ｃ
L，ｄL，ｅLから補間データを形成し切り替えスイッチ
４へ送る。ここで、補間画素選択回路７より送られてき
た選択制御信号ＤCLが表１のＭLのとき、欠陥近傍パタ
ーン識別回路６より送られてきた撮像データｄLを補間
データとして出力し、補間画素選択回路７より送られて
きた選択制御信号ＤCLが表１のＭmのとき、欠陥近傍パ
ターン識別回路６より送られてきた撮像データｅL，ｄL
の平均値（ｅL＋ｄL）／２を補間データとして出力す
る。同様に補間画素選択回路７より送られてきた選択制
御信号ＤCLが表１のＭRのとき、欠陥近傍パターン識別
回路６より送られてきた撮像データｅLを補間データと
して出力し、補間画素選択回路７より送られてきた選択
制御信号ＤCLが表１のＭVのとき、欠陥近傍パターン識
別回路６より送られてきた撮像データｂLを補間データ
として出力する。
【００１０】欠陥画素選択回路５には記憶装置が含ま
れ、欠陥画素の位置を予め記憶しており、その記憶に基
づき４の切り替えスイッチに入力されている撮像データ
が欠陥画素の場合、補間回路８から送られてくる補間デ
ータを出力するよう切り替えスイッチを切り替える。こ
こで、切り替えスイッチに入力されている撮像データが
欠陥画素ではない場合には、補間回路８が補間しようと
している画素の撮像データを出力する遅延時間を持つ遅
延回路３からの撮像データを出力するよう切り替えスイ
ッチ４は接続されている。
れ、欠陥画素の位置を予め記憶しており、その記憶に基
づき４の切り替えスイッチに入力されている撮像データ
が欠陥画素の場合、補間回路８から送られてくる補間デ
ータを出力するよう切り替えスイッチを切り替える。こ
こで、切り替えスイッチに入力されている撮像データが
欠陥画素ではない場合には、補間回路８が補間しようと
している画素の撮像データを出力する遅延時間を持つ遅
延回路３からの撮像データを出力するよう切り替えスイ
ッチ４は接続されている。
【００１１】
【発明が解決しようとする課題】しかしながら上記の従
来の構成では、欠陥画素の補償が充分な精度で行えず、
大きな補償誤差が生じるという問題点を有していた。本
発明は上記従来の問題点を解決するためのもので、ニュ
ーラルネットワークを用いることによって、欠陥画素に
対する補償誤差の小さな優れた固体撮像装置を提供する
ことを目的とする。
来の構成では、欠陥画素の補償が充分な精度で行えず、
大きな補償誤差が生じるという問題点を有していた。本
発明は上記従来の問題点を解決するためのもので、ニュ
ーラルネットワークを用いることによって、欠陥画素に
対する補償誤差の小さな優れた固体撮像装置を提供する
ことを目的とする。
【００１２】
【課題を解決するための手段】この目的を達成するため
に、本発明の固体撮像装置は第１に、固体撮像素子と、
Ａ−Ｄ変換回路と、遅延回路と、上記Ａ−Ｄ変換回路か
ら画素毎に時系列的に入力される撮像データから、ある
配列の画素の撮像データを同時に出力するデータ整形回
路と、補償対象画素近傍の複数画素の撮像データを入
力、補償対象画素の補償用データを出力とするニューラ
ルネットワーク回路と、上記遅延回路からの出力が欠陥
位置の撮像データである場合に、その撮像データを上記
ニューラルネットワークより出力される補償用データに
置換する欠陥画素選択回路を有する構成とする。
に、本発明の固体撮像装置は第１に、固体撮像素子と、
Ａ−Ｄ変換回路と、遅延回路と、上記Ａ−Ｄ変換回路か
ら画素毎に時系列的に入力される撮像データから、ある
配列の画素の撮像データを同時に出力するデータ整形回
路と、補償対象画素近傍の複数画素の撮像データを入
力、補償対象画素の補償用データを出力とするニューラ
ルネットワーク回路と、上記遅延回路からの出力が欠陥
位置の撮像データである場合に、その撮像データを上記
ニューラルネットワークより出力される補償用データに
置換する欠陥画素選択回路を有する構成とする。
【００１３】本発明の固体撮像装置は第２に、固体撮像
素子と、Ａ−Ｄ変換回路と、遅延回路と、上記Ａ−Ｄ変
換回路から画素毎に時系列的に入力される撮像データか
ら、ある配列の画素の撮像データを同時に出力するデー
タ整形回路と、補間対象画素近傍の複数画素の撮像デー
タを入力、予め定めた補間方法の優劣情報、または、優
劣情報に基づく最適な補間方法を出力するニューラルネ
ットワーク回路と、上記ニューラルネットワーク回路の
出力により、最適な補間方法を用いて補間を行う補間回
路と、上記遅延回路からの出力が欠陥位置の撮像データ
である場合に、その撮像データを上記補間回路より出力
される補間データに置換する欠陥画素選択回路を有する
構成とする。
素子と、Ａ−Ｄ変換回路と、遅延回路と、上記Ａ−Ｄ変
換回路から画素毎に時系列的に入力される撮像データか
ら、ある配列の画素の撮像データを同時に出力するデー
タ整形回路と、補間対象画素近傍の複数画素の撮像デー
タを入力、予め定めた補間方法の優劣情報、または、優
劣情報に基づく最適な補間方法を出力するニューラルネ
ットワーク回路と、上記ニューラルネットワーク回路の
出力により、最適な補間方法を用いて補間を行う補間回
路と、上記遅延回路からの出力が欠陥位置の撮像データ
である場合に、その撮像データを上記補間回路より出力
される補間データに置換する欠陥画素選択回路を有する
構成とする。
【００１４】
【作用】本発明の第１の構成によって、補償対象画素デ
ータとその近傍画素データ間のルールを学習したニュー
ラルネットワークへ欠陥近傍画素のデータを入力するこ
とにより得られる補償用データを、固体撮像素子から読
み出された欠陥画素の撮像データと置き換えることがで
きる。
ータとその近傍画素データ間のルールを学習したニュー
ラルネットワークへ欠陥近傍画素のデータを入力するこ
とにより得られる補償用データを、固体撮像素子から読
み出された欠陥画素の撮像データと置き換えることがで
きる。
【００１５】第２の構成によって、補間対象画素近傍デ
ータと補間方法の優劣情報間のルールを学習したニュー
ラルネットワークへ、欠陥近傍画素データを入力するこ
とにより求まる欠陥画素に対する最適な補間方法を用
い、補間回路で形成された補間データを固体撮像素子か
ら読み出された欠陥画素の撮像データと置き換えること
ができる。
ータと補間方法の優劣情報間のルールを学習したニュー
ラルネットワークへ、欠陥近傍画素データを入力するこ
とにより求まる欠陥画素に対する最適な補間方法を用
い、補間回路で形成された補間データを固体撮像素子か
ら読み出された欠陥画素の撮像データと置き換えること
ができる。
【００１６】
（実施例１）以下本発明の一実施例について、図面を参
照しながら説明する。図１は本実施例の固体撮像装置の
ブロック図であり、図２は本実施例の欠陥画素補償に用
いる欠陥近傍画素の配列を示す図である。図２のｘは補
償対象画素を示し、ａ〜ｈは補償に用いる近傍画素を示
す。
照しながら説明する。図１は本実施例の固体撮像装置の
ブロック図であり、図２は本実施例の欠陥画素補償に用
いる欠陥近傍画素の配列を示す図である。図２のｘは補
償対象画素を示し、ａ〜ｈは補償に用いる近傍画素を示
す。
【００１７】図１において、１１は固体撮像素子、１２
はＡ−Ｄ変換器、１３は遅延回路、１４は切り替えスイ
ッチ、１５は欠陥画素選択回路で、以上は図７の構成と
同様なものである。１６はＡ−Ｄ変換回路より画素毎に
時系列的に供給される撮像データから図２のａ〜ｈの配
列の画素の撮像データを同時に出力するデータ整形回路
であり、１７は図３に示す入力層が８、出力層が１の４
層の多層パーセプトロン構造を持ち、学習データとして
正常な画像の各部から図２の配列の画素のデータを取り
出し、ａ〜ｈの画像データを入力データ、ｘの位置の画
像データを教師データとして誤差逆伝搬法を用いて学習
させることにより、画素ｘ位置のデータと画素ｘの近傍
位置の画素ａ〜ｈのデータの分布間のルールを抽出した
欠陥画素値推定ニューラルネットワークである。
はＡ−Ｄ変換器、１３は遅延回路、１４は切り替えスイ
ッチ、１５は欠陥画素選択回路で、以上は図７の構成と
同様なものである。１６はＡ−Ｄ変換回路より画素毎に
時系列的に供給される撮像データから図２のａ〜ｈの配
列の画素の撮像データを同時に出力するデータ整形回路
であり、１７は図３に示す入力層が８、出力層が１の４
層の多層パーセプトロン構造を持ち、学習データとして
正常な画像の各部から図２の配列の画素のデータを取り
出し、ａ〜ｈの画像データを入力データ、ｘの位置の画
像データを教師データとして誤差逆伝搬法を用いて学習
させることにより、画素ｘ位置のデータと画素ｘの近傍
位置の画素ａ〜ｈのデータの分布間のルールを抽出した
欠陥画素値推定ニューラルネットワークである。
【００１８】以上のように構成された固体撮像装置につ
いて、以下その動作について説明する。まず、固体撮像
素子１１から取り出されたアナログ撮像データはＡ−Ｄ
変換回路１２でデジタルの撮像データに変換される。こ
のデジタル撮像データは遅延回路１３とデータ整形回路
１６へ供給される。データ整形回路１６はＡ−Ｄ変換回
路から画素毎に時系列的に供給される撮像データから図
２のａ〜ｈの配列の補償対象画素近傍の撮像データを同
時に欠陥画素値推定ニューラルネットワーク１７の入力
層の各ニューロンへ供給する。欠陥画素値推定ニューラ
ルネットワーク１７は供給された補償対象画素の近傍画
素の撮像データの分布から学習したルールを用いて補償
対象画素の位置の補償データを計算し、補償データを切
り替えスイッチ１４へ入力する。
いて、以下その動作について説明する。まず、固体撮像
素子１１から取り出されたアナログ撮像データはＡ−Ｄ
変換回路１２でデジタルの撮像データに変換される。こ
のデジタル撮像データは遅延回路１３とデータ整形回路
１６へ供給される。データ整形回路１６はＡ−Ｄ変換回
路から画素毎に時系列的に供給される撮像データから図
２のａ〜ｈの配列の補償対象画素近傍の撮像データを同
時に欠陥画素値推定ニューラルネットワーク１７の入力
層の各ニューロンへ供給する。欠陥画素値推定ニューラ
ルネットワーク１７は供給された補償対象画素の近傍画
素の撮像データの分布から学習したルールを用いて補償
対象画素の位置の補償データを計算し、補償データを切
り替えスイッチ１４へ入力する。
【００１９】欠陥画素選択回路１５には記憶装置が含ま
れ、欠陥画素の位置を予め記憶しており、その記憶に基
づき切り替えスイッチ１４に供給されている撮像データ
が欠陥画素の場合、欠陥画素値推定ニューラルネットワ
ーク回路１７から供給される補償データを固体撮像装置
の出力とするよう切り替えスイッチを切り替える。ここ
で、切り替えスイッチ１４に供給されている撮像データ
が欠陥画素のものではない場合には、欠陥画素値推定ニ
ューラルネットワーク回路１７が補償しようとしている
画素の撮像データを供給する遅延時間を持った遅延回路
１３からの撮像データを固体撮像装置の出力とするよう
切り替えスイッチ１４は接続されている。
れ、欠陥画素の位置を予め記憶しており、その記憶に基
づき切り替えスイッチ１４に供給されている撮像データ
が欠陥画素の場合、欠陥画素値推定ニューラルネットワ
ーク回路１７から供給される補償データを固体撮像装置
の出力とするよう切り替えスイッチを切り替える。ここ
で、切り替えスイッチ１４に供給されている撮像データ
が欠陥画素のものではない場合には、欠陥画素値推定ニ
ューラルネットワーク回路１７が補償しようとしている
画素の撮像データを供給する遅延時間を持った遅延回路
１３からの撮像データを固体撮像装置の出力とするよう
切り替えスイッチ１４は接続されている。
【００２０】固体撮像装置の欠陥画素に対する補償能力
の目安として、（スケール）縦：２４０，横：７２０、
（階調）２５６階調輝度画像の規格を持つ２５枚の画像
の全画素に対する（数１）で定義される補償誤差の標準
偏差を用いる。
の目安として、（スケール）縦：２４０，横：７２０、
（階調）２５６階調輝度画像の規格を持つ２５枚の画像
の全画素に対する（数１）で定義される補償誤差の標準
偏差を用いる。
【００２１】
【数１】
【００２２】ここで、補償誤差の標準偏差が小さい固体
撮像装置ほど、補償誤差の小さな優れた補償能力をも
つ。
撮像装置ほど、補償誤差の小さな優れた補償能力をも
つ。
【００２３】本実施例による固体撮像装置の欠陥画素に
対する補償誤差の標準偏差と従来の固体撮像装置の欠陥
画素に対する補償誤差の標準偏差を（表２）に示してい
る。
対する補償誤差の標準偏差と従来の固体撮像装置の欠陥
画素に対する補償誤差の標準偏差を（表２）に示してい
る。
【００２４】
【表２】
【００２５】この（表２）から明らかなように、本実施
例による固体撮像装置は、欠陥画素の補償誤差を小さく
する点で優れた効果がある。
例による固体撮像装置は、欠陥画素の補償誤差を小さく
する点で優れた効果がある。
【００２６】以上のように、本実施例によれば、欠陥画
素選択回路１５により位置が特定された欠陥画素に対し
て、欠陥画素近傍の画素の撮像データから欠陥画素のデ
ータを補償するニューラルネットワーク回路１７を設け
ることによって、欠陥画素に対する補償誤差を小さくす
ることができる。
素選択回路１５により位置が特定された欠陥画素に対し
て、欠陥画素近傍の画素の撮像データから欠陥画素のデ
ータを補償するニューラルネットワーク回路１７を設け
ることによって、欠陥画素に対する補償誤差を小さくす
ることができる。
【００２７】（実施例２）以下本発明の第２の実施例に
ついて、図面を参照しながら説明する。図４は本実施例
の固体撮像装置のブロック図であり、図５は本実施例に
おいて用いる１２種類の補間方法と補間に用いる補間対
象画素近傍画素を示す図である。図５において、矢印の
始点画素は補間に用いる画素を示し、矢印の終点の画素
は補間対象画素Ｘを示す。また、２本の矢印は、２つの
矢印の始点の画素のデータの平均を矢印終点の補間対象
画素Ｘのデータとする補間方法を示している。
ついて、図面を参照しながら説明する。図４は本実施例
の固体撮像装置のブロック図であり、図５は本実施例に
おいて用いる１２種類の補間方法と補間に用いる補間対
象画素近傍画素を示す図である。図５において、矢印の
始点画素は補間に用いる画素を示し、矢印の終点の画素
は補間対象画素Ｘを示す。また、２本の矢印は、２つの
矢印の始点の画素のデータの平均を矢印終点の補間対象
画素Ｘのデータとする補間方法を示している。
【００２８】図４において、２１は固体撮像素子、２２
はＡ−Ｄ変換器、２３は遅延回路、２４は切り替えスイ
ッチ、２５は欠陥画素選択回路、２６はデータ整形回路
で、以上は図１の構成と同様なものである。３０は図６
に示す入力層が８、出力層が１２の４層の多層パーセプ
トロン構造を持ち、学習データとして正常な画像の各部
から図２の配列の画素のデータを取り出し、ａ〜ｈの画
像データを入力データ、ｘの位置の画像データＸLと図
５の１２の補間方法によって補間対象画素近傍ａ〜ｈの
画像データから求めた補間データ（Ｉ0L〜Ｉ11L）との
差の絶対値（すなわち補償誤差の絶対値｜Ｉ0L−ｘL｜
〜｜Ｉ11L−ｘL｜のことであり、以後各補間方法の補償
誤差の絶対値を補間優劣情報と呼ぶ）を教師データとし
て誤差逆伝搬法を用いて学習させることにより補間対象
画素ｘの近傍画素ａ〜ｈの画像データの分布と図５の補
間方法の補間優劣情報間のルールを抽出した優劣情報推
定ニューラルネットワーク回路、２９は優劣情報推定ニ
ューラルネットワークの補間優劣情報に基づいて最適な
補間方法を選択する補間法選択回路、２８は補間法選択
回路で選択された補間方法に基づいて補間を行う補間回
路である。
はＡ−Ｄ変換器、２３は遅延回路、２４は切り替えスイ
ッチ、２５は欠陥画素選択回路、２６はデータ整形回路
で、以上は図１の構成と同様なものである。３０は図６
に示す入力層が８、出力層が１２の４層の多層パーセプ
トロン構造を持ち、学習データとして正常な画像の各部
から図２の配列の画素のデータを取り出し、ａ〜ｈの画
像データを入力データ、ｘの位置の画像データＸLと図
５の１２の補間方法によって補間対象画素近傍ａ〜ｈの
画像データから求めた補間データ（Ｉ0L〜Ｉ11L）との
差の絶対値（すなわち補償誤差の絶対値｜Ｉ0L−ｘL｜
〜｜Ｉ11L−ｘL｜のことであり、以後各補間方法の補償
誤差の絶対値を補間優劣情報と呼ぶ）を教師データとし
て誤差逆伝搬法を用いて学習させることにより補間対象
画素ｘの近傍画素ａ〜ｈの画像データの分布と図５の補
間方法の補間優劣情報間のルールを抽出した優劣情報推
定ニューラルネットワーク回路、２９は優劣情報推定ニ
ューラルネットワークの補間優劣情報に基づいて最適な
補間方法を選択する補間法選択回路、２８は補間法選択
回路で選択された補間方法に基づいて補間を行う補間回
路である。
【００２９】以上のように構成された固体撮像装置につ
いて、以下その動作について説明する。まず、固体撮像
素子２１から取り出されたアナログ撮像データはＡ−Ｄ
変換回路２２でデジタルの撮像データに変換される。こ
のデジタル撮像データは遅延回路２３とデータ整形回路
２６へ供給される。データ整形回路２６はＡ−Ｄ変換回
路から画素毎に時系列的に供給される撮像データから図
２のａ〜ｈの配列にある補間対象画素近傍画素の撮像デ
ータを同時に補間回路２８と優劣情報推定ニューラルネ
ットワーク３０の入力層の各ニューロンへ供給する。優
劣情報推定ニューラルネットワーク３０は供給された補
間対象画素近傍画素の撮像データから学習したルールを
用いて補間対象画素における図５の１２補間方法の補間
優劣情報（すなわち各補間方法の予想補償誤差の絶対
値）を計算し、補間優劣情報を補間法選択回路２９へ送
る。補間選択回路は入力された補間優劣情報の中で最も
小さいものを選び、選ばれた補間優劣情報に対応する補
間方法を選択制御信号ＤCLとして補間回路２８へ送る。
補間回路２８は選択制御信号ＤCLと、データ整形回路２
６から供給された補間対象画素近傍画素のデータに基づ
いて補間データを形成し、補間データを切り替えスイッ
チ２４へ入力する。
いて、以下その動作について説明する。まず、固体撮像
素子２１から取り出されたアナログ撮像データはＡ−Ｄ
変換回路２２でデジタルの撮像データに変換される。こ
のデジタル撮像データは遅延回路２３とデータ整形回路
２６へ供給される。データ整形回路２６はＡ−Ｄ変換回
路から画素毎に時系列的に供給される撮像データから図
２のａ〜ｈの配列にある補間対象画素近傍画素の撮像デ
ータを同時に補間回路２８と優劣情報推定ニューラルネ
ットワーク３０の入力層の各ニューロンへ供給する。優
劣情報推定ニューラルネットワーク３０は供給された補
間対象画素近傍画素の撮像データから学習したルールを
用いて補間対象画素における図５の１２補間方法の補間
優劣情報（すなわち各補間方法の予想補償誤差の絶対
値）を計算し、補間優劣情報を補間法選択回路２９へ送
る。補間選択回路は入力された補間優劣情報の中で最も
小さいものを選び、選ばれた補間優劣情報に対応する補
間方法を選択制御信号ＤCLとして補間回路２８へ送る。
補間回路２８は選択制御信号ＤCLと、データ整形回路２
６から供給された補間対象画素近傍画素のデータに基づ
いて補間データを形成し、補間データを切り替えスイッ
チ２４へ入力する。
【００３０】欠陥画素選択回路２５には記憶装置が含ま
れ、欠陥画素の位置を予め記憶しており、その記憶に基
づき切り替えスイッチ２４に供給されている撮像データ
が欠陥画素の場合、補間回路２９から入力されている補
間データを固体撮像装置の出力とするよう切り替えスイ
ッチ２４を切り替える。ここで、切り替えスイッチ２４
に供給されている撮像データが欠陥画素のものではない
場合には、補間回路２８が補間しようとしている画素の
撮像データを供給する遅延時間を持った遅延回路２３か
らの撮像データを固体撮像装置の出力とするよう切り替
えスイッチ２４は接続されている。
れ、欠陥画素の位置を予め記憶しており、その記憶に基
づき切り替えスイッチ２４に供給されている撮像データ
が欠陥画素の場合、補間回路２９から入力されている補
間データを固体撮像装置の出力とするよう切り替えスイ
ッチ２４を切り替える。ここで、切り替えスイッチ２４
に供給されている撮像データが欠陥画素のものではない
場合には、補間回路２８が補間しようとしている画素の
撮像データを供給する遅延時間を持った遅延回路２３か
らの撮像データを固体撮像装置の出力とするよう切り替
えスイッチ２４は接続されている。
【００３１】固体撮像装置の欠陥画素に対する補償能力
の目安として、実施例１と同様に、（スケール）縦：２
４０，横：７２０、（階調）２５６階調輝度画像の規格
を持つ２５枚の画像の全画素に対する（数１）で定義さ
れる補償誤差の標準偏差を用いる。ここで、補償誤差の
標準偏差が小さい固体撮像装置ほど、補償誤差の小さな
優れた補償能力をもつ。
の目安として、実施例１と同様に、（スケール）縦：２
４０，横：７２０、（階調）２５６階調輝度画像の規格
を持つ２５枚の画像の全画素に対する（数１）で定義さ
れる補償誤差の標準偏差を用いる。ここで、補償誤差の
標準偏差が小さい固体撮像装置ほど、補償誤差の小さな
優れた補償能力をもつ。
【００３２】本実施例による固体撮像装置の欠陥画素に
対する補償誤差の標準偏差と従来の固体撮像装置の欠陥
画素に対する補償誤差の標準偏差を（表３）に示してい
る。
対する補償誤差の標準偏差と従来の固体撮像装置の欠陥
画素に対する補償誤差の標準偏差を（表３）に示してい
る。
【００３３】
【表３】
【００３４】この（表３）から明らかなように、本実施
例による固体撮像装置は、欠陥画素の補償誤差を小さく
する点で優れた効果がある。
例による固体撮像装置は、欠陥画素の補償誤差を小さく
する点で優れた効果がある。
【００３５】ここで、（表２）、（表３）から明らかな
ように、本実施例で示した固体撮像装置の欠陥画素補償
能力は、実施例１に示した固体撮像装置の欠陥画素補償
能力に比べ劣っている。しかし、本実施例では学習デー
タの選別というニューラルネットワーク回路の学習にお
いて重要な作業おいて画像の性質を利用することがで
き、優劣情報推定ニューラルネットワークの構築が簡単
に行えるという利点がある。なお、本実施例で用いた１
２種類の補間方法は一例であり、補間の方法、あるいは
補間方法の種類数は別なものを使用してもよい。
ように、本実施例で示した固体撮像装置の欠陥画素補償
能力は、実施例１に示した固体撮像装置の欠陥画素補償
能力に比べ劣っている。しかし、本実施例では学習デー
タの選別というニューラルネットワーク回路の学習にお
いて重要な作業おいて画像の性質を利用することがで
き、優劣情報推定ニューラルネットワークの構築が簡単
に行えるという利点がある。なお、本実施例で用いた１
２種類の補間方法は一例であり、補間の方法、あるいは
補間方法の種類数は別なものを使用してもよい。
【００３６】以上のように、本実施例によれば、欠陥画
素選択回路２５により位置が特定された欠陥画素に対し
て、欠陥画素近傍の画素の撮像データから予め定めた補
間方法の優劣情報を出力するニューラルネットワーク３
０と上記ニューラルネットワークの出力した補間の優劣
情報から補間法を選択する補間選択回路２９と、上記補
間選択回路で選ばれた補間方法で補間する補間回路を設
けることにより、欠陥画素に対する補償誤差を小さくす
ることができる。
素選択回路２５により位置が特定された欠陥画素に対し
て、欠陥画素近傍の画素の撮像データから予め定めた補
間方法の優劣情報を出力するニューラルネットワーク３
０と上記ニューラルネットワークの出力した補間の優劣
情報から補間法を選択する補間選択回路２９と、上記補
間選択回路で選ばれた補間方法で補間する補間回路を設
けることにより、欠陥画素に対する補償誤差を小さくす
ることができる。
【００３７】また、本実施例では優劣情報推定ニューラ
ルネットワーク３０により得られた優劣情報から、補間
法選択回路２９で最適な補間方法を選択する構成とした
が、図７に示すように欠陥画素補間法推定ニューラルネ
ットワーク２７で最適な補間方法を推定する構成とする
こともできる。さらに、実施例１、実施例２において、
欠陥画素値推定ニューラルネットワーク１７、優劣情報
推定ニューラルネットワーク３０を４層の多層パーセプ
トロンとしたが、これらの構造は３層のＲＢＦモデル等
を用いても良い。
ルネットワーク３０により得られた優劣情報から、補間
法選択回路２９で最適な補間方法を選択する構成とした
が、図７に示すように欠陥画素補間法推定ニューラルネ
ットワーク２７で最適な補間方法を推定する構成とする
こともできる。さらに、実施例１、実施例２において、
欠陥画素値推定ニューラルネットワーク１７、優劣情報
推定ニューラルネットワーク３０を４層の多層パーセプ
トロンとしたが、これらの構造は３層のＲＢＦモデル等
を用いても良い。
【００３８】
【発明の効果】以上のように第一の発明によれば、正常
な画像を用いて、補償対象画素データとその近傍画素デ
ータ間の複雑なルールを学習しておき、欠陥画素近傍の
画素の撮像データから欠陥画素のデータを補償するニュ
ーラルネットワーク回路を設けることによって、欠陥画
素値を高精度に推定することができ、欠陥画素に対する
補償誤差を小さくすることができる優れた固体撮像装置
を実現できる。
な画像を用いて、補償対象画素データとその近傍画素デ
ータ間の複雑なルールを学習しておき、欠陥画素近傍の
画素の撮像データから欠陥画素のデータを補償するニュ
ーラルネットワーク回路を設けることによって、欠陥画
素値を高精度に推定することができ、欠陥画素に対する
補償誤差を小さくすることができる優れた固体撮像装置
を実現できる。
【００３９】さらに、第二の発明によれば、欠陥画素近
傍の画素の撮像データから予め定めた複数の補間方法の
優劣情報またはその優劣情報に基づく最適な補間方法を
出力するニューラルネットワーク回路を設けることによ
り、最適な補間方法を選択して欠陥画素の補償を行うこ
とができ、欠陥画素に対する補償誤差を小さくすること
ができる優れた固体撮像素子を実現できる。
傍の画素の撮像データから予め定めた複数の補間方法の
優劣情報またはその優劣情報に基づく最適な補間方法を
出力するニューラルネットワーク回路を設けることによ
り、最適な補間方法を選択して欠陥画素の補償を行うこ
とができ、欠陥画素に対する補償誤差を小さくすること
ができる優れた固体撮像素子を実現できる。
【図１】本発明の第１の実施例における固体撮像装置の
ブロック図
ブロック図
【図２】同実施例における補償対象画素と補償に用いる
画素とを示す図
画素とを示す図
【図３】同実施例における欠陥画素値推定ニューラルネ
ットワーク回路の概念的な構成を示す構成図
ットワーク回路の概念的な構成を示す構成図
【図４】本発明の第２の実施例における固体撮像素装置
のブロック図
のブロック図
【図５】同実施例の固体撮像装置で用いる補間方法を示
す図
す図
【図６】同実施例の固体撮像装置における優劣情報推定
ニューラルネットワーク回路の概念的な構成を示す構成
図
ニューラルネットワーク回路の概念的な構成を示す構成
図
【図７】同実施例の固体撮像装置の他の構成を示すブロ
ック図
ック図
【図８】従来の固体撮像装置の概略的構成を示すブロッ
ク図
ク図
【図９】従来の固体撮像装置における補間対象画素と補
間に用いる画素とを示す図
間に用いる画素とを示す図
１１ 固体撮像素子 １２ Ａ−Ｄ変換回路 １３ 遅延回路 １５ 欠陥画素選択回路 １６ データ整形回路 １７ 欠陥画素値推定ニューラルネットワーク ２１ 固体撮像素子 ２２ Ａ−Ｄ変換回路 ２３ 遅延回路 ２５ 欠陥画素選択回路 ２６ データ整形回路 ２７ 欠陥画素補間法推定ニューラルネットワーク ２８ 補間回路
Claims (5)
- 【請求項１】 固体撮像素子と、Ａ−Ｄ変換回路と、遅
延回路と、Ａ−Ｄ変換回路より画素毎に時系列的に供給
される撮像データから、ある配列の画素の撮像データを
同時に出力するデータ整形回路と、正常な画像を用いて
補償対象画素のデータとその近傍画素のデータの分布と
の間のルールを学習し、補償対象画素近傍の複数画素の
撮像データを入力、補償対象画素の補償用データを出力
とするニューラルネットワーク回路と、上記Ａ−Ｄ変換
回路から上記遅延回路を介して出力される撮像データが
欠陥位置の撮像データである場合に限り、その欠陥位置
の撮像データを上記ニューラルネットワーク回路より出
力される補償用データに置換する欠陥画素選択回路を備
える固体撮像装置。 - 【請求項２】 固体撮像素子と、Ａ−Ｄ変換回路と、遅
延回路と、Ａ−Ｄ変換回路より画素毎に時系列的に供給
される撮像データから、ある配列の画素の撮像データを
同時に出力するデータ整形回路と、正常な画像を用いて
補間対象画素近傍の画素のデータと予め定めた複数の補
間方法の優劣情報との間のルールを学習し、補間対象画
素近傍の複数画素の撮像データを入力、補間方法の優劣
情報を出力とするニューラルネットワーク回路と、上記
ニューラルネットワーク回路の補間方法の優劣情報から
最適な補間方法を選択する補間法選択回路と、上記補間
法選択回路で選択された補間方法を用いて補間を行う補
間回路と、上記遅延回路からの出力が欠陥位置の撮像デ
ータである場合に限り、その欠陥位置の撮像データを上
記補間回路より出力される補間データに置換する欠陥画
素選択回路を備える固体撮像装置。 - 【請求項３】 固体撮像素子と、Ａ−Ｄ変換回路と、遅
延回路と、Ａ−Ｄ変換回路より画素毎に時系列的に供給
される撮像データから、ある配列の画素の撮像データを
同時に出力するデータ整形回路と、正常な画像を用いて
補間対象画素近傍の画素のデータと予め定めた複数の補
間方法の優劣情報との間のルールを学習し、補間対象画
素近傍の複数画素の撮像データを入力、上記補間方法の
優劣情報に基づく最適な補間方法を出力とするニューラ
ルネットワーク回路と、上記ニューラルネットワーク回
路で出力された補間方法を用いて補間を行い補間データ
を出力する補間回路と、上記遅延回路からの出力が欠陥
位置の撮像データである場合に限り、その欠陥位置の撮
像データを上記補間回路より出力される補間データに置
換する欠陥画素選択回路を備える固体撮像装置。 - 【請求項４】 ニューラルネットワーク回路は多層パー
セプトロンから構成される請求項１乃至３のいずれかに
記載の固体撮像装置。 - 【請求項５】 ニューラルネットワーク回路はＲＢＦか
ら構成される請求項１乃至３のいずれかに記載の固体撮
像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6140129A JPH089264A (ja) | 1994-06-22 | 1994-06-22 | 固体撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6140129A JPH089264A (ja) | 1994-06-22 | 1994-06-22 | 固体撮像装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH089264A true JPH089264A (ja) | 1996-01-12 |
Family
ID=15261576
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6140129A Pending JPH089264A (ja) | 1994-06-22 | 1994-06-22 | 固体撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH089264A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10170299A (ja) * | 1996-12-10 | 1998-06-26 | Ricoh Co Ltd | 携帯型情報処理装置及び携帯型情報処理装置の場所識別方法 |
| JP2006324908A (ja) * | 2005-05-18 | 2006-11-30 | Fujifilm Holdings Corp | データ補正処理装置及びデータ補正処理方法 |
| US7206020B2 (en) | 2001-08-31 | 2007-04-17 | Hitachi Kokusai Electric Inc. | Adaptive white defect signal correction method and image-pickup apparatus using the method |
| KR100709323B1 (ko) * | 2005-02-04 | 2007-04-20 | 삼성전자주식회사 | 확률 신경회로망 이론을 적용한 영상보상장치 및 방법 |
| JP2018164139A (ja) * | 2017-03-24 | 2018-10-18 | 株式会社半導体エネルギー研究所 | 撮像装置および電子機器 |
| US11748862B2 (en) | 2020-07-03 | 2023-09-05 | Samsung Electronics Co., Ltd. | Image processing apparatus including neural network processor and method of operation |
-
1994
- 1994-06-22 JP JP6140129A patent/JPH089264A/ja active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10170299A (ja) * | 1996-12-10 | 1998-06-26 | Ricoh Co Ltd | 携帯型情報処理装置及び携帯型情報処理装置の場所識別方法 |
| US7206020B2 (en) | 2001-08-31 | 2007-04-17 | Hitachi Kokusai Electric Inc. | Adaptive white defect signal correction method and image-pickup apparatus using the method |
| KR100709323B1 (ko) * | 2005-02-04 | 2007-04-20 | 삼성전자주식회사 | 확률 신경회로망 이론을 적용한 영상보상장치 및 방법 |
| JP2006324908A (ja) * | 2005-05-18 | 2006-11-30 | Fujifilm Holdings Corp | データ補正処理装置及びデータ補正処理方法 |
| JP4557795B2 (ja) * | 2005-05-18 | 2010-10-06 | 富士フイルム株式会社 | データ補正処理装置及びデータ補正処理方法 |
| JP2018164139A (ja) * | 2017-03-24 | 2018-10-18 | 株式会社半導体エネルギー研究所 | 撮像装置および電子機器 |
| US11748862B2 (en) | 2020-07-03 | 2023-09-05 | Samsung Electronics Co., Ltd. | Image processing apparatus including neural network processor and method of operation |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR900000332B1 (ko) | 흠 보정장치 | |
| EP0687106B1 (en) | Defective pixel correction circuit | |
| EP0395265B1 (en) | Motion dependent video signal processing | |
| US7847829B2 (en) | Image processing apparatus restoring color image signals | |
| US5337154A (en) | Format conversion of digital video signals, integration of digital video signals into photographic film material and the like, associated signal processing, and motion compensated interpolation of images | |
| EP0395273B1 (en) | Motion dependent video signal processing | |
| US20010052938A1 (en) | Color image processing apparatus | |
| JP2006013558A (ja) | 画像処理装置、画像処理プログラム | |
| US20090201417A1 (en) | Progressive-to-interlace conversion method, image processing apparatus, imaging apparatus | |
| JP2003078821A (ja) | 撮像装置 | |
| JP3710452B2 (ja) | 画像読み取り装置、データ補間方法及び制御プログラム | |
| JP4317619B2 (ja) | 画像処理装置 | |
| JP2006180099A (ja) | 画素欠陥補正装置 | |
| US20040257451A1 (en) | Image signal processing apparatus | |
| JPH089264A (ja) | 固体撮像装置 | |
| JPH08205181A (ja) | 色収差補正回路および色収差補正機能付き撮像装置 | |
| JP4688753B2 (ja) | 補間処理装置および補間処理方法 | |
| KR100733010B1 (ko) | 이미지 센서의 결함픽셀 보간 방법 및 장치 | |
| JPH1141565A (ja) | 画像データ補間装置 | |
| JP4483746B2 (ja) | 欠陥画素補正方法及び装置 | |
| JP4326435B2 (ja) | 画像読取装置及び信号処理方法 | |
| JP2008028475A (ja) | 画像処理装置、画像処理プログラム、画像処理プログラムを記録する記録媒体、画像処理方法 | |
| JP3287427B2 (ja) | 画像読取装置 | |
| JPH07212752A (ja) | ディジタル画像信号の処理装置 | |
| JP3608228B2 (ja) | ディジタル画像信号の変換装置 |