JP4803800B2 - 画像センサーデータ処理装置 - Google Patents

Description

本発明は、前処理（少なくとも黒レベル補正及びホワイトバランス補正を含む）及び欠陥画素補正処理を行う画像センサーデータ処理装置に関する。

図３の（ａ）及び（ｂ）は、従来技術に於ける画像センサーデータ処理装置の構成を示すブロック図である。

ここで、欠陥画素補正処理のアルゴリズムは多種にわたるが、代表的なものとしては、（ａ）欠陥画素の座標を予め検査で特定して得られた欠陥画素の座標データをメモリに格納して補正を行うマニュアル的な補正方法、及び、（ｂ）欠陥画素の有無を自動的に判別して欠陥画素有りのときに補正を行う自動欠陥画素補正方法がある。

（ａ）の方法を採用する場合には、欠陥画素補正部をセンサー前処理部の前後どちらに実装しても良いが、図３の（ａ）の様に、センサー前処理部の後部に欠陥画素補正部が配置される場合が多い。特に前処理後でないと欠陥補正の精度があがらない特殊なセンサーを用いるときには、図３の（ａ）の構成が必須となる。

他方、（ｂ）の方法を採用する場合には、前処理を行う前の段階で欠陥画素を識別しておくことが必要であり、図３の（ｂ）の様に、センサー前処理部の前部に欠陥画素補正部が配置される。

従来、欠陥画素補正部は、既述した様に、欠陥画素補正処理のアルゴリズム（（ａ）の方法か（ｂ）の方法か）に応じて前処理部の前後どちらかに固定配置されていた。従って、欠陥画素補正処理のアルゴリズムに対応して、２種類の画像センサーデータ処理装置を設ける必要性があった。

この発明は斯かる問題点の認識を踏まえて成されたものであり、その目的とするところは、採用される欠陥画素補正処理のアルゴリズムの種類に関係なく、欠陥画素補正部の共有化を図ることが可能な画像センサーデータ処理装置を提供する点にある。

本発明の主題は、画像センサーデータ処理装置であって、画像センサーデータを受信する第１入力端と、第２入力端とを有し、選択信号のレベルに応じてその出力を切替える第１セレクタと、前記第１セレクタの出力に対して前処理を行うセンサー前処理部と、前記センサー前処理部の出力を受信する第１入力端と、前記画像センサーデータを受信する第２入力端とを有し、前記選択信号のレベルに応じてその出力を切替える第２セレクタと、第１入力端と、前記センサー前処理部の前記出力を受信する第２入力端とを有し、前記選択信号のレベルに応じてその出力を切替える第３セレクタと、前記第２セレクタの出力に対して欠陥画素補正処理を行い、その出力を前記第１セレクタの前記第２入力端及び前記第３セレクタの前記第１入力端に送信する欠陥画素補正部とを備え、前記選択信号のレベルが第１レベルのときには、前記第１、第２及び第３セレクタは何れもその第１入力端に入力する信号をその出力信号として出力する一方、前記選択信号のレベルが第２レベルのときには、前記第１、第２及び第３セレクタは何れもその第２入力端に入力する信号をその出力信号として出力し、前記欠陥画素補正部は、２つ以上のアルゴリズムによって前記欠陥画素補正処理を行うことが可能に構成されており、前記２つ以上のアルゴリズムのうちの何れのアルゴリズムを利用するのかについての制御と、前記選択信号を前記第１レベルと前記第２レベルの何れに設定するのかについての制御とを、連動させて制御するＣＰＵを更に備えることを特徴とする。

以下、この発明の主題の様々な具体化を、添付図面を基に、その効果・利点と共に、詳述する。

請求項１に記載の本発明の主題によれば、欠陥画素補正処理のアルゴリズムに関係無く、第１乃至第３セレクタの各々の切換えにより、センサー前処理部の前後何れにも欠陥画素補正部を配置することが出来るため、欠陥画素補正回路の共有化を図ることが出来る。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像センサーデータ処理装置の構成を示すブロック図である。

図１に於いて、第１セレクタ１は、画像センサーデータを受信する第１入力端（０）と、後述する欠陥画素補正部５の出力信号を受信する第２入力端（１）とを有し、欠陥画素補正部位置選択（以下、選択信号と言う。）Ｓのレベルに応じてその出力を切替える。又、センサー前処理部４は、入力する信号に対して、黒レベル補正、リニアライゼーション処理（但し、使用する画像センサーの画素数によってはセンサー出力の線形性が保たれているため、その場合には当該処理は不要である。）及びホワイトバランス補正を行う演算処理部である（その構成等は一般的に公知である。）。又、第２セレクタ２は、センサー前処理部４の出力信号を受信する第１入力端（０）と、画像センサーデータを受信する第２入力端（１）とを有し、上記選択信号Ｓのレベルに応じてその出力を切替える。又、欠陥画素補正部５は、欠陥画素補正の方法として、２つ以上のアルゴリズムを有する補正処理部である。更に、第３セレクタ３は、欠陥画素補正部５の出力信号を受信する第１入力端（０）と、センサー前処理部４の出力信号を受信する第２入力端（１）とを有し、上記選択信号Ｓのレベルに応じてその出力を切替える。

ここで、図２は、図１の欠陥画素補正部５の内部構成例を模式的に示すブロック図である。特に図２の同部５は、２つの欠陥画素補正アルゴリズム（メモリ補正形（マニュアル方式）及び自動判別補正形）を有している。

図２に於いて、メモリ補正方式部５０にＨレベル（オン）の第１イネーブル信号ＥＮ０がＣＰＵ（図示せず）から入力された場合には、メモリ補正形のアルゴリズムが欠陥画素補正部５で実行される。即ち、比較器５２は、入力した画素アドレスデータと、欠陥画素の位置座標が格納されたメモリ５１の出力とを比較して、両位置座標が一致する場合にはＨレベル（オン）のパルス信号を補間処理部５４に出力し、その入力タイミングに応じて補間処理部５４は当該欠陥画素の画像データを補間処理する。補間処理部５４に於ける補間処理は既知の方法が採用されており、例えば、当該欠陥画素の周囲の画素の画像データの平均値で以って当該欠陥画素の補間後の画像データに設定する。そして、補間処理部５４の出力信号がセレクタ５５より補正後のデータとして出力される。これに対して、両位置座標が不一致の場合には、比較器５２は、Ｌレベル（オフ）のパルス信号をＯＲ回路５６（このときＯＲ回路５６の他方の入力端もＬレベルにある。）を介して補間処理部５４に出力し、補間処理部５４は上記の補間処理を実行せず、入力した画像データがそのままセレクタ５５より出力される。

これに対して、欠陥画素自動判別部５３にＨレベル（オン）の第２イネーブル信号ＥＮ１がＣＰＵ（図示せず）から入力された場合には、自動判別形のアルゴリズムが欠陥画素補正部５で実行される。ここで、欠陥画素自動判別部５３に於いて実行される判別方法は一般的に既知のものであり、例えば注目画素のデータとその周囲の画素のデータとを比較して見て所定値以上に相違する場合には、欠陥画素自動判別部５３は、当該注目画素は欠陥画素であると認識・判別し、欠陥有りを示すＨレベルのパルス信号を、ＯＲ回路５６を介して、補間処理部５４に出力され、同部５４は既述した補間処理を実行し、セレクタ５５から補間処理後のデータが出力される。他方、比較結果が所定値未満ならば、欠陥画素自動判別部５３は、当該注目画素のデータは正常であると認識・判別して、Ｌレベルのパルス信号を補間処理部５４に出力し、補間処理部５４は補間処理を実行せず、入力した画像データがそのままセレクタ５５から出力される。

尚、両イネーブル信号ＥＮ０、ＥＮ１を入力して、両アルゴリズムを欠陥画素補正部５に実行させても良い。

次に、図１の画像センサーデータ処理装置の動作について記述する。

既述したマニュアル的なメモリ補正形の欠陥画素補正アルゴリズムを採用する場合には、正確に欠陥画素を判別して補正出来る反面、予め欠陥画素の検査及びその位置座標のメモリへの格納と言う処理が必要となるため、この様なコストがかかる分だけ、高価な機種（高価なデジタルスチルカメラ等）にメモリ補正形の本アルゴリズムを適用することが好適であると、言える。そして、この場合には、センサー前処理部の後部に欠陥画素補正部を配備することが、全ての画像センサーの機種に対応可能とする観点から見て好ましい。この様な高価な機種に対応する場合には、ＣＰＵ（図示せず）は、上記選択信号Ｓのレベルを第１レベル（例えばＬレベル）に設定する。その場合、図１に示す各セレクタ１，２，３は次の動作を行う。即ち、上記選択信号Ｓのレベルが第１レベルのときには、第１セレクタ１、第２セレクタ２及び第３セレクタ３は何れも、その第１入力端（０）に入力する信号を、その出力信号として選択・出力する。その結果、本装置に入力した画像センサーデータは第１セレクタ１によってセンサー前処理部４に入力されて既述した前処理を受け、前処理済みの画像センサーデータは更に第２セレクタ２によって欠陥画素補正部５に入力されてメモリ補正形のアルゴリズムによる補間を受けた上で、第３セレクタ３から補正後データとして出力される。

他方、既述した自動判別形の欠陥画素補正アルゴリズムを採用する場合には、欠陥画素補正の正確性は必ずしも良いとは言えないが、欠陥画素の検査を予め必要としない点で低コストとなるので、自動判別形の欠陥画素補正アルゴリズムは廉価な機種（例えば廉価なデジタルスチルカメラ等）への適用に好適である。斯かる場合、既述した通り、前処理を行う前に欠陥画素を識別することが前提となるアルゴリズムの場合、センサー前処理部の前部に欠陥画素補正部を配備することが、最適な結果が得られる点で、好ましい。又、認識率が高いアルゴリズムの場合にも、センサー前処理部の前部に欠陥画素補正部を同様に配置する必要性が高い。この様な廉価な機種への適用に対応する場合には、ＣＰＵ（図示せず）は、上記選択信号Ｓのレベルを第２レベル（例えばＨレベル）に設定する。その場合、図１に示す各セレクタ１，２，３は次の動作を行う。即ち、上記選択信号Ｓのレベルが第２レベルのときには、第１セレクタ１、第２セレクタ２及び第３セレクタ３は何れも、その第２入力端（１）に入力する信号を、その出力信号として選択・出力する。その結果、本装置に入力した画像センサーデータは先ず第２セレクタ２によって欠陥画素補正部５に入力されて自動判別形のアルゴリズムによる補間を受け、その後、欠陥画素補正された画像センサーデータは、第１セレクタ１によってセンサー前処理部４に入力されて既述した前処理を受けた上で、第３セレクタ３から補正後データとして出力される。

尚、画像センサーの種類にもよるが、メモリ補正形の欠陥画素補正アルゴリズムを採用する場合にも、自動判別形の場合と同様に、上記選択信号のレベルを第２レベル（例えばＨレベル）に設定しても良い。

以上に記載した通り、本実施の形態によれば、欠陥画素補正処理のアルゴリズムに関係無く、第１乃至第３セレクタ１，２，３の各々の切換えにより、センサー前処理部４の前後何れにも欠陥画素補正部（欠陥画素補正回路）５を配置することが出来るため、欠陥画素補正回路の共有化を図ることが出来る。

（付記）
以上、本発明の実施の形態を詳細に開示し記述したが、以上の記述は本発明の適用可能な局面を例示したものであって、本発明はこれに限定されるものではない。即ち、記述した局面に対する様々な修正や変形例を、この発明の範囲から逸脱することの無い範囲内で考えることが可能である。

本発明は、例えばデジタルスチルカメラの画像センサーのデータに対して前処理及び欠陥画素補正処理を実施するＬＳＩ回路への適用に好適である。

本発明の実施の形態１に係る画像センサーデータ処理装置の構成を示すブロック図である。 欠陥画素補正部の内部構成を模式的に示すブロック図である。 従来技術に係る画像センサーデータ処理装置の構成を示すブロック図である。

符号の説明

１ 第１セレクタ
２ 第２セレクタ
３ 第３セレクタ
４ センサー前処理部
５ 欠陥画素補正部

Claims (1)

1. 画像センサーデータを受信する第１入力端と、第２入力端とを有し、選択信号のレベルに応じてその出力を切替える第１セレクタと、
   前記第１セレクタの出力に対して前処理を行うセンサー前処理部と、
   前記センサー前処理部の出力を受信する第１入力端と、前記画像センサーデータを受信する第２入力端とを有し、前記選択信号のレベルに応じてその出力を切替える第２セレクタと、
   第１入力端と、前記センサー前処理部の前記出力を受信する第２入力端とを有し、前記選択信号のレベルに応じてその出力を切替える第３セレクタと、
   前記第２セレクタの出力に対して欠陥画素補正処理を行い、その出力を前記第１セレクタの前記第２入力端及び前記第３セレクタの前記第１入力端に送信する欠陥画素補正部とを備え、
   前記選択信号のレベルが第１レベルのときには、前記第１、第２及び第３セレクタは何れもその第１入力端に入力する信号をその出力信号として出力する一方、
   前記選択信号のレベルが第２レベルのときには、前記第１、第２及び第３セレクタは何れもその第２入力端に入力する信号をその出力信号として出力し、
   前記欠陥画素補正部は、２つ以上のアルゴリズムによって前記欠陥画素補正処理を行うことが可能に構成されており、
   前記２つ以上のアルゴリズムのうちの何れのアルゴリズムを利用するのかについての制御と、前記選択信号を前記第１レベルと前記第２レベルの何れに設定するのかについての制御とを、連動させて制御するＣＰＵ
   を更に備えることを特徴とする、画像センサーデータ処理装置。

Images