JP4759628B2

JP4759628B2 - イメージデータ処理装置、撮像システム、イメージデータ処理方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体

Info

Publication number: JP4759628B2
Application number: JP2009142701A
Authority: JP
Inventors: 雄一郎山下; 一博園田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-06-15
Filing date: 2009-06-15
Publication date: 2011-08-31
Anticipated expiration: 2022-02-26
Also published as: JP2009207195A

Description

本発明は、イメージデータ処理装置、撮像システム、イメージデータ処理方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体に関し、特に、イメージセンサからのデータを補正するものに用いて好適なものである。

イメージセンサはある確率で画素の点欠陥を有している。従来は、その点欠陥を以下のような方式で補正していた。
１）画素の点欠陥のアドレスをあらかじめメモリに記憶させておく。
２）イメージセンサからのデータをフレームメモリに記憶する。
３）フレームメモリに記憶されたデータの各画素データうち上記メモリに記憶されたアドレスに対応する画素データを、その周辺画素データを用いた演算により補間する。

しかしこの方式では、全画面に対応したフレームメモリが必要であり、コストの増加につながることや、また、一枚の画像データを取り終えた後に演算を行うことから単位時間あたりのフレーム出力枚数が欠陥補正処理によって減ってしまうことなどの問題があった。

また、この方式を採用した際、実使用に耐える時間内に処理を終えるためには、イメージセンサの処理動作と比較して、より高速なクロックで処理ＩＣが動作する必要があり、そのような場合には、ＩＣが生み出すノイズがイメージセンサに伝わってしまい、画質が劣化するという欠点があった。

本発明は上述の問題点にかんがみてなされたもので、従来必要とされたフレームメモリを必要とせず、リアルタイムでイメージセンサから出力されるデータの欠陥補正を行うことができるようにすることを目的とする。

本発明のイメージデータ処理装置は、イメージデータを画素データの行ごとに分けて出力するイメージセンサの出力端子に接続されたイメージデータ処理装置において、前記イメージセンサの補正対象画素のアドレスデータを記憶するメモリと、前記イメージセンサから出力される現在の画素データの行を指示する行カウンタと、前記メモリから前記アドレスデータを読み出すメモリデータフェッチ部と、前記メモリデータフェッチ部で読み出された前記アドレスデータの補正対象画素が属する画素データの行と前記行カウンタで指示された画素データの行とが一致しているか否かを判定するアドレスデコード部と、前記メモリに記憶された前記アドレスデータに基づいて設定されるとともに、前記アドレスデコード部での判定結果に応じて補正指示信号を出力するシフトレジスタと、前記シフトレジスタから出力された補正指示信号をもとに前記イメージセンサから出力される画素データの補正を行う画像補正部とを有し、前記イメージセンサから順次出力される前記イメージデータに同期して前記シフトレジスタが動作し、前記イメージセンサからの前記イメージデータに対する補正が制御され、前記シフトレジスタは、前記イメージセンサの出力端子に現れる画素データに同期してシフトして前記補正指示信号を前記画像補正部に出力することを特徴とするものである。
また、本発明は、上述したイメージデータ処理装置によるイメージデータ処理方法、及び、当該イメージデータ処理方法をコンピュータに実行させるためのコンピュータプログラム、並びに、当該コンピュータプログラムを格納するコンピュータ読み取り可能な記憶媒体を含む。

本発明によれば、特定画素、たとえば補正対象の画素のアドレスに該当する画素データがイメージセンサから入力されるのに同期して補正指示を出力することができるので、イメージセンサから出力されるデータの欠陥補正をリアルタイムで行うことができ、従来必要とされたフレームメモリを不要とすることができる。これにより、従来の補正回路に比べて少ない回路規模とすることができ、低いクロック周波数で駆動可能な回路を採用することで、より重畳されるノイズの少ないイメージデータ処理を実現することができる。また、フレームメモリに一度取り込む必要がなくなることから、より早いフレームレートを実現することができるようになる。

また、画素補正指示信号とイメージセンサから取り込む画素データとを同期させることで、正確に補正対象画素を処理することができる。

第１の実施形態におけるイメージデータ処理装置の機能ブロック図である。第１の実施形態におけるイメージデータ処理装置の初期化処理と補正処理の流れを示した図である。第２の実施形態におけるイメージデータ処理装置の機能ブロック図である。第２の実施形態におけるイメージデータ処理装置の初期化処理と補正処理の流れを示した図である。第２の実施形態におけるイメージデータ処理装置の初期化処理と補正処理の流れを示した図である。本発明の係わるイメージデータ処理装置を撮像装置に適用した例を示すブロック図である。

次に、添付図面を参照しながら本発明のイメージデータ処理装置、撮像システム、イメージデータ処理方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体の実施の形態について説明する。

（第１の実施形態）
本発明の第１の実施形態を図１、図２を用いて説明する。
図１は本実施形態におけるイメージデータ処理装置１１３の機能ブロック図である。１０１はデータの発生源となるイメージセンサであり、イメージデータ処理装置１１３に接続されている。

イメージデータ処理装置１１３において、１０２はイメージデータ処理装置１１３の入力端子である。１０３は画素補正処理を行う画像補正部であり、イメージセンサ１０１からのデータが入力される入力端子１０４、シフトレジスタ１１０からの画素補正指示信号が入力される入力端子１０５、画素補正結果を出力する出力端子１１２を有する。

１０６は補正対象のアドレスデータを保持するアドレス保持メモリ部で、任意のフォーマットでデータが収められている。１０７はメモリフェッチ部であり、アドレス保持メモリ部１０６に保持されているメモリデータが所定の補正対象アドレスごとの単位で取り込まれる。１０８は行カウンタである。

１０９はアドレスデコーダであり、行カウンタ１０８の情報とメモリフェッチ部１０７からの補正対象アドレスの情報が入力される。１１０は１ビットシリアルのシフトレジスタであり、アドレスデコーダ１０９から出力されたデコード結果を受け、最終段１１１から画素補正指示信号を画像補正部１０３の入力端子１０５に出力する。

次に、この機能ブロックの動作を説明する。本実施形態では、アドレス保持メモリ部１０６内のアドレスの配列として、補正対象画素のアドレスは、行番号の若い順にソートされているとする。

まず、シフトレジスタ１１０を完全に初期化する。ここで初期状態を「０」とし、補正指示信号を「１」とする。このシフトレジスタ１１０の初期化処理期間に、アドレス保持メモリ部１０６からメモリフェッチ部１０７にアドレスデータが読み出される。このアドレスデータは、補正対象画素の行と列を示す情報を有している。

一方、行カウンタ１０８には、現在の補正対象の行番号が保持されている。

アドレスデコーダ１０９においては、メモリフェッチ部１０７のアドレスデータに含まれる行番号と行カウンタ１０８に保持されている行番号との２つの行番号を比較し、一致している場合は、現在メモリフェッチ部１０７でフェッチされている列番号は補正されるべき画素を示しているとして、シフトレジスタ１１０にデコード信号を送る。たとえば、メモリフェッチ部１０７でフェッチされている列番号が１０番だったら、シフトレジスタ１１０の１０番目に「１」を書き込む。

その後、次のアドレスデータを取り込み、上記と同様のアドレスデコード及びシフトレジスタ１１０の初期化処理を行う。また、本動作は行番号が一致しなくなったところで一旦停止する。

次に、画素補正期間（シフトレジスタ１１０の動作期間）に移行する。
まず、イメージセンサ１０１からのデータと同じレートでシフトレジスタ１１０を動作させる。たとえば、ある行の１０列目のデータが補正されるべき画素であれば、イメージセンサ１０１からの１０個の画素データが入力端子１０４にくる間に、ちょうどシフトレジスタ１１０の画素補正指示信号が初期化処理時に指示信号入力端子１０５までシフトされ、１０列目の画素データが画像補正部１０３に入力されるのと同時期に画素補正指示信号が画像補正部１０３に入力される。

画像補正部１０３においては、シフトレジスタ１１０からの画素補正指示信号を受けて何らかの決められた画像補正処理を行い、その結果を出力端子１１２から出力する。

ここで、シフトレジスタ１１０は、その初期化処理と補正処理（画素補正信号を出力するためのシフト処理）とを同時に行うことができないので、スケジューリングが必要となる。図２を用いてその考え方を説明する。
図２は、所定の行に着目してシフトレジスタ１１０の初期化処理と補正の流れを示した図である。

２０１はイメージセンサ１０１の処理動作を時間の流れに対して示したものであり、２０２はそれに対応したシフトレジスタ１１０（補正回路）の処理動作を示したものである。イメージセンサ１０１は、行が変わる間に水平ブランキング期間という、画素データを出力しない期間を有しているので、たとえばｎ行目の水平ブランキング期間においては、ｎ行目の補正データのデコード及びシフトレジスタ１１０の初期化処理を行う。その初期化処理の後、イメージセンサ１０１からの画素データに同期してシフトレジスタ１１０を動作させ、所定の画素データの補正を行う。

ここで、イメージセンサ１０１であるが、たとえばＣＭＯＳセンサ、ＣＣＤ、その他のデバイスなどが考えられる。本発明においては、イメージセンサ１０１の種類にはよらず、適用可能である。

また、本実施形態では、イメージセンサ１０１が直接補正装置（イメージデータ処理装置１１３）に接続されている。その間のデータ形態がアナログデータ／デジタルデータ、どちらであるかはここでは限定していない。たとえば、イメージセンサ１０１からのアナログデータを直接補正装置（イメージデータ処理装置１１３）で処理しても良く、もしくは、一度ＡＤ変換されたデータを処理しても良い。

また、ここではメモリフェッチ／アドレスデコードの考え方として、まず行が若い順にソートされていることを仮定し、行が一致した場合に、メモリフェッチされているその列の位置をデコードし、シフトレジスタ１１０を設定して、行が一致しなくなるまでその処理をくりかえし、そこでメモリフェッチを停止するという方式を採用している。

ただし、アルゴリズムはこれのみに限定されず、キズアドレス群から補正すべきアドレスを探すことができればいかなる方法でも良い。たとえば１行進むごとにアドレスの格納されたメモリを先頭から最後までスキャンしてアドレスを見つけても良い。この場合は、全メモリのスキャンが必要なので判定に時間がかかるが、アドレスをソートしなくてはならないという前提を取り除くことができる。

また、ここで画像補正部１０３での画像補正処理の内容については言及していないが、シフトレジスタ１１０からの画素補正指示に従って補正を行うものであればいかなるものでも、本発明の効果を奏することができる。たとえば画像補正部１０３が遅延素子を有しており、１画素もしくは複数画素前の値を補正後の画素出力として出力しても良い。或いは、たとえば画像補正部１０３が遅延素子と遅延出力機能を有しており、１画素もしくは複数画素後の値を補正後の画素出力として出力しても良い。

また、前記２つの方法では、同一行のデータを用いることでしか画素補正を行えず、その画素の補正結果と上下周辺画素との相関は無関係となる。上下周辺画素との相関を無関係としないため、たとえば補正回路が数行分のラインメモリと演算機能、遅延出力機能とを有し、隣接加算を行った補正結果を出力しても良い。この場合の出力は、入力から１行もしくは数行遅れることになる。

また、行カウンタ１０８は、行という単語を使っているがこれには限定されない。画素がグループに分割されている際に、そのグループを識別する目的でここでは行の概念を導入したのみであり、たとえばグループカウンタという呼び方をしても良い。

また、列数とシフトレジスタ１１０の段数は、本実施形態においては対応させる必要がある。たとえばイメージセンサ１０１の列数が３０００である場合、シフトレジスタ１１０の段数も３０００段必要となる。なお、たとえば先頭のｎ画素だけを補正対象としたいような場合は、シフトレジスタ１１０の段数をｎ段に限定することで回路規模を縮小することができる。

また、回路作製プロセスにおいて、シフトレジスタ１１０や画像補正部１０３などを同一半導体チップに形成することによっても、回路規模を縮小することができる。

また、画素の読み出しが始まる前に、決められた水平ブランキング期間で所定行の補正データの初期化処理をする必要がある。この要求に対応する方法としては、１）水平ブランキング期間で初期化処理をできないような行あたりの補正対象画素数を許さないような仕様にする、２）初期化処理が終了次第、画素の読み出しを開始するようにタイミング発生を工夫する、などが考えられる。どちらも設計項目であり、これにより、本発明の効果を限定するものではない。

また、処理ＩＣの生み出すノイズを最低限にしたい場合は、初期化処理時のメモリフェッチなどに用いるクロックの周波数をできる限り低周波にしなくてはならない。このような場合は使用可能なクロックスピードと、補正対象画素数の最適化が必要となるが、これらも設計項目である。

また、本実施形態では１０列目の画素を補正するために１０番目のレジスタに指示信号を与えているが、たとえば１列目（先頭）の画素を補正するために１度もシフトを必要としない場合は、９番目のレジスタに指示信号を与えればよい。先頭の画素を補正するために何度かダミーのシフトを必要とする場合は、それを見越したレジスタの位置に指示信号を設定すればよい。

以上説明してきたように、本実施形態の構成とすることで、補正対象の画素のアドレスに該当する画素データがイメージセンサ１０１から画像補正部１０３に入力されるのに同期してシフトレジスタ１１０から画像補正部１０３に画素補正指示信号を出力するようにしたので、イメージセンサ１０１から出力されるデータの欠陥補正をリアルタイムで行うことができ、従来必要とされたフレームメモリを不要とすることができる。これにより、従来の補正回路に比べて少ない回路規模とすることができ、低いクロック周波数で駆動可能な回路を採用することで、より重畳されるノイズの少ないイメージデータ処理を実現することができる。

また、シフトレジスタ１１０からの画素補正指示信号とイメージセンサ１０１から取り込む画素データとを同期させることで、正確に補正対象画素を処理することができる。

また、イメージセンサ１０１から画素データが出力されない期間を利用してシフトレジスタ１１０の初期化処理を行うことで、その初期化処理に必要な時間を実効的にゼロにすることができる。これにより、より早いフレームレートを実現することができるようになる。

（第２の実施形態）
本発明の第２の実施形態を図３、図４、図５を用いて説明する。
図３は本実施形態におけるイメージデータ処理装置の機能ブロック図である。なお、上記第１の実施形態で説明した構成要素には同一の符号を付し、以下では上記第１の実施形態との相違点を中心に説明する。

本実施形態では、アドレスデコーダ１０９は、複数のシフトレジスタに設定を行う。本実施形態では、第１のシフトレジスタ１１０と第２のシフトレジスタ３０１の２つのシフトレジスタを有する場合を説明する。

図３に示すように、シフトレジスタ１１０、３０１は、初期化イネーブル端子３０３、３０４をそれぞれ有し、初期化イネーブルの指示が来たときのみアドレスデコーダ１０９からの指示を受け付ける。逆に初期化処理の指示を受けていないシフトレジスタは、画素補正指示信号出力のためのシフト処理を行う。

第１及び第２のシフトレジスタ１０１、３０１の最終段１１１、３０２は、セレクタ３０５を介して画像補正部１０３の指示信号入力端子１０５に接続される。また、第１の実施形態の行カウンタ１０８は、ここでは群カウンタ３０６と名称を変更している。

次に、本機能ブロックの動作を説明する。
基本的には第１の実施形態と同等の動作をする。異なる点は、並列に構成された第１及び第２シフトレジスタ１１０、３０１とセレクタ３０５にまつわる動作である。たとえば第１のシフトレジスタ１１０が初期化処理されている際、セレクタ３０５は、第２のシフトレジスタの最終段３０２を画像補正部１０３の指示信号入力端子１０５へ接続し、そして、第２のシフトレジスタ３０１が画像補正部１０３に画素補正指示信号を送る。第２のシフトレジスタ３０１が初期化処理されている際には、この逆の処理動作をする。

次に、図４を用いて、本実施形態のイメージデータ処理装置の初期化処理と補正処理（画素補正信号を出力するためのシフト処理）のスケジュールを説明する。ここで４０１はイメージセンサ１０１の処理動作を時間軸に対して模式的に示したものであり、たとえばｎ行目のアクセスについては、水平ブランキング期間４０２と、画素読み出し期間４０３からなる。ここでｎ行目読み出し期間４０３は４分割されており、それぞれ第１群読み出し期間４０４、第２群読み出し期間４０５、第３群読み出し期間４０６、第４群読み出し期間４０７で構成されている。また、４０８は１つ前の行であるｎ−１行目の第４群読み出し期間である。

第１のシフトレジスタ１１０においては、ｎ−１行目の第４群読み出しの間に、イメージセンサ１０１からの画素データに同期して画素補正処理動作を行う（４０９）。また、第２のシフトレジスタ３０１においては、次の読み出されるべきｎ行目の第１群データの初期化処理を行う（４１０）。このようにして、各シフトレジスタが初期化処理と補正処理とを交互に繰り返す動作を行う。

次に、本実施形態の効果を説明する。
上記第１の実施形態においては、ｎ行目の補正データの初期化処理は、その水平ブランク期間でのみ行うために、その期間でｎ行目の列分の設定が必要であった。たとえばイメージセンサ１０１の列数が３０００列存在する場合、シフトレジスタも３０００段必要であった。

それに対して、本実施形態においては、たとえば３０００列を７５０列ごとの４群に分け、７５０段のシフトレジスタを並列に２つ用意することで、必要となるシフトレジスタを減少させることができる。さらに、たとえば４群ではなく３００群に分割すれば１０段のシフトレジスタを２つ並列に有すればよいことになり、シフトレジスタに必要な回路規模を激減させることができる。

ここで、補正対象の画素が多数存在し、図４で示されるような初期化処理時間では間に合わないケースが起こりうる。初期化処理時間が足りずに使用不可能になってしまったイメージセンサ１０１は、不良品となってしまい歩留まり低下の要因となる。初期化処理時間をさらに多く取るためには、メモリフェッチ部１０７、アドレスデコーダ部１０９、及び並列に並べるシフトレジスタの数を増やせばよい。

図５は、図３に示したイメージデータ処理装置に対して、メモリフェッチ部１０７、アドレスデコーダ部１０９を１つ増やして、シフトレジスタをさらに２つ増やした場合のスケジュール図である。図５に示すように、第１のシフトレジスタ５０１、第２のシフトレジスタ５０２が偶数群の補正処理を担当し、増設されたメモリフェッチ部、アドレスデコーダ部で制御される新たな第３のシフトレジスタ５０３、第４のシフトレジスタ５０４が奇数群の補正処理を担当するように構成することで、倍のデータ初期化処理期間が確保できるようになる。さらに、初期化処理期間を増やしたい場合は、さらにメモリフェッチ部、アドレスデコーダ部、シフトレジスタを増設すればよい。

以上説明してきたように、本実施形態の構成とすることで、一行あたりの画素数が多いイメージセンサにおいても、より早いフレームレートを実現することができる。また、補正対象の画素のアドレスに該当する画素データがイメージセンサ１０１から画像補正部１０３に入力されるのに同期してシフトレジスタ１１０、３０１のいずれかから画像補正部１０３に画素補正指示信号を出力するようにしたので、従来必要とされたフレームメモリを不要とすることができる。これにより、従来の補正回路に比べて少ない回路規模とすることができ、低いクロック周波数で駆動可能な回路を採用することで、より重畳されるノイズの少ないイメージデータ処理装置を実現することができる。

また、一行あたりの画素数がより多いイメージセンサにおいても、シフトレジスタ１１０からの画素補正指示信号とイメージセンサ１０１から取り込む画素データとを同期させることで、正確に補正対象画素を処理することができる。

また、複数のシフトレジスタ有し、１つのシフトレジスタが補正動作を行っている期間に、その他のシフトレジスタを順次初期化処理することで、初期化処理に必要な時間を実効的にゼロにすることができる。これにより、さらに早いフレームレートを実現することができるようになる。

（第３の実施形態）
次に、本発明の係わるイメージデータ処理装置を撮像装置（デジタルカメラ）に適用した場合の実施形態を説明する。

図６は、本発明の係わるイメージデータ処理装置を撮像装置に適用した例を示すブロック図である。

図６において、１１はレンズ１２の保護とメインスイッチを兼ねるバリア、１２は被写体の光学像をイメージセンサ１４に結像させるレンズ、１３はレンズ１２を通った光量を可変するための絞り、１４はレンズ１２で結像された被写体像を画像信号として取り込むためのイメージセンサ、１５は本発明に係わるイメージデータ処理装置であり、イメージセンサ１４から出力される画像信号の欠陥補正をする画像補正部１８を有している。１６はイメージデータ処理装置１５から出力された画像信号のアナログ−デジタル変換を行うＡ／Ｄ変換器、１７はＡ／Ｄ変換器１６から出力された画像データに各種の補正を行い、あるいはデータを圧縮する信号処理部である。ここで、イメージデータ処理装置１５は、イメージセンサ１４、Ａ／Ｄ変換器１６、画像補正部１８、及び信号処理部１７等にタイミング信号を供給する駆動回路を含んでおり、画像補正部１８と駆動回路とは、同一半導体チップ上に形成されている。また、イメージセンサ処理装置１５は、Ａ／Ｄ変換器１６の後段であってもよい。

１９は各種演算と撮像装置全体を制御する全体制御・演算部、２０は画像データを一時的に記憶するための画像データメモリ部、２１は記憶媒体に対して記録または読み出しを行うための記憶媒体制御インタフェース部、２２は画像データの記録または読み出しを行うための半導体メモリ等の着脱可能な記憶媒体、２３は外部コンピュータ等と接続するための外部インタフェース部である。

次に、上記構成における撮像装置の撮影時の動作について説明する。
まず、バリア１１が開けられるとメイン電源がオンされ、次にコントロール系の電源がオンし、さらにＡ／Ｄ変換器１６などの撮像系回路の電源がオンされる。

次に、イメージセンサ１４から出力された信号は、イメージセンサ処理装置１５で欠陥画素の信号があれば、画像補正部１８で補正され、Ａ／Ｄ変換器１６に出力されて、そのＡ／Ｄ変換器１６で変換された後、信号処理部１７に入力される。

そして、信号処理部１７で所定の処理がなされ、出力された画像データは、全体制御・演算部１９によって画像データメモリ部２０に書き込まれる。次に、画像データメモリ部２０に蓄積されたデータは全体制御・演算部１９の制御により、記憶媒体制御インタフェース部２１を介して、記憶媒体２２に記録される。また、外部インタフェース部２３を通り直接コンピュータ等に入力して、画像データの加工を行ってもよい。

本実施形態の構成とすることで、イメージセンサ１４から出力される画像信号の欠陥補正をすることができ、高画質な撮像装置を実現することができる。

（本発明の他の実施の形態）
本発明は複数の機器から構成されるシステムに適用しても１つの機器からなる装置に適用しても良い。

また、上記実施形態では、アドレス保持メモリ部１０６、メモリフェッチ部１０７、行カウンタ１０８や群カウンタ３０６、アドレスデコーダ１０９などは機能ブロックで構成されているが、汎用の制御装置、たとえば何らかのＣＰＵなどでそれらの機能をソフトウェア的に実現しても同等の効果を得られる。すなわち、上述した実施の形態の機能を実現するように各種のデバイスを動作させ、上記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、記憶媒体から、またはインターネット等の伝送媒体を介して上記実施の形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。

また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施の形態で説明した機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等の共同して上述の実施の形態で示した機能が実現される場合にもかかるプログラムコードは本発明の実施の形態に含まれる。

さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合にも本発明に含まれる。

１０１：イメージセンサ、１０２：入力端子、１０３：画像補正部、１０４：入力端子、１０５：指示信号入力端子、１０６：アドレス保持メモリ部、１０７：メモリフェッチ部、１０８：行カウンタ、１０９：アドレスデコーダ、１１０：シフトレジスタ、１１１：シフトレジスタの最終段、１１２：出力端子、１１３：イメージデータ処理装置

Claims

イメージデータを画素データの行ごとに分けて出力するイメージセンサの出力端子に接続されたイメージデータ処理装置において、
前記イメージセンサの補正対象画素のアドレスデータを記憶するメモリと、
前記イメージセンサから出力される現在の画素データの行を指示する行カウンタと、
前記メモリから前記アドレスデータを読み出すメモリデータフェッチ部と、
前記メモリデータフェッチ部で読み出された前記アドレスデータの補正対象画素が属する画素データの行と前記行カウンタで指示された画素データの行とが一致しているか否かを判定するアドレスデコード部と、
前記メモリに記憶された前記アドレスデータに基づいて設定されるとともに、前記アドレスデコード部での判定結果に応じて補正指示信号を出力するシフトレジスタと、
前記シフトレジスタから出力された補正指示信号をもとに前記イメージセンサから出力される画素データの補正を行う画像補正部と
を有し、
前記イメージセンサから順次出力される前記イメージデータに同期して前記シフトレジスタが動作し、前記イメージセンサからの前記イメージデータに対する補正が制御され、
前記シフトレジスタは、前記イメージセンサの出力端子に現れる画素データに同期してシフトして前記補正指示信号を前記画像補正部に出力することを特徴とするイメージデータ処理装置。
前記シフトレジスタは、前記イメージセンサの水平ブランキング期間において前記アドレスデータに基づいて初期化処理がなされることを特徴とする請求項１に記載のイメージデータ処理装置。
前記イメージセンサの出力端子にはある行の画素データと次の行の画素データとが既定の間隔をおいて現れることを特徴とする請求項１または２に記載のイメージデータ処理装置。
前記シフトレジスタと前記画像補正部とが同一半導体チップ上に形成されていることを特徴とする請求項１〜３の何れか１項に記載のイメージデータ処理装置。
少なくとも、
被写体像を結像する光学系と、
前記光学系で結像された被写体像を画像信号として出力するイメージセンサと、
請求項１〜４の何れか１項に記載のイメージデータ処理装置と、
前記イメージデータ処理装置からの画像信号を処理する信号処理手段と
を有することを特徴とする撮像システム。
イメージデータを画素データの行ごとに分けて出力するイメージセンサの出力端子に接続されたイメージデータ処理装置によるイメージデータ処理方法において、
前記イメージセンサの補正対象画素のアドレスデータをメモリに記憶する記憶処理と、
前記イメージセンサから出力される現在の画素データの行を指示する指示処理と、
前記メモリから前記アドレスデータを読み出す読み出し処理と、
前記読み出し処理で読み出された前記アドレスデータの補正対象画素が属する画素データの行と前記指示処理で指示された画素データの行とが一致しているか否かを判定する判定処理と、
前記メモリに記憶された前記アドレスデータに基づいて設定されるとともに、前記判定処理での判定結果に応じて補正指示信号をシフトレジスタから出力する出力処理と、
前記シフトレジスタから出力された補正指示信号をもとに前記イメージセンサから出力される画素データの補正を画像補正部で行う画像補正処理と
を有し、
前記イメージセンサから順次出力される前記イメージデータに同期して前記シフトレジスタが動作し、前記イメージセンサからの前記イメージデータに対する補正が制御され、
前記シフトレジスタは、前記イメージセンサの出力端子に現れる画素データに同期してシフトして前記補正指示信号を前記画像補正部に出力することを特徴とするイメージデータ処理方法。
イメージデータを画素データの行ごとに分けて出力するイメージセンサの出力端子に接続されたイメージデータ処理装置によるイメージデータ処理方法をコンピュータに実行させるためのコンピュータプログラムにおいて、
前記イメージセンサの補正対象画素のアドレスデータをメモリに記憶する記憶処理と、
前記イメージセンサから出力される現在の画素データの行を指示する指示処理と、
前記メモリから前記アドレスデータを読み出す読み出し処理と、
前記読み出し処理で読み出された前記アドレスデータの補正対象画素が属する画素データの行と前記指示処理で指示された画素データの行とが一致しているか否かを判定する判定処理と、
前記メモリに記憶された前記アドレスデータに基づいて設定されるとともに、前記判定処理での判定結果に応じて補正指示信号をシフトレジスタから出力する出力処理と、
前記シフトレジスタから出力された補正指示信号をもとに前記イメージセンサから出力される画素データの補正を画像補正部で行う画像補正処理と
をコンピュータに実行させ、
前記イメージセンサから順次出力される前記イメージデータに同期して前記シフトレジスタが動作し、前記イメージセンサからの前記イメージデータに対する補正が制御され、
前記シフトレジスタは、前記イメージセンサの出力端子に現れる画素データに同期してシフトして前記補正指示信号を前記画像補正部に出力することを特徴とするコンピュータプログラム。
請求項７に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。