JP4003447B2

JP4003447B2 - 画像信号処理装置

Info

Publication number: JP4003447B2
Application number: JP2001362445A
Authority: JP
Inventors: 勝巳加藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2001-11-28
Filing date: 2001-11-28
Publication date: 2007-11-07
Anticipated expiration: 2021-11-28
Also published as: JP2003163842A

Description

【０００１】
【発明の属する技術分野】
本発明は、固体撮像素子から出力される画像信号に各種の信号処理を行い、その画像信号を所定の出力手段に出力する画像信号処理装置に関し、特に上下反転等の読み出し方向の変換機能を有する固体撮像素子から画像信号を読み出すための装置に適用して有効なものに関する。
【０００２】
【従来の技術】
従来より、各種イメージセンサやデジタルカメラ等に用いられる固体撮像素子としては、いわゆるＣＣＤ型とＣＭＯＳ型の２種類の撮像素子とが実用されている。
ＣＣＤ型撮像素子は、それぞれ撮像画素を構成するフォトセンサからの信号電荷をＣＣＤシフトレジスタを用いて順次に転送して出力するものであり、ＣＭＯＳ型撮像素子は、各フォトセンサ毎にＭＯＳトランジスタによって構成した画素選択用のゲート回路を設け、各ゲート回路をスキャナ回路によって駆動することにより、各フォトセンサからの信号電荷をゲート回路によって順次に読み出し出力するものである。
【０００３】
そして、このような撮像素子では、各撮像画素のなかに一定の欠陥画素を含む場合が多く、この欠陥画素の出力については、欠陥の程度に応じた補正を後段の信号処理回路において実行し、欠陥を修復するとにより、画質劣化を防止することが行われている。
例えば、固体撮像素子の各画素毎に欠陥の有無および欠陥量を示す情報をメモリに格納しておき、このメモリ情報に基づいて欠陥画素からの出力を補正する。すなわち、欠陥画素の出力レベルに欠陥量に相当するレベル信号を重畳し、欠陥を埋め合わせた状態で出力するようにしたものが知られている（例えば特開平１−１０８８７９号公報）。
【０００４】
【発明が解決しようとする課題】
ところで、上述した固体撮像素子を用いたデジタルカメラシステムにおいて、例えば上下反転等の読み出し方向変換機能を有するものが提供されており、特に上述したＣＭＯＳ型撮像素子を用いたカメラシステムの場合、読み出し方向の変換を撮像素子内の垂直／水平スキャナ（走査回路）を用いて行うことができ、このような特性を生かすことにより、効率の良い処理を行うことが可能である。
しかしながら、このように固体撮像素子側で出力画像の上下反転等を行った場合、後段の信号処理装置における欠陥画素の補正処理において、予め記憶している欠陥画素の位置と出力画像中の画素の配列が異なることになり、適正な欠陥補正を行えなくなるという問題が生じる。
【０００５】
そこで本発明の目的は、固体撮像素子における読み出し方向の変換状況に対応して後段の欠陥画素の補正処理を効率的に行うことが可能な画像信号処理装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明は前記目的を達成するため、各撮像画素の画素信号を読み出し方向を変換して出力する機能を有する固体撮像素子に接続され、前記固体撮像素子によって出力される画像信号を入力し、前記画像信号に所定の信号処理を施して所定の出力手段に出力する画像信号処理装置において、前記固体撮像素子における欠陥画素情報を格納した欠陥情報格納手段と、前記欠陥情報格納手段の欠陥画素情報に基づいて、前記固体撮像素子から出力される画像信号の該当画素信号に対する欠陥補正を行う欠陥補正処理手段と、前記固体撮像素子における撮像信号の読み出し方向の変換状況を検出する方向変換検出手段と、前記方向変換検出手段によって検出される撮像信号の読み出し方向の変換状況に応じて前記固体撮像素子から出力される画像信号のアドレスと前記欠陥情報格納手段に格納される欠陥画素信号のアドレスとを一致させて前記欠陥補正処理手段に供給するアドレス変換手段とを有することを特徴とする。
【０００７】
本発明の画像信号処理装置では、固体撮像素子側の機能により画像の読み出し方向を変換した場合に、その変換状況に応じて固体撮像素子から出力される画像信号のアドレスと後段の欠陥補正回路における欠陥情報格納手段に格納される欠陥画素信号のアドレスとを一致させるようにしたことから、固体撮像素子における画像の読み出し方向変換にかかわらず、欠陥画素の補正を効率的に行うことが可能となる。
【０００８】
【発明の実施の形態】
以下、本発明による画像信号処理装置の実施の形態例について説明する。
なお、以下に説明する実施の形態は、本発明の好適な具体例であり、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において、特に本発明を限定する旨の記載がない限り、これらの態様に限定されないものとする。
本実施の形態による画像信号処理装置は、例えばＣＭＯＳ型撮像素子を搭載したイメージセンサやデジタルカメラ等において、撮像素子側の機能により画像の読み出し方向を変換し場合に、その変換状況に適応して、後段の信号処理装置における欠陥画素の補正を効率的に行えるようにしたものである。
【０００９】
図１は、本実施の形態による画像信号処理装置の概略構成を示すブロック図である。
図示のように、この画像信号処理装置１００は、ＣＭＯＳイメージセンサ２００に接続されるものであり、欠陥補正回路１１０と、欠陥情報格納ＲＡＭ１２０と、信号処理部１３０と、マイクロコンピュータ１４０と、プログラムＲＯＭ１５０とを有する。また、この画像信号処理装置１００の外部には大容量の不揮発性メモリ３００が接続されている。
【００１０】
ＣＭＯＳイメージセンサ２００は、多数の撮像画素をマトリクス状に配置したエリアセンサであり、各撮像素子毎に受光素子としてのフォトダイオードとその信号読み出しを行う複数のＭＯＳトランジスタより構成されたゲート回路とを設け、さらに各撮像画素のゲート回路を選択的に走査して画素信号の読み出し動作やシャッタ動作を行う水平スキャナ、垂直スキャナ、シャッタスキャナ等の走査回路を設けたものである。
そして、本例のＣＭＯＳイメージセンサ２００では、スキャナの走査方向を変更することにより、内部で上下反転（読み出し方向変換）した画像を出力することが可能であり、ユーザはキー操作によって向き指定を行うことにより、上向きの画像出力と下向きの画像出力とを選択することが可能である。
【００１１】
図２は、向きの指定と画像データの順序を示す説明図である。
すなわち、図示の例は、撮像領域が垂直５×水平７の画素マトリクスで構成される場合を示しており、上向きの読み出しでは、左上の画素（０−０）から右方向に走査して上から下にラインを進めていくが、下向きの読み出しでは、左下の画素（４−０）から右方向に走査して下から上にラインを進めていく。
これにより、上向きの読み出しでは、（０−０）、（０−１）、（０−２）、（０−３）、（０−４）、（０−５）、（０−６）、（１−０）、（１−１）、……（４−４）、（４−５）、（４−６）の順で読み出される画像データとなり、下向きの読み出しでは、（４−０）、（４−１）、（４−２）、（４−３）、（４−４）、（４−５）、（４−６）、（３−０）、（３−１）、……（１−４）、（１−５）、（１−６）の順で読み出される画像データとなる。
【００１２】
欠陥補正回路１１０は、欠陥情報格納ＲＡＭ１２０内に格納された欠陥情報に基づいて、画像信号に含まれる欠陥画素の補正を行うものである。
欠陥情報格納ＲＡＭ１２０は、欠陥補正回路１１０の処理で用いるＣＭＯＳイメージセンサ２００内の欠陥画素の情報（欠陥情報）が格納されたものである。ここで記憶される欠陥情報としては、欠陥画素の位置を示すアドレス情報とその欠陥量を示す欠陥レベル情報を含むものであり、欠陥補正回路１１０では、欠陥情報格納ＲＡＭ１２０のアドレス情報に基づいて欠陥を有する画素の位置を特定し、その読み出された画素信号に欠陥レベル情報によるレベル信号を重畳して欠陥の補正を行う。
【００１３】
なお、欠陥画素のアドレス情報は、画像信号の読み出し順にシリアルに番号化され、その若い順に欠陥情報格納ＲＡＭ１２０に格納されている。
したがって、図２に示すように上下反転変換によって読み出し順が変わった場合には、欠陥情報格納ＲＡＭ１２０のアドレス情報と実際の画像データの読み出し順が異なることになり、欠陥情報格納ＲＡＭ１２０のアドレス情報を用いた補正処理ができなくなる。
そこで、本例では、後述するマイクロコンピュータ１４０の機能により、ＣＭＯＳイメージセンサ２００における上下反転の有無を判定し、この判定結果に応じて欠陥情報格納ＲＡＭ１２０の欠陥情報のアドレス変換を行うことで、ＣＭＯＳイメージセンサ２００から読み出された画像信号のデータ順を変えることなく、画像信号と欠陥情報とのアドレスを一致させるような処理を行う。
【００１４】
信号処理部１３０は、欠陥補正後の画像信号について各種の信号処理を施して後述の画像出力手段（液晶表示器等）に出力するものである。
マイクロコンピュータ１４０は、本例の画像信号処理装置の全体の制御を司るものであり、特に本例においては、ユーザ操作によるＣＭＯＳイメージセンサ２００の向き指定（本例では上向きか下向きかの指定）を受け付け、ＣＭＯＳイメージセンサ２００に指示する動作と、この向き指定に応じてＣＭＯＳイメージセンサ２００から出力された画像データについて反転状況に応じたアドレス変換を行い、欠陥補正回路１１０に供給する処理を行うものである。
【００１５】
プログラムＲＯＭ１５０は、マイクロコンピュータ１４０の動作プログラムを格納したものであり、特に本例では、ＣＭＯＳイメージセンサ２００からの画像データの読み出し方向に応じて欠陥情報のアドレスを変換するためのアドレス変換プログラムが格納されている。
不揮発性メモリ３００は、電源オフ時にも保存しておくべきデータを格納するものであり、特に本例では、予め初期検査処理によって作成されたＣＭＯＳイメージセンサ２００の欠陥情報を格納している。マイクロコンピュータ１４０は、画像信号処理装置の起動時に、この不揮発性メモリ３００に格納されている欠陥情報を欠陥情報格納ＲＡＭ１２０にコピーすることにより、欠陥補正回路１１０で利用できるようにする。
【００１６】
次に、以上のような本例における画像信号処理装置の動作例を説明する。
まず、不揮発性メモリ３００及び欠陥情報格納ＲＡＭ１２０に格納された欠陥情報に含まれる欠陥アドレス情報は、ＣＭＯＳイメージセンサ２００の画像を上から下に読み出す場合を初期状態として格納されているものとする。
なお、図２に示すように、ＣＭＯＳイメージセンサ２００の画像を上から下に読み出す場合を上向き画像とし、下から上に読み出す場合を下向き画像とし、読み出しモードの初期状態としては上向き画像が選択されているものとする。
【００１７】
この状態でユーザにより画像の読み取り動作が指示された場合、マイクロコンピュータ１４０は、画像を読み出す向きの指定を判断する。
ここで、上向き画像が指示された場合には、向きの変更を行うことなく、ＣＭＯＳイメージセンサ２００の画像読み取り動作を起動し、ＣＭＯＳイメージセンサ２００から出力された画像信号を欠陥補正回路１１０に送り、欠陥補正を行う。そして、この欠陥補正後の画像を信号処理部１３０で信号処理し、画像出力手段に出力する。
【００１８】
一方、下向き画像が指示された場合には、欠陥情報格納ＲＡＭ１２０の欠陥情報をアドレス変換プログラムによってアドレス変換し、上向き画像用アドレスで格納した欠陥情報を下向き画像用アドレスに変換し、欠陥情報格納ＲＡＭ１２０に格納し直す。図３は、このアドレス変換例を図２に示すデータ構成例を用いて示したものである。
これにより、下向きで読み出される画像信号のデータ順と欠陥情報格納ＲＡＭ１２０内の欠陥情報のデータ順が一致することになり、上向きの画像読み出し時の同様の読み出し速度で補正処理を行うことが可能となる。
【００１９】
そして、ＣＭＯＳイメージセンサ２００に向きの変更を指示して画像読み取り動作を起動し、ＣＭＯＳイメージセンサ２００から出力された画像信号を欠陥補正回路１１０に送り、アドレス変換した欠陥情報によって画像信号の欠陥補正を行う。
次に、この欠陥補正後の画像を信号処理部１３０で信号処理し、画像出力手段に出力する。
なお、ＣＭＯＳイメージセンサ２００の向きの指示と欠陥情報のアドレス変換は、フレーム毎に実行し、常にユーザが指定した向きとイメージセンサ２００の向き、および欠陥情報のアドレスが一致するように制御する。
【００２０】
次に、本例におけるアドレス変換処理の実行手順について説明する。
図４は、本例におけるアドレス変換処理内容を示す説明図である。
上述のように欠陥情報格納ＲＡＭ１２０には、例えば図２で示した５×７の画素マトリクスに含まれる各画素のうち、欠陥画素のアドレス（図中、枠囲みで示す）だけが番号の若い順に格納されている。
そして、この画像信号を上下反転した場合に、画素マトリクスに対する欠陥画素の位置が上下方向に反転されることになる。そこで、この上下反転された欠陥画素の位置について画素マトリクスから該当するアドレスを検索し、上下反転後のアドレスを若い順に並べ換え、欠陥情報格納ＲＡＭ１２０に書き直す。
【００２１】
そして、このような変換処理を行う具体的な手順として、本例では次の３段階の手順を用いる。
（第１段階）欠陥情報格納ＲＡＭ１２０に格納されている各欠陥画素の垂直アドレス値を上下反転した値に書き換える。
図５は、この第１段階の処理例を示す説明図である。
すなわち、５×７の画素マトリクスで、４から元の垂直アドレスを引くことにより、上下反転したアドレスを得ることが可能となる。
【００２２】
（第２段階）垂直アドレス順に並び変えるために、第１段階で欠陥情報格納ＲＡＭ１２０に格納された各アドレスを単純に最上部から最下部に順にデータを入れ換える。
図６は、この第２段階の処理例を示す説明図である。
第１段階によって（４−０）、（４−２）、……、（１−６）、（０−５）となっているデータを単純に並び変え、（０−５）、（１−６）、……、（４−２）、（４−０）とする。
この時点では、垂直アドレス順に並んではいるが、同じ垂直アドレスの画素（図中＊、＃を付して示す）が水平アドレスの逆順に並んでいる。
【００２３】
（第３段階）そして、同じ垂直アドレスのものをサーチし、その範囲において最上部と最下部から順にデータを入れ換える。
図７は、この第３段階の処理例を示す説明図である。
図示のように、この第３段階の処理により水平アドレスが順番に並べ換えられ、（０−５）、（１−６）、……、（４−０）、（４−２）となってアドレス変換が完成する。
この結果、上下反転した画素マトリクスの欠陥画素は、図８に示すような配置として欠陥アドレス格納ＲＡＭ１２０によって示される。
【００２４】
以上のような本実施例の画像信号処理装置では、以下のような固有の効果を得ることが可能である。
（１）欠陥補正アドレスの変換にマイクロコンピュータのプログラムを用いているので、特別な回路を用いることなく実現できる。
（２）アドレス変換プログラムにおいて、欠陥アドレス格納ＲＡＭを直接操作して並び変えているため、マイクロコンピュータ内に並べ換えようの特別な作業用ＲＡＭを必要としない。
（３）アドレス変換プログラムにおいて、データの並べ換え時に、データ同士の比較を行わずに並べ換えができるため、通常のソートプログラムより高速に実行できる。
【００２５】
以上本発明の一実施例について説明したが、本発明は以上の実施例に限定されず、種々変形が可能である。
例えば上述した実施例では、画像の上下反転を行う場合について説明したが、画像の左右反転についても、アドレス変換プログラムの変更により同様に適用し得るものである。
図９は、左右反転を行う場合の画像信号のアドレス変換例を示す説明図である。
上述した上下反転に対するアドレス変換手順に対応して左右反転に対するアドレス変換手順を説明すると、まず、第１段階では水平アドレスを左右反転した値に書き換える。そして、第２段階で、上下反転時の第３段階と同じ処理を実行し、水平アドレス順に並べ換える。これにより、左右反転に対するアドレス変換を行うことが可能となる。
【００２６】
また、上下、左右両方の反転にもアドレス変換プログラムの変更によって同様に適用し得るものである。
図１０は、上下および左右反転を行う場合の画像信号のアドレス変換例を示す説明図である。
まず、第１段階では、上下反転時の第１段階から第３段階までの処理を実行し、上下反転させた値に変換する。
次に、第２段階では、左右反転時の第１段階から第２段階までの処理を実行し、左右反転させた値に変換する。
これにより、上下、左右の両方の反転に対するアドレス変換を行うことが可能となる。
【００２７】
また、上述した実施例では、マイクロコンピュータの処理によりアドレス変換を実行したが、このようなマイクロコンピュータをもたない画像信号処理装置においても、例えば欠陥アドレス格納ＲＡＭを外部から操作する仕組みがあれば、同様に対応することが可能である。
また、本発明に用いる固体撮像素子としては、上述のように画像反転機能をもったＣＭＯＳイメージセンサが有効であるが、本発明はこれに限定されるものではなく、例えばＣＣＤイメージセンサの画像信号処理装置についても同様に適用し得るものである。
【００２８】
【発明の効果】
以上説明したように本発明の画像信号処理装置では、固体撮像素子側の機能により画像の読み出し方向を変換した場合に、その変換状況に応じて固体撮像素子から出力される画像信号のアドレスと後段の欠陥補正回路における欠陥情報格納手段に格納される欠陥画素信号のアドレスとを一致させるようにした。
したがって、ユーザの指示により、固体撮像素子の読み出し方向が変換された場合でも、欠陥画素の補正を効率的に行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態による画像信号処理装置の概略構成を示すブロック図である。
【図２】図１に示す画像信号処理装置による画像データの読み出し順を示す説明図である。
【図３】図１に示す画像信号処理装置による画像データのアドレス変換例を示す説明図である。
【図４】図３に示すアドレス変換を実行する場合のアドレス変換手順を示す説明図である。
【図５】図３に示すアドレス変換を実行する場合のアドレス変換手順を示す説明図である。
【図６】図３に示すアドレス変換を実行する場合のアドレス変換手順を示す説明図である。
【図７】図３に示すアドレス変換を実行する場合のアドレス変換手順を示す説明図である。
【図８】図３に示すアドレス変換を実行する場合のアドレス変換手順を示す説明図である。
【図９】図１に示す画像信号処理装置による画像データの他のアドレス変換例を示す説明図である。
【図１０】図１に示す画像信号処理装置による画像データのさらに他のアドレス変換例を示す説明図である。
【符号の説明】
１００……画像信号処理装置、１１０……欠陥補正回路、１２０……欠陥情報格納ＲＡＭ、１３０……信号処理部、１４０……マイクロコンピュータ、１５０……プログラムＲＯＭ、２００……ＣＭＯＳイメージセンサ、３００……不揮発性メモリ。

Claims

各撮像画素の画素信号を読み出し方向を変換して出力する機能を有する固体撮像素子に接続され、前記固体撮像素子によって出力される画像信号を入力し、前記画像信号に所定の信号処理を施して所定の出力手段に出力する画像信号処理装置において、
前記固体撮像素子における欠陥画素情報を格納した欠陥情報格納手段と、
前記欠陥情報格納手段の欠陥画素情報に基づいて、前記固体撮像素子から出力される画像信号の該当画素信号に対する欠陥補正を行う欠陥補正処理手段と、
前記固体撮像素子における撮像信号の読み出し方向の変換状況を検出する方向変換検出手段と、
前記方向変換検出手段によって検出される撮像信号の読み出し方向の変換状況に応じて前記固体撮像素子から出力される画像信号のアドレスと前記欠陥情報格納手段に格納される欠陥画素信号のアドレスとを一致させて前記欠陥補正処理手段に供給するアドレス変換手段と、
を有することを特徴とする画像信号処理装置。
前記固体撮像素子の読み出し方向の変換は、ユーザの指示に基づいて実行されることを特徴とする請求項１記載の画像信号処理装置。
前記固体撮像素子の読み出し方向の変換は、画像の上下を反転させる変換であることを特徴とする請求項１記載の画像信号処理装置。
前記固体撮像素子の読み出し方向の変換は、画像の左右を反転させる変換であることを特徴とする請求項１記載の画像信号処理装置。
前記アドレス変換手段は、前記固体撮像素子における撮像信号の読み出し方向の変換状況に応じて、前記欠陥情報格納手段に格納された欠陥情報のアドレスを変換して欠陥情報格納手段に格納し直す手段であることを特徴とする請求項１記載の画像信号処理装置。
前記アドレス変換手段は、アドレス変換プログラムによってアドレスの変換を実行するマイクロコンピュータであることを特徴とする請求項３記載の画像信号処理装置。
前記固体撮像素子は、撮像画素を構成する複数のフォトセンサと、前記複数のフォトセンサ毎に設けられ、各フォトセンサから出力される画素信号を読み出す複数のゲート回路と、前記複数のゲート回路を選択的に駆動して各フォトセンサからの画素信号を選択的に読み出す走査回路とを有することを特徴とする請求項１記載の画像信号処理装置。