JP3893788B2 - 画像信号処理装置およびこの装置を備えた電子スチルカメラ - Google Patents

画像信号処理装置およびこの装置を備えた電子スチルカメラ Download PDF

Info

Publication number
JP3893788B2
JP3893788B2 JP02876199A JP2876199A JP3893788B2 JP 3893788 B2 JP3893788 B2 JP 3893788B2 JP 02876199 A JP02876199 A JP 02876199A JP 2876199 A JP2876199 A JP 2876199A JP 3893788 B2 JP3893788 B2 JP 3893788B2
Authority
JP
Japan
Prior art keywords
pixel
data
signal
color
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP02876199A
Other languages
English (en)
Other versions
JP2000228774A (ja
Inventor
健吉 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP02876199A priority Critical patent/JP3893788B2/ja
Publication of JP2000228774A publication Critical patent/JP2000228774A/ja
Application granted granted Critical
Publication of JP3893788B2 publication Critical patent/JP3893788B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は画像信号処理装置およびこの装置を備えた電子スチルカメラに係り、特にたとえば約130 万画素のような多画素数からなる固体撮像素子を用いた高解像度の電子スチルカメラで撮影した高解像度の被写体画像の信号を受けてその映像をNTSCなどの標準テレビジョン方式の標準解像度のモニタにリアルタイムに再生する信号を得る系統内に適用して好適なこの撮影時に固体撮像素子の欠陥画素の影響で発生した偽信号を低減処理する画像信号処理装置およびこの装置を備えた電子スチルカメラに関するものである。
【０００２】
【従来の技術】
一般に、CCD (Charge Coupled Device) などの半導体で形成した固体撮像素子では、半導体の局部的な結晶欠陥などにより光りが入射していない状態で特異なレベルの信号を出力する欠陥画素を生じ、この欠陥画素が画質を劣化させる原因となっていることが知られている。
【０００３】
この欠陥画素に起因する画質劣化をなくすために、一般的には、固体撮像素子の出力信号について、欠陥補正処理（偽信号の低減処理）が行なわれている。
【０００４】
従来、このような欠陥補正処理技術として、たとえば特開平4-78275 号公報および特開平6-30425 号公報に開示されるものがある。特開平4-78275 号公報に開示される固体撮像素子の欠陥画素の補正には、欠陥画素の画素信号を２ライン前の画素についての画素信号、同一ラインの２画素前の画素についての画素信号および２画素後の画素についての画素信号の平均値で置き換える平均値補間法が用いられている。
【０００５】
また特開平6-30425 号公報に開示される固体撮像素子の欠陥画素の補正には、欠陥のある画素の信号を１ライン前の欠陥のない画素の信号に置き換える欠陥補正処理回路が用いられている。
【０００６】
【発明が解決しようとする課題】
しかしながら、上述の欠陥補正処理方法に関しては、複数の走査線（ライン）のデータを記憶する記憶回路を必要とするため、回路規模が大きくなるという問題、および複数のラインのデータについて処理を行なうため、処理に要する時間が長くなるという問題があった。
【０００７】
このため、上述の欠陥補正処理方法を、高解像度の電子スチルカメラで撮影した高解像度の被写体画像の映像をNTSCなどの標準テレビジョン方式の解像度のモニタにリアルタイムに再生する際に用いる画像信号処理装置に適用することは困難であった。
【０００８】
本発明はこのような従来技術の欠点を解消し、多画素数の固体撮像素子を用いた高解像度の電子スチルカメラで撮影した高解像度の被写体画像の信号を受けてその映像を標準解像度のモニタにリアルタイムに再生する信号を得る系統内に適用できるとともに、短い処理時間でかつ小さい回路規模にて偽信号を低減処理することのできる画像信号処理装置およびこの装置を備えた電子スチルカメラを提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は上述の課題を解決するために、複数色の色フィルタを前面に有し、これら色フィルタに対応されたカラー画像情報を各画素から点順次に得るようにした固体撮像素子を含むカラー撮像手段により撮像されたカラー画像信号を得られた順にディジタル信号の形で受けてこの信号の処理を行なう画像信号処理装置において、この装置は、固体撮像素子の複数の画素のうち欠陥のある画素位置を示す位置データを記憶する第１の記憶手段と、得られた順に送られてくる画素に基づくディジタル信号の形のカラー画像データを記憶する第２の記憶手段とを有し、第２の記憶手段に記憶される各走査線ごとのカラー画像データは得られた順に送られてくる所定の複数個の画素ごとのディジタル信号の形のカラー画像データによりグループ化されており、この装置はさらに、第２の記憶手段に記憶したカラー画像データを間引いて低解像度のカラー画像データに変換する間引き処理制御手段を有し、この間引き処理制御手段が第１の記憶手段から読み出した位置データにより欠陥画素位置がある走査線のある１つのグループのものである判断した場合は、この間引き処理制御手段は、第２の記憶手段からこのある走査線のこのある１つのグループのカラー画像データ群については読み出さずに、その代わりにこのある走査線のこのある１つのグループの近傍の１つのグループのカラー画像データ群を読み出し、これ以外の欠陥画素のないこのある走査線の部分およびこのある走査線以外の走査線については、奇数または偶数番号グループのカラー画像データ群については読み出さずに、その代わりに偶数または奇数番号グループのカラー画像データ群を読み出すことを特徴とする。
【００１０】
本発明はまた、上述の課題を解決するために、複数色の色フィルタを前面に有し、これら色フィルタに対応されたカラー画像情報を各画素から点順次に得るようにした高解像度の固体撮像素子を含むカラー撮像手段により撮像されたカラー画像信号を得られた順にディジタル信号の形で受けてこの信号の処理を行なう画像信号処理装置を備えた電子スチルカメラにおいて、画像信号処理装置は、固体撮像素子の複数の画素のうち欠陥のある画素位置を示す位置データを記憶する第１の記憶手段と、得られた順に送られてくる画素に基づくディジタル信号の形のカラー画像データを記憶する第２の記憶手段とを有し、第２の記憶手段に記憶される各走査線ごとのカラー画像データは得られた順に送られてくる所定の複数個の画素ごとのディジタル信号の形のカラー画像データによりグループ化されており、この装置はさらに、第１の制御信号を受け、受けた第１の制御信号から第１の間引き読み出し制御信号を形成するとともに、形成した第１の間引き読み出し制御信号に基づき第２の記憶手段に記憶したカラー画像データを間引いて低解像度のカラー画像データに変換する間引き処理制御手段と、第１の記憶手段からの位置データに基づいて第１の間引き読み出し制御信号を形成するに必要な間引き処理制御手段への第１の制御信号を生成する制御手段とを含み、この制御手段が第１の記憶手段からの位置データにより欠陥画素位置がある走査線のある１つのグループのものである判断した場合は、この制御手段は、第１の間引き読み出し制御信号により第２の記憶手段に記憶されたこのある走査線のこのある１つのグループのカラー画像データ群については読み出しを行なわせずに、その代わりにこのある走査線のこのあるグループの近傍の１つのグループのカラー画像データ群を読み出しを行なわせ、これ以外の欠陥画素のないこのある走査線の部分およびこのある走査線以外の走査線については、奇数または偶数番号グループのカラー画像データ群については読み出しを行なわせずに、その代わりに偶数または奇数番号グループのカラー画像データ群の読み出しを行なわせる第１の制御信号を間引き処理制御手段へ送ることを特徴とする。
【００１１】
本明細書において、用語「高解像度」とは、NTSCなどの標準テレビジョン方式を超える高い解像度を言う。
【００１２】
【発明の実施の形態】
次に添付図面を参照して本発明による画像信号処理装置およびこの装置を備えた電子スチルカメラの実施例について詳細に説明する。
【００１３】
図１には、本発明による画像信号処理装置の適用される電子スチルカメラの第１の実施例が示されている。同図において、電子スチルカメラ１は撮像レンズ10によって撮像して得た被写体画像の電気信号を可視画像として再生部30にて再生するとともに、この電気信号が表す高解像度の画像データを圧縮してメモリカード42へ記憶する装置である。メモリカード42は電子スチルカメラ１本体に着脱可能に装着され、これから伝送されるディジタル画像データを記憶保持可能な状態にして蓄積し、また要求に応じて蓄積したディジタル画像データを出力することのできるカード状半導体記憶装置である。
【００１４】
カメラ１はとくに、制御部52により制御される間引き処理制御回路50が間引き処理回路18に記憶される被写体画像の電気信号を表す高解像度の信号に含まれる撮像素子12の欠陥画素の影響で発生した偽信号を間引いて偽信号の低減を行なうとともに、低解像度への信号の変換も行なうから、高解像度の被写体画像の映像を実時間で再生部30を介してモニタ装置32に表示することができる。
【００１５】
図１を参照すると、カメラ１は、撮像レンズ10、撮像素子12、前処理回路14、アナログディジタル(A/D) 変換器16、間引き処理回路18、リアルタイム処理回路20、ＹＣ処理部22、ディジタルアナログ(D/A) 変換器24、28、後処理回路26、再生部30、モニタ装置32、セレクタ34、圧縮処理部36、メモリ38、インタフェース(I/F)40 、メモリカード42、タイミング信号発生回路44、駆動信号発生回路46、欠陥位置データ記憶回路48、間引き処理制御回路50および制御部52から構成されている。
【００１６】
撮像レンズ10は、被写体の光学像を撮像素子12の撮像面に結像する。
【００１７】
撮像素子12は、撮像レンズ10による結像を電気信号に変換して出力する固体撮像素子で、本実施例では高解像度カメラの場合、約130 万画素（表示ドット数、横1280×縦1024ドット）のCCD を使用し、また標準解像度カメラの場合、約40万画素（表示ドット数、横640 ×縦512 ドット）のCCD を使用している。
【００１８】
固体撮像素子の撮像セルアレイには色フィルタ（図示せず）が装着され、駆動信号発生回路46からの駆動信号232 に応動して色変調された画素信号を点順次にて出力200 に出力する。色フィルタの色セグメント配列は適宜のものが使用される。出力200 は前処理回路14の入力に接続されている。
【００１９】
前処理回路14は、入力200 に入力した画像信号を所定レベルまで増幅し、さらに増幅した画像信号にブラックレベル補正、ホワイトバランス補正、ガンマ補正などの処理を施す処理回路であり、処理した画像信号を出力202 に出力する。出力202 はアナログディジタル変換器16の入力に接続されている。
【００２０】
アナログディジタル変換器16は、入力202 に現れたアナログ画像信号を制御部52からのサンプリング信号238 に基づいて対応するディジタル値に変換する信号変換回路であり、ディジタル値に変換した画素データを出力204 に出力する。出力204 は間引き処理回路18の入力に接続されている。
【００２１】
間引き処理回路18は本実施例では、入力204 に現れた高解像度CCD からの画素データＲ、ＧおよびＢに対し所定の間引き処理を行なってNTSC方式のモニタ装置に表示し得るような画素数の画素データＲ、ＧおよびＢに変換し、変換した画素データＲ、ＧおよびＢを出力206 に出力する画像処理回路である。この場合、この間引き処理には、欠陥画素のないところで使用する通常間引き処理法と欠陥画素のあるところで使用する欠陥画素による画素データ（偽信号データ）を間引き偽信号データを回避し偽信号データ周辺の欠陥画素でない画素データを読み出す欠陥補正間引き処理法とが用いられている。これについては後に詳述する。
【００２２】
詳細には、この画像処理回路は、少なくとも高解像度の１画面に相当する１フレーム分の画素データを蓄積する容量を持つRAM などからなるフレームメモリで構成されている。入力204 に現れた高解像度の１フレーム分の画素データは、間引き処理制御回路50からの書き込み制御信号242 に基づいてこのフレームメモリに書き込まれ、またこのフレームメモリに書き込まれた画素データは、間引き処理制御回路50からの読み出し制御信号242 に基づいて読み出される。上述のNTSC方式のモニタ装置に表示し得るような画素数の画素データＲ、ＧおよびＢへの変換つまり間引き処理は、読み出し制御信号242 に基づいて行なわれる。
【００２３】
次に、間引き処理回路18における間引き処理法について図２および図３を用いてさらに詳述する。
【００２４】
図２は、ＧストライプRB完全市松色フィルタ配列による高解像度CCD からの表示ドット、すなわち横1280×縦1024ドット構成を、説明の都合上、表示ドットを減らし、横16×縦４ドット構成とし、それらの画素データが間引き処理回路18において間引き処理される各過程で現れた画素データを示したものである。この場合、図２(a) のNO1 ラインの表示ドット番号１の画素データR1は、この例では欠陥画素であることを示している。
【００２５】
また図３は、RGB ストライプ色フィルタ配列による高解像度CCD からの表示ドット、すなわち横1280×縦1024ドット構成を、説明の都合上、表示ドットを減らし、横12×縦４ドット構成とし、それらの画素データが間引き処理回路18において間引き処理される各過程で現れた画素データを示したものである。この場合、図３(a) のNO1 ラインの表示ドット番号１の画素データR1は、この例では欠陥画素であることを示している。
【００２６】
図２および図３において、横方向の番号は、ライン方向の表示ドットの番号を示し、また縦方向の番号は、ライン番号を示す。
【００２７】
まずＧストライプRB完全市松色フィルタ配列による高解像度CCD から出力された画素データの間引き処理法について、図１および図２を参照して説明する。
【００２８】
図１に示すＧストライプRB完全市松色フイルタ配列の高解像度CCD （撮像素子12）により出力された上述した画素位置に欠陥画素を含む画素信号は、前処理回路14に送られる。前処理回路14は、送られてきた画素信号に対しガンマ補正などの前処理を行なってアナログディジタル変換器16に送る。アナログディジタル変換器16は、送られてきた前処理の行なわれたアナログ画素信号を対応するディジタル値に変換し、この変換したディジタル値を示す画素データを間引き処理回路18に送る。
【００２９】
間引き処理回路18は、送られてきた画素データを間引き処理制御回路50からの書き込み制御信号に基づき、そのフレームメモリに図２(a) に示すように蓄積する。フレームメモリに蓄積された画素データは、間引き処理制御回路50からの読み出し制御信号により間引き読み出される。この様子を以下に詳述する。
【００３０】
まずフレームメモリに蓄積されたNO1 ラインの画素データの間引き処理法について説明すると、制御部52はそのラインの表示ドット番号１の画素データR1が欠陥画素に基づく偽信号であることを知っているので、制御部52に制御される間引き処理制御回路50は、この例では、画素データR1と同一クループに属する同一ライン上の画素データG1、B1、G2を含む第１グループの画素データ群R1、G1、B1、G2 に対して読み出し制御信号を出力しない。つまり欠陥画素を含む第１グループの画素データ群の読み出しは行なわない。この様子が図２(c) のNO1 ラインに示されている。
【００３１】
制御部52は、次に処理すべき第２グループである画素データ群R2、G3、B2、G4 の各々画素データについて欠陥画素に基づく偽信号でないことを知っているので、制御部52に制御される間引き処理制御回路50は、上述の第１グループの画素データ群R1、G1、B1、G2 を読み出す代わりに、この例では第２グループの画素データ群R2、G3、B2、G4 を読み出す読み出し制御信号を出力する。つまり欠陥画素を含む第１グループの画素データ群が間引かれ、その代わりに、欠陥画素を含まない第２グループの画素データ群が読み出される。これにより欠陥画素を回避しながら欠陥補正したことになる。この様子が図２(c) のNO1 ラインの第１グループに示されている。
【００３２】
制御部52は、次に処理すべき第３グループである画素データ群R3、G5、B3、G6 の各々画素データについて欠陥画素に基づく偽信号でないことも知っているが、間引かないタイミングであることも知っているので、制御部52に制御される間引き処理制御回路50は、この例では、第３グループの画素データ群R3、G5、B3、G6 を読み出す読み出し制御信号を出力する。つまりこれは奇数番号グループの画素データ群を読み出す通常の間引き処理である。この様子が図２(c) のNO1 ラインの第２グループに示されている。
【００３３】
制御部52は、次に処理すべき第４グループである画素データ群R4、G7、B4、G8 の各々画素データについて欠陥画素に基づく偽信号でないことも知っているが、間引くタイミングであることも知っているので、制御部52に制御される間引き処理制御回路50は、この例では、第４グループの画素データ群R4、G7、B4、G8 に対する読み出し制御信号を出力しない。つまりこれは偶数番号グループの画素データ群に対して読み出しを行なわない通常の間引き処理である。この様子が図２(c) のNO1 ラインに示されている。図２(c) のNO1 ラインにおける間引き後の画素数は間引く前の画素数の半分になる。
【００３４】
なお、NO1 ラインの表示ドット番号１の画素データR1が欠陥画素でない場合には、この例では、欠陥画素がなくなるので、奇数番号グループの画素データ群については読み出し、また偶数番号グループの画素データ群については読み出ししない通常の間引き処理が行なわれる。この様子が図２(b) のNO1 ラインに示されている。
【００３５】
NO1 ラインの画素データの間引き処理が終了すると、NO2 ラインの画素データの間引き処理に入る。本実施例では、制御部52は、偶数ラインの全ての画素データについては間引くことを知っているので、制御部52に制御される間引き処理制御回路50は、この例では、NO2 ラインの各グループの画素データ群に対する読み出し制御信号を出力しない。これによりNO2 ラインの全ての画素データは、間引かれたことになる。なお本実施例では、偶数ラインの全ての画素データを間引き処理回路18において間引いているので、間引き処理回路18から出力されるライン数は間引き処理回路18に入力するライン数の半分になる。
【００３６】
NO2 ラインの画素データの間引き処理が終了すると、NO3 ラインの画素データの間引き処理に入る。本実施例では、制御部52は、NO3 ラインの全ての画素データについて欠陥画素に基づく偽信号でないことを知っているので、制御部52に制御される間引き処理制御回路50は、NO3 ラインの奇数番号グループの画素データ群については読み出し、また偶数番号グループの画素データ群については読み出ししない通常の間引き処理を行なう。この様子が図２(b) および図２(c) のNO2 ラインに示されている。
【００３７】
NO3 ラインの画素データの間引き処理が終了すると、NO4 ラインの画素データの間引き処理に入る。本実施例では、上述したように、偶数ラインの全ての画素データを間引くので、制御部52に制御される間引き処理制御回路50は、NO4 ラインの各グループの画素データ群に対する読み出し制御信号を出力しない。
【００３８】
次に、RGB ストライプ色フィルタ配列による高解像度CCD から出力された画素データの間引き処理法について、図１および図３を参照して説明する。
【００３９】
図１に示すRGB ストライプ色フィルタ配列の高解像度CCD （撮像素子12）により出力された上述した画素位置に欠陥画素を含む画素信号は、前処理回路14に送られる。前処理回路14は送られてきた画素信号に対しガンマ補正などの前処理を行なってアナログディジタル変換器16に送る。アナログディジタル変換器16は送られてきた前処理の行なわれたアナログ画素信号を対応するディジタル値に変換し、この変換したディジタル値を示す画素データを間引き処理回路18に送る。
【００４０】
間引き処理回路18は、送られてきた画素データを間引き処理制御回路50からの書き込み制御信号に基づき、そのフレームメモリに図３(a) に示すように蓄積する。フレームメモリに蓄積された画素データは、間引き処理制御回路50からの読み出し制御信号により間引き読み出される。この様子を以下に詳述する。
【００４１】
まずフレームメモリに蓄積されたNO1 ラインの画素データの間引き処理法について説明すると、制御部52はそのラインの表示ドット番号１の画素データR1が欠陥画素に基づく偽信号であることを知っているので、制御部52に制御される間引き処理制御回路50はこの例では画素データR1と同一クループに属する同一ライン上の画素データG1、B1 を含む第１グループの画素データ群R1、G1、B1に対して読み出し制御信号を出力しない。つまり欠陥画素を含む第１グループの画素データ群の読み出しは行なわない。この様子が図３(c) のNO1 ラインに示されている。
【００４２】
制御部52は、次に処理すべき第２グループである画素データ群R2、G2、B2の各々画素データについて欠陥画素に基づく偽信号でないことを知っているので、制御部52に制御される間引き処理制御回路50は、上述の第１グループの画素データ群R1、G1、B1を読み出す代わりに、この例では第２グループの画素データ群R2、G2、B2を読み出す読み出し制御信号を出力する。つまり欠陥画素を含む第１グループの画素データ群が間引かれ、その代わりに、欠陥画素を含まない第２グループの画素データ群が読み出される。これにより欠陥画素を回避しながら欠陥補正したことになる。この様子が図３(c) のNO1 ラインの第１グループに示されている。
【００４３】
制御部52は、次に処理すべき第３グループである画素データ群R3、G3、B3の各々画素データについて欠陥画素に基づく偽信号でないことも知っているが、間引かないタイミングであることも知っているので、制御部52に制御される間引き処理制御回路50は、この例では、第３グループの画素データ群R3、G3、B3を読み出す読み出し制御信号を出力する。つまりこれは奇数番号グループの画素データ群を読み出す通常の間引き処理である。この様子が図３(c) のNO1 ラインの第２グループに示されている。
【００４４】
制御部52は、次に処理すべき第４グループである画素データ群R4、G4、B4の各々画素データについて欠陥画素に基づく偽信号でないことも知っているが、間引くタイミングであることも知っているので、制御部52に制御される間引き処理制御回路50は、この例では、第４グループの画素データ群R4、G4、B4に対する読み出し制御信号を出力しない。つまりこれは偶数番号グループの画素データ群に対して読み出しを行なわない通常の間引き処理である。この様子が図３(c) のNO1 ラインに示されている。図３(c) のNO1 ラインにおける間引き後の画素数は間引く前の画素数の半分になる。
【００４５】
なお、NO1 ラインの表示ドット番号１の画素データR1が欠陥画素でない場合には、この例では、欠陥画素がなくなるので、奇数番号グループの画素データ群については読み出し、また偶数番号グループの画素データ群については読み出ししない通常の間引き処理が行なわれる。この様子が図３(b) のNO1 ラインに示されている。
【００４６】
NO1 ラインの画素データの間引き処理が終了すると、NO2 ラインの画素データの間引き処理に入る。本実施例では、制御部52は、偶数ラインの全ての画素データについては間引くことを知っているので、制御部52に制御される間引き処理制御回路50は、この例では、NO2 ラインの各グループの画素データ群に対する読み出し制御信号を出力しない。これによりNO2 ラインの全ての画素データは、間引かれたことになる。なお本実施例では、偶数ラインの全ての画素データを間引き処理回路18において間引いているので、間引き処理回路18から出力されるライン数は間引き処理回路18に入力するライン数の半分になる。
【００４７】
NO2 ラインの画素データの間引き処理が終了すると、NO3 ラインの画素データの間引き処理に入る。本実施例では、制御部52は、NO3 ラインの全ての画素データについて欠陥画素に基づく偽信号でないことを知っているので、制御部52に制御される間引き処理制御回路50は、NO3 ラインの奇数番号グループの画素データ群については読み出し、また偶数番号グループの画素データ群については読み出ししない通常の間引き処理を行なう。この様子が図３(b) および図３(c) のNO2 ラインに示されている。
【００４８】
NO3 ラインの画素データの間引き処理が終了すると、NO4 ラインの画素データの間引き処理に入る。本実施例では、上述したように、偶数ラインの全ての画素データを間引くので、制御部52に制御される間引き処理制御回路50は、NO4 ラインの各グループの画素データ群に対する読み出し制御信号を出力しない。
【００４９】
図４には、カメラ１のリアルタイム処理回路20の内部構成が示されている。
【００５０】
リアルタイム処理回路20は、本実施例では、まず入力206 に点順次に現れる低解像度の画素データＲ、ＧおよびＢに対し補間処理を行なって各画素ごとに同時化した画素データＲ、ＧおよびＢを得、次に同時化した画素データＲ、ＧおよびＢを出力210 に出力するか、あるいは同時化した画素データＲ、ＧおよびＢに対しＹＣ変換を行なって輝度信号データＹおよび色差信号データR-Y、B-Y を得て出力208 に出力する信号処理回路である。
【００５１】
図４を参照すると、リアルタイム処理回路20はセレクタ400、第１の乗算器410、第１の加算器420、第１のメモリ430、入力制御部440、出力制御部442、ＹＣ変換器444、第２の乗算器450、第２の加算器460 および第２のメモリ470 を備えている。
【００５２】
セレクタ400 は、入力206 に入力した画素データを、第１の乗算器410、第１の加算器420、第１のメモリ430、ＹＣ変換器444 からなる第１の変換ルートで変換するか、あるいは第２の乗算器450、第２の加算器460、第２のメモリ470、ＹＣ変換器444 からなる第２の変換ルートで変換するかを選択するスイッチである。この場合、選択信号は制御部52の第２の制御回路から供給される。
【００５３】
本実施例では、制御部52に制御される間引き処理制御回路50からの読み出し制御信号242 に基づいて間引き処理回路18内のフレームメモリから読み出された横640 ×縦512 ドットの画素データは、セレクタ400 の入力206 に送られる。
【００５４】
セレクタ400 は、第１の変換ルートを用いる場合、制御部52の第２の制御回路からの選択信号244 を受けて、入力206 に入力した画素データを出力500 に出力し、また第２の変換ルートを用いる場合、入力206 に入力した画素データを出力502 に出力する。出力500 は第１の乗算器410 の入力に、また出力502 は第２の乗算器450 の入力にそれぞれ接続されている。
【００５５】
第１の乗算器410 は、 入力500 から画素データＲ、ＧおよびＢを入力し、入力した画素データＲ、ＧおよびＢのそれぞれに所定の係数を掛け、その掛算の結果を得るもので、たとえばROM などを用いた掛算回路であり、Ｒ乗算器412、Ｇ乗算器414 およびＢ乗算器416 から構成されている。
【００５６】
Ｒ乗算器412 は、入力した画素データＲに所定の係数を掛け、その掛算の結果を出力504 に出力し、Ｇ乗算器414 は、入力した画素データＧに所定の係数を掛け、その掛算の結果を出力506 に出力し、Ｂ乗算器416 は、入力した画素データＢに所定の係数を掛け、その掛算の結果を出力508 に出力する。Ｒ乗算器412 の出力504 は第１の加算器420 のＲ加算器422 の入力に、Ｇ乗算器414 の出力506 は第１の加算器420 のＧ加算器424 の入力に、Ｂ乗算器416 の出力508 は第１の加算器420 のＢ加算器426 の入力にそれぞれ接続されている。
【００５７】
Ｒ加算器422 は入力504 からの所定のサンプル点の画素データＲと前記所定のサンプル点とは別の所定のサンプル点の画素データＲとを加算する回路であり、その加算の結果を出力510 に出力する。同様に、Ｇ加算器424 、Ｂ加算器426 も画素データＧ、Ｂの加算結果を出力510 に出力する。この場合のサンプル点の数はいくつでもよくシステムにより決定すればよい。
【００５８】
上述の説明からわかるように、Ｒ加算器422、Ｇ加算器424 およびＢ加算器426 はそれぞれ画素の補間を行なっており、したがって各々サンプル点におけるＲ、ＧおよびＢの画素データを出力510 に出力する。出力510 は第１のメモリ430 の対応する入力に接続されている。
【００５９】
第１のメモリ430 は、ビデオRAM などにて構成されており、本実施例では、入力510 に現れたＲ、ＧおよびＢそれぞれの画素データ（横640 ×縦512 ×色の種類３ドット）を蓄積する容量を有する記憶回路である。
【００６０】
本実施例では、入力510 に現れたＲ、ＧおよびＢの画素データは、制御部52の第２の制御回路からの書き込み制御信号を生成するための制御信号244 に基づいて入力制御部440 にて形成した書き込み制御信号によりメモリ430 に蓄積され、またメモリ430 に蓄積された画素データＲ、ＧおよびＢは、制御部52の第２の制御回路からの読み出し制御信号を生成するための制御信号244 に基づいて出力制御部442 にて形成したインタレース読み出し制御信号によりメモリ430 から読み出されて出力520 に出力される。
【００６１】
詳細には、上述のインタレース読み出し制御信号は、奇数ラインについての画素データをライン順に読み出す制御信号と偶数ラインについての画素データをライン順に読み出す制御信号とを含む。したがって、第１のメモリ430 の出力520 からは、１フレーム分として横640 ×縦512 ドットの各々Ｒ、ＧおよびＢの画素データが出力される。第１のメモリ430 の出力520 はＹＣ変換器444 の対応する入力に接続されている。
【００６２】
ＹＣ変換器444 は、選択回路およびＹＣ変換回路から構成され、選択回路は第１のメモリ430 からの画素データを用いるか、あるいは第２のメモリ470 からの画素データを用いるかを選択するスイッチ回路であり、制御部52からの切替信号244 に基づき、どちらかが選択される。選択された第１のメモリ430 あるいは第２のメモリ470 からの画素データＲ、ＧおよびＢは、ＹＣ変換回路に送られるとともに、その出力210 から出力される。
【００６３】
ＹＣ変換回路は、たとえば乗算器、加算器、減算器などにて構成され、選択回路から画素データＲ、ＧおよびＢを入力し、入力した画素データＲ、ＧおよびＢそれぞれを用い、制御部52の第２の制御回路からのＹＣ変換制御信号を生成するための制御信号244 に基づいて出力制御部442 にて形成したＹＣ変換制御信号により輝度信号データＹ（横640 ×縦512 ドット）および色差信号データR-Y、B-Y （それぞれ横640 ×縦512 ドット）のデータ形式に変換する回路である。この変換したデータはその出力208 から出力される。
【００６４】
図４を参照すると、入力制御部440 は、前に少し触れたように、図１に示す制御部52の第２の制御回路からの書き込み制御信号を生成するための制御信号244 に基づいて第１のメモリ430 および第２のメモリ470 への書き込み制御信号を形成する制御回路である。
【００６５】
出力制御部442 は、前に少し触れたように、制御部52の第２の制御回路からの読み出し制御信号を生成するための制御信号244 に基づいて第１のメモリ430 および第２のメモリ470 へのインターレースあるいはノンインターレース読み出し制御信号などを形成する制御回路である。出力制御部442 はまた、制御部52の第２の制御回路からのＹＣ変換制御信号を生成するための制御信号244 に基づいてＹＣ変換器444 へのＹＣ変換制御信号などを形成する制御回路である。
【００６６】
図４に示す第２の乗算器450 は前述した第１の乗算器410 と同じ機能を有し、第２の加算器460 は前述した第１の加算器420 と同じ機能を有し、第２のメモリ470 は前述した第１のメモリ430 と同じ機能を備えているので、上記各部の説明は省く。
【００６７】
図４は、上述したように第１と第２の変換ルートを有する構成になっているから、基本的には、第１の変換ルートにより被写体の画像をモニタに表示しているときは、第２の変換ルートは被写体の画像の変換処理を行ない、また第２の変換ルートにより被写体の画像をモニタに表示しているときは、第１の変換ルートは被写体の画像の変換処理を行なうのでよい。
【００６８】
なお図４において、たとえば第２の変換ルートの第２の乗算器450 および第２の加算器460 を含まず、第１の加算器420 の出力510 を第２のメモリ470 の入力に接続する構成とすることで、基本的に図４と同様に、モニタへの被写体の画像の表示、および被写体の画像の変換処理を各々独立に行うことでよい。
【００６９】
なおまた図４において、たとえば第２の変換ルートの第２の乗算器450 、第２の加算器460 および第２のメモリ470 を含まない第１の変換ルートのみの構成とし、モニタに被写体の画像を表示を行っているときは、被写体の画像の変換処理を行わず、また被写体の画像の変換処理を行っているときは、モニタに被写体の画像の表示を行わないことでもよい。
【００７０】
次に、図４の各部に現れる画素データを図５および図６に示し、リアルタイム処理回路20の各部における信号処理の方法について詳細に説明する。
【００７１】
図５は、上述した間引き処理回路18から送られる間引かれてなる図２(c) に示すＧストライプRB完全市松色フイルタ配列の画素データがリアルタイム処理回路20の各部において処理され現れた画素データを示したものである。詳細には図５(a) は、リアルタイム処理回路20の入力206 の画素データであり、これは間引き処理回路18の出力である図２(c) と同じものである。図５(b) は、図５(a) に示す画素データの入力によりリアルタイム処理回路20により処理され出力210 に現れた画素ごとに同時化されたRGB の画素データである。
【００７２】
また図６は、上述した間引き処理回路18から送られる間引かれてなる図３(c) に示すRGB ストライプ色フイルタ配列の画素データがリアルタイム処理回路20の各部において処理され現れた画素データを示したものである。詳細には図６(a) は、リアルタイム処理回路20の入力206 の画素データであり、これは間引き処理回路18の出力である図３(c) と同じものである。図６(b) は、図６(a) に示す画素データの入力によりリアルタイム処理回路20により処理され出力210 に現れた画素ごとに同時化されたRGB の画素データである。
【００７３】
図５および図６において、横方向の番号は、ライン方向の表示ドットの番号を示し、また縦方向の番号は、ライン番号を示す。
【００７４】
まず、ＧストライプRB完全市松色フイルタ配列の画素データの信号処理方法について、図１、図４および図５を参照して説明する。
【００７５】
間引き処理回路18から送られる間引かれてなる図５(a) に示すＧストライプRB完全市松色フイルタ配列の画素データは、リアルタイム処理回路20の入力206 に入力される。入力206 に入力した画素データは、セレクタ400 を介して第１の乗算器410 に送られる。
【００７６】
第１の乗算器410 のＲ乗算器412 は、本実施例では、入力する画素データRnに係数１、3/4、1/2、1/4のいずれかを掛け、その結果を第１の加算器420 のＲ加算器422 に出力する。また、第１の乗算器410 のＧ乗算器414 、Ｂ乗算器416 も同様に、本実施例では入力する画素データGn、 画素データBnに係数１、3/4、1/2、1/4のいずれかを掛け、その結果を第１の加算器420 のＧ加算器424、Ｂ加算器426 にそれぞれ出力する。
【００７７】
第１の加算器420 のＲ加算器422 は、たとえばまずR2（またはR1）に０を加えてR11 を作成し、次にR23/4 （またはR13/4 ）にR31/4 を加えてR22 を作成し、次にR21/2 （またはR11/2 ）にR31/2 を加えてR33 を作成し、次にR21/4 （またはR11/4 ）にR33/4 を加えてR44 を作成し、次にR3に０を加えてR55 を作成し、このような方法により順次Rnn を作成し、それを第１のメモリ430 に出力する。上記カッコ内はNO2 ラインの場合を示す。
【００７８】
第１の加算器420 のＧ加算器424 は、たとえば、まずG01/2 （この場合の画素データG0はこの例ではR2（またはR1）の左側にあるとみなすとともに、そのレベル値をこの例では「1」 としている）にG31/2 （またはG11/2 ）を加えてG11 を作成し、次にG3（またはG1）に０を加えてG22 を作成し、次に、G31/2 （またはG11/2 ）にG41/2 （またはG21/2 ）を加えてG33 を作成し、次にG4（またはG2）に０を加えてG44 を作成し、このような方法によりGnn を順次作成し、それを第１のメモリ430 に出力する。上記カッコ内はNO2 ラインの場合を示す。
【００７９】
第１の加算器420 のＢ加算器426 は、たとえば、まず、B01/2 （この場合の画素データB0はこの例ではR2（またはR1）の左側２つ目にあるとみなすとともに、そのレベル値をこの例では「1」 としている）にB21/2 （またはB11/2 ）を加えてB11 を作成し、次に、B01/4 にB23/4 （またはB13/4 ）を加えてB22 を作成し、次にB2（またはB1）に０を加えてB33 を作成し、次に、B23/4 （またはB13/4 ）にB31/4 を加えてB44 を作成し、次にB21/2 （またはB11/2 ）にB31/2 を加えてB55 を作成し、次にB21/4 （またはB11/4 ）にB33/4 を加えてB66 を作成し、次にB3に０を加えてB77 を作成し、このような方法により順次Bnn を作成し、それを第１のメモリ430 に出力する。上記カッコ内はNO2 ラインの場合を示す。
【００８０】
このように第１の加算器420 から出力される画素データRnn、Gnn、Bnn は、たとえば、図５(b) に示すようになる。したがって第１のメモリ430 には図５(b) に示す各画素の画素データが記憶される。
【００８１】
上記の説明および図５(a)、(b) からわかるように、たとえば画素データＲについては、R11、R55 以外のR22、R33、R44、R66、R77、R88 が補間画素であり、画素データＧについては、G22、G44、G66、G88 以外のG11、G33、G55、G77 が補間画素であり、画素データＢについては、B33、B77 以外のB11、B22、B44、B55、B66、B88 が補間画素である。このような補間画素の作成方法については、システムによりあらかじめ決めておけばよい。
【００８２】
このように第１のメモリ430 に蓄積された画素データRnn、Gnn、Bnn は、本実施例では、出力制御部442 の読み出し制御信号に基づいて第１のメモリ430 から読み出されＹＣ変換器444 に送られる。このＹＣ変換器444 は、第１のメモリ430 からの画素データRnn、Gnn、Bnn を用い、たとえば、0.3Rnn+0.59Gnn+0.11Bnnの演算から輝度信号Ynn を作成し、また、0.7Rnn-0.59Gnn-0.11Bnnの演算から色差信号Rnn-Ynn を作成し、さらに-0.3Rnn-0.59Gnn+0.89Bnn の演算から色差信号Bnn-Ynn を作成し、それぞれ作成した信号を出力208 に出力する。
【００８３】
次にRGB ストライプ色フイルタ配列の高解像度CCD により出力された画素データの信号処理方法について図１、図４および図６を参照して説明する。
【００８４】
間引き処理回路18から送られる間引かれてなる図６(a) に示すＧストライプRB完全市松色フイルタ配列の画素データは、リアルタイム処理回路20の入力206 に入力される。入力206 に入力した画素データは、セレクタ400 を介して第１の乗算器410 に送られる。
【００８５】
第１の乗算器410 のＲ乗算器412 は、本実施例では、入力する画素データRnに係数１、2/3、1/3のいずれかを掛け、その結果を第１の加算器420 のＲ加算器422 に出力する。また第１の乗算器410 のＧ乗算器414 、Ｂ乗算器416 も同様に、本実施例では、入力する画素データGn、 画素データBnに係数１、2/3、1/3のいずれかを掛け、その結果を第１の加算器420 のＧ加算器424、Ｂ加算器426 にそれぞれ出力する。
【００８６】
第１の加算器420 のＲ加算器422 は、たとえば、まず、R2（またはR1）に０を加えてR11 を作成し、R22/3 （またはR12/3 ）にR31/3 を加えてR22 を作成し、次にR21/3 （またはR11/3 ）にR32/3 を加えてR33 を作成し、次にR3に０を加えてR44 を作成し、このような方法により順次Rnn を作成し、それを第１のメモリ430 に出力する。上記カッコ内はNO2 ラインの場合を示す。
【００８７】
第１の加算器420 のＧ加算器424 はたとえばまずG01/3 （この場合の画素データG0はこの例ではR2（またはR1）の左側２つ目にあるとみなす）にG22/3 （またはG12/3 ）を加えてG11 を作成し、次にG2（またはG1）に０を加えてG22 を作成し、次にG22/3 （またはG12/3 ）にG31/3 を加えてG33 を作成し、次に、G21/3 （またはG11/3 ）にG32/3 を加えてG44 を作成し、次にG3に０を加えてG55 を作成し、このような方法により順次Gnn を作成し、それを第１のメモリ430 に出力する。上記カッコ内はNO2 ラインの場合を示す。
【００８８】
第１の加算器420 のＢ加算器426 はまた、たとえば、まずB02/3 （この場合の画素データB0はこの例ではR2（またはR1）の左側にあるとみなす）にB21/3 （またはB11/3 ）を加えてB11 を作成し、次にB01/3 にB22/3 （またはB12/3 ）を加えてB22 を作成し、次にB2（またはB1）に０を加えてB33 を作成し、次にB22/3 （またはB12/3 ）にB31/3 を加えてB44 を作成し、次にB21/3 （またはB11/3 ）にB32/3 を加えてB55 を作成し、次にB3に０を加えてB66 を作成し、このような方法により順次Bnn を作成し、それを第１のメモリ430 に出力する。上記カッコ内はNO2 ラインの場合を示す。
【００８９】
このように第１の加算器420 から出力される画素データRnn、Gnn、Bnn は、たとえば、図６(b) に示すようになる。したがって第１のメモリ430 には図６(b) に示す各画素の画素データが記憶される。
【００９０】
上記の説明および図６(a)、(b) からわかるように、たとえば画素データＲについては、R11、R44 以外のR22、R33、R55、R66 が補間画素であり、画素データＧについては、G22、G55 以外のG11、G33、G44、G66 が補間画素であり、画素データＢについては、B33、B66 以外のB11、B22、B44、B55 が補間画素である。このような補間画素の作成方法については、あらかじめシステムにより決めておけばよい。
【００９１】
このように第１のメモリ430 に蓄積された画素データRnn、Gnn、Bnn は、出力制御部442 の読み出し制御信号に基づいて第１のメモリ430 から読み出されＹＣ変換器444 に送られる。ＹＣ変換器444 は第１のメモリ430 からの画素データRnn、Gnn、Bnn を用い、たとえば0.3Rnn+0.59Gnn+0.11Bnnの演算から輝度信号Ynn を作成し、また0.7Rnn-0.59Gnn-0.11Bnnの演算から色差信号Rnn-Ynn を作成し、さらに-0.3Rnn-0.59Gnn+0.89Bnn の演算から色差信号Bnn-Ynn を作成し、それぞれ作成した信号を出力208 に出力する。
【００９２】
図１に戻って、ディジタルアナログ変換器24は、入力210 から入力したディジタル画像データＲ、ＧおよびＢを対応するアナログ値にて表される画像信号に変換し、それをたとえば、モニタ装置のライン数が525 本、フィールド周波数が60Hzの525/60方式の RGBモニタ装置、ライン数が625 本、フィールド周波数が50Hzの625/50方式のRGB モニタ装置あるいは上記ライン数よりも少ないライン数からなる低解像度のRGB モニタ装置（いずれも図示せず）などに出力する。
【００９３】
ＹＣ処理部22は、入力204 から点順次に入力したＲ、ＧおよびＢの画像データから各画素ごとに同時化した輝度信号データＹおよび色差信号データR-Y、B-Y を得るＹＣ変換回路である。この得られた輝度信号データＹおよび色差信号データR-Y、B-Y は出力208 および出力218 から出力される。出力208 は後処理回路26の入力に接続され、出力218 はセレクタ34の入力に接続されている。
【００９４】
後処理回路26は、入力208 に入力した標準解像度の輝度信号データＹに対して輪郭補正を、また標準解像度の色差信号データR-Y およびB-Y に対して色補正を行う補正回路であり、補正したそれぞれの画像信号を出力212 に出力する。出力212 はディジタルアナログ変換器28の入力に接続されている。
【００９５】
ディジタルアナログ変換器28は、入力212 に入力した画像信号データを対応するアナログ値にて表される画像信号に変換し、それを出力214 に出力する。出力214 は再生部30の入力に接続されている。
【００９６】
再生部30は、入力214 に入力した画像信号を、本実施例では、たとえばNTSC方式の映像信号に変換する。再生部30は出力216 を有し、これにはモニタ装置32が接続されている。モニタ装置32は、そのNTSC方式の映像信号を可視画像としてスクリーンに表示する画像表示装置である。
【００９７】
なお、モニタ装置がPAL あるいはSECAM 方式であれば、再生部30は、入力214 に入力した画像信号をPAL あるいはSECAM 方式の映像信号に変換する変換回路でよい。モニタ装置32は、カメラ１のビューファインダとして機能し、再生部30との接続216 は、有線または無線のいずれでもよく、また固定接続または着脱可能な接続のいずれでもよい。勿論、カメラ１は、この他に光学式のビューファインダを備えていてもよい。
【００９８】
図１を参照すると、セレクタ34は、制御部52の制御を受けて画像データの伝送経路を制御して所望の回路に画像データを転送する制御回路である。セレクタ34は、ＹＣ処理部22で所定のデータ形式に変換した画像データを接続線218 を介して入力し、入力した画像データを接続線220 を介してメモリ38に転送する。
【００９９】
メモリ38は、ビデオRAM などにて構成されており、入力220 に現れた標準解像度の画像データを少なくとも１画面に相当する１フレ−ム分を蓄積するフレームメモリである。またメモリ38は、制御部52の制御を受けて蓄積した画像データを出力220 に出力し、セレクタ34を介してその出力222 に接続された圧縮処理部36に転送する。
【０１００】
圧縮処理部36は、制御部52の制御を受けて入力222 に入力した標準解像度の画像データに対し２次元直交変換、正規化およびハフマン符号化などの圧縮処理を行う処理回路である。圧縮処理部36はまた、制御部52の制御を受けて圧縮した画像データをセレクタ34を介してその出力224 に接続されたインタフェース40に出力する。インタフェース40は、入力224 に現れた圧縮した画像データなどのデータおよび制御部52から供給される制御信号をメモリカード42に転送し、またメモリカード42から出力された圧縮した画像データなどのデータをセレクタ34に転送する回路である。
【０１０１】
タイミング信号発生回路44は、制御部52から起動信号226 を受けると、起動信号226 に同期した駆動信号発生回路46を作動させるための各種タイミング信号を形成し、それらを信号線230 を介して駆動信号発生回路46に出力し、また起動信号226 に同期した制御部52を作動させるための各種タイミング信号を形成し、それらを信号線228 を介して制御部52に出力し、また起動信号226 に同期した欠陥位置データ記憶回路48を作動させるための各種タイミング信号を形成し、それらを制御線234 を介して欠陥位置データ記憶回路48に出力する同期信号発生回路である。これら各種タイミング信号は、タイミング信号発生回路44内の基準信号発振器（図示せず）から出力されるクロック信号に基づいて形成される。
【０１０２】
駆動信号発生回路46は、入力230 から入力する各種タイミング信号に基づいて撮像素子12用の各種駆動信号を形成する回路である。この回路で形成された各種駆動信号は信号線232 を介して撮像素子12に送られる。
【０１０３】
欠陥位置データ記憶回路48は、ROM などにて構成されており、本実施例では、高解像度のCCD12 の欠陥画素位置を示すデータを蓄積する記憶回路である。この蓄積された欠陥画素位置データは、タイミング信号発生回路44からの読み出し制御信号234 により読み出され、その出力236 から制御部52に出力される。欠陥画素位置データは、欠陥画素のあるライン位置を示すデータとそのライン位置におけるライン内の画素位置を示すアドレスデータとから構成されている。
【０１０４】
間引き処理制御回路50は、制御部52の第２の制御回路から制御線240 を通して送られる各種制御信号から間引き処理回路18の間引き処理に必要な制御信号を形成するタイミング信号発生回路である。形成された制御信号は制御線242 を通して間引き処理回路18に送られる。
【０１０５】
図１を参照すると、制御部52は、タイミング信号発生回路44から接続線228 を介して送られる各種タイミング信号に基づいて前述したそれぞれの機能部を制御および管理する制御信号を形成する第１の制御回路（図示せず）を有するとともに、この制御部52はとくに、間引き処理制御回路50およびリアルタイム処理回路20を制御および管理する制御信号を形成する第２の制御回路（図示せず）も有している。
【０１０６】
第２の制御回路は、本実施例では高解像度のCCD12 からの被写体画像をたとえばNTSC方式のモニタ装置でモニタする場合にとくに、欠陥位置データ記憶回路48からのCCD12 の欠陥画素位置を示すデータに基づいて間引き処理回路18のフレームメモリに蓄積される高解像度の画像データを間引き読み出す制御信号を間引き処理制御回路50にて形成するための制御信号を生成するとともに、このフレームメモリからの読み出された画像データに対して画像処理を施すリアルタイム処理回路20を作動させるための制御信号も生成している。
【０１０７】
制御部52はまた、図示しないレリーズボタン回路からそのボタンの押下によるシャッタレリーズ信号を受けると、撮影を開始させるための起動信号を形成し、それを制御線226 を介してタイミング信号発生回路44に送る。
【０１０８】
第１の実施例の動作を説明する。
【０１０９】
まず、カメラ１の撮像素子12がＧストライプRB完全市松フイルタの高解像度のCCD(表示ドット数、 横1280×縦1024ドット) であり、このCCD12 から出力された画素信号がNTSC方式の映像信号に変換されモニタに表示されるまでの動作について説明する。CCD12 の欠陥画素の位置は前述した同じ位置である。
【０１１０】
撮像レンズ10による被写体の光学像は、高解像度のCCD12 の撮像面に結像される。CCD12 は、その結像の横1280×縦1024ドットの画素を走査してその画素信号を前処理回路14に送る。前処理回路14は、入力した画像信号を所定のレベルまで増幅し、さらにこの増幅した画像信号にブラックレベル補正、ホワイトバランス補正、ガンマ補正などの処理をしてアナログディジタル変換器16に送る。
【０１１１】
アナログディジタル変換器16は、入力したアナログ画像信号を対応するディジタル値に変換し、さらにディジタル値に変換した画像データを間引き処理回路18内のフレームメモリに、本実施例では120ms の時間で蓄積する。CCD12 からの横1280×縦1024ドットの画素データは、図２(a) に示すような画素配列でフレームメモリに蓄積される。
【０１１２】
このようにフレームメモリに蓄積された画像データは、間引き処理制御回路50からの読み出し制御信号により前述したように、偶数ラインにおいてはライン全体の画素データが読み出されずに、また奇数ラインにおいては欠陥画素を含まない奇数および偶数グループの連続するところでは奇数グループの各々画素データが読み出され、偶数グループの各々画素データが読み出されずに、また欠陥画素を含む奇数グループおよび欠陥画素を含まない偶数グループの連続するところではこの奇数グループの各々画素データが読み出されずに、次の欠陥画素を含まない偶数グループの各々画素データが読み出される。このように読み出された画素データＲ、ＧおよびＢ（図２(c) ）はリアルタイム処理回路20のセレクタ400 を介して第１の乗算器410 に送られる。
【０１１３】
第１の乗算器410 に点順次に入力する低解像度の画素データＲ、ＧおよびＢは第１の乗算器410 および第１の加算器420 により補間処理される。これにより第１の加算器420 の出力510 からは各画素ごとに同時化した画素データＲ、ＧおよびＢが出力される。この各画素ごとに同時化した画素データＲ、ＧおよびＢは、入力制御部440 の書き込み制御信号により第１のメモリ430 に蓄積される。この場合、第１の加算器420 から各サンプル点でのＲ、ＧおよびＢの画素データが送られてくるから、第１のメモリ430 には、図５(b) に示すような画素配置によるそれぞれが横640 ×縦512 ドットからなるデータが記憶される。
【０１１４】
本実施例では、間引き処理回路18のフレームメモリから読み出される画素データRnn、Gnn、Bnn を、120ms 内に第１のメモリ430 に蓄積している。したがって第１のメモリ430 に蓄積した画素データの映像を実時間で再生部30を介してNTSC方式のモニタ装置32に表示することができる。
【０１１５】
なお、このモニタ装置32がNTSC方式よりも低解像度のモニタである場合は、画素データの間引き量を多くできるから、間引き処理回路18のフレームメモリから読み出した画素データRnn、Gnn、Bnn を第１のメモリ430 に蓄積するまでの時間をさらに短縮することができる。
【０１１６】
このように第１のメモリ430 に蓄積された画素データRnn、Gnn、Bnn は、出力制御部442 からの奇数ラインごとまたは偶数ラインごとに画素データを読み出すインタレース読み出し制御信号により第１のメモリ430 から読み出されＹＣ変換器444 に送られる。
【０１１７】
ＹＣ変換器444 は、第１のメモリ430 からの画素データRnn、Gnn、Bnn および上述した演算式を用いて輝度信号Ynn、色差信号Rnn-Ynn および色差信号Bnn-Ynn を作成し後処理回路26に送る。後処理回路26は、入力した輝度信号データＹに対し輪郭補正を行い、また入力した色差信号データR-Y およびB-Y に対し色補正を行い、その補正した画像信号をディジタルアナログ変換器28に送る。
【０１１８】
ディジタルアナログ変換器28は、入力した画像信号データを対応するアナログ値にて表される画像信号に変換し再生部30に送る。再生部30は、入力した画像信号をNTSC方式の映像信号に変換しNTSC方式のモニタ装置32に送る。モニタ装置32には、欠陥画素の含まれない被写体の画像が表示される。
【０１１９】
次に、カメラ１の撮像素子12がRGB ストライプ色フイルタ配列の高解像度のCCD(表示ドット数、 横1280×縦1024ドット) であり、このCCD12 から出力された画素信号がNTSC方式の映像信号に変換されモニタに表示されるまでの動作について説明する。CCD12 の欠陥画素の位置は前述した同じ位置である。
【０１２０】
撮像レンズ10による被写体の光学像は、高解像度のCCD12 の撮像面に結像される。CCD12 は、その結像の横1280×縦1024ドットの画素を走査してその画素信号を前処理回路14に送る。前処理回路14は、入力した画像信号を所定のレベルまで増幅し、さらにこの増幅した画像信号にブラックレベル補正、ホワイトバランス補正、ガンマ補正などの処理をしてアナログディジタル変換器16に送る。
【０１２１】
アナログディジタル変換器16は、入力したアナログ画像信号を対応するディジタル値に変換し、さらにディジタル値に変換した画像データを間引き処理回路18内のフレームメモリに、本実施例では120ms の時間で蓄積する。CCD12 からの横1280×縦1024ドットの画素データは、図３(a) に示すような画素配列でフレームメモリに蓄積される。
【０１２２】
このようにフレームメモリに蓄積された画像データは、間引き処理制御回路50からの読み出し制御信号により前述したように、偶数ラインにおいてはライン全体の画素データが読み出されずに、また奇数ラインにおいては欠陥画素を含まない奇数および偶数グループの連続するところでは奇数グループの各々画素データが読み出され、偶数グループの各々画素データが読み出されずに、欠陥画素を含む奇数グループおよび欠陥画素を含まない偶数グループの連続するところではこの奇数グループの各々画素データが読み出されずに、次の欠陥画素を含まない偶数グループの各々画素データが読み出される。このように読み出された画素データＲ、ＧおよびＢ（図３(c) ）はリアルタイム処理回路20のセレクタ400 を介して第１の乗算器410 に送られる。
【０１２３】
第１の乗算器410 に点順次に入力する低解像度の画素データＲ、ＧおよびＢは第１の乗算器410 および第１の加算器420 により補間処理される。これにより第１の加算器420 の出力510 からは各画素ごとに同時化した画素データＲ、ＧおよびＢが出力される。この各画素ごとに同時化した画素データＲ、ＧおよびＢは、入力制御部440 の書き込み制御信号により第１のメモリ430 に蓄積される。この場合、第１の加算器420 から各サンプル点でのＲ、ＧおよびＢの画素データが送られてくるから、第１のメモリ430 には、図６(b) に示すような画素配置によるそれぞれが横640 ×縦512 ドットからなるデータが記憶される。
【０１２４】
本実施例では、間引き処理回路18のフレームメモリから読み出される画素データRnn、Gnn、Bnn を、120ms 内に第１のメモリ430 に蓄積している。したがって第１のメモリ430 に蓄積した画素データの映像を実時間で再生部30を介してNTSC方式のモニタ装置32に表示することができる。
【０１２５】
出力制御部442 からの奇数ラインごとまたは偶数ラインごとに画素データを読み出すインタレース読み出し制御信号により第１のメモリ430 から読み出された画素データRnn、Gnn、Bnn がNTSC方式の映像信号に変換されるまでの動作はＧストライプRB完全市松フイルタの場合と同じであり、説明を省く。
【０１２６】
このように第１の実施例によれば、間引き処理制御回路50は、間引き処理回路18のフレームメモリに記憶された奇数ラインにおける奇数グループに高解像度のCCD12 からの欠陥画素の影響で発生した偽信号データを含む場合にはこの奇数グループの各画素データを間引き、その代わり欠陥画素のないこの奇数グループの次の偶数グループの各画素データを読み出し、また、奇数ラインにおける連続した奇数グループおよび偶数グループに高解像度のCCD12 からの欠陥画素の影響で発生した偽信号データを含まない場合には奇数グループの各画素データを読み出し、偶数グループの各画素データの間引きを行なってNTSC方式のモニタ装置に表示し得るような画素数の画素データＲ、ＧおよびＢに変換し、次にリアルタイム処理回路20は、間引き処理回路18からの画素データＲ、ＧおよびＢに対し補間処理を行なって各画素ごとに同時化した画素データＲ、ＧおよびＢを得、さらにこの同時化した画素データＲ、ＧおよびＢに対しＹＣ変換を行なって輝度信号データＹおよび色差信号データR-Y、B-Y を得ているから、高解像度の被写体画像の映像をよい画質にて実時間にて再生部30を介してモニタ装置32に表示することができるという効果がある。
【０１２７】
図７には、本発明による画像信号処理装置の適用される電子スチルカメラの第２の実施例が示されている。
【０１２８】
図７の電子スチルカメラ２において、図１のグループ単位で間引き処理を行なう電子スチルカメラ１と相違するところは、CCD12 の欠陥画素の位置および数に基づき画面単位で間引き処理した方がよいと判断した場合には画面単位で、また画面単位での間引き処理よりはライン単位で間引き処理した方がよいと判断した場合にはライン単位で、またライン単位での間引き処理よりはグループ単位で間引き処理した方がよいと判断した場合にはグループ単位でいうように段階的に間引き処理ができる点である。
【０１２９】
図７に示すように、カメラ２は、撮像レンズ10、撮像素子12、前処理回路14、アナログディジタル(A/D) 変換器16、間引き処理回路18、リアルタイム処理回路20、ＹＣ処理部22、ディジタルアナログ(D/A) 変換器24、28、後処理回路26、再生部30、モニタ装置32、セレクタ34、圧縮処理部36、メモリ38、インタフェース(I/F)40 、メモリカード42、タイミング信号発生回路44、駆動信号発生回路46、欠陥位置データ記憶回路48、間引き処理制御回路60および制御部62から構成されている。
【０１３０】
図７において、図１と相違するところは間引き処理制御回路50が間引き処理制御回路60に変更された点と、制御部52が制御部62に変更された点と、接続線240 が接続線250 に変更された点と、接続線242 が接続線252 に変更された点とである。なお図７において、図１と対応する部分には同じ符号を付して示し、重複説明を省略する。
【０１３１】
間引き処理制御回路60は、制御部62の第２の制御回路から制御線250 を通して送られる各種制御信号から間引き処理回路18の間引き処理に必要な制御信号を形成するタイミング信号発生回路である。形成された制御信号は制御線252 を通して間引き処理回路18に送られる。
【０１３２】
欠陥位置データ記憶回路48に蓄積された欠陥画素位置データは、タイミング信号発生回路44からの読み出し制御信号234 により読み出され、その出力236 から制御部62に送られる。
【０１３３】
制御部62は、本実施例では、マイクロコンピュータつまりCPU (Central Processor Unit) を含む処理システムが有利に適用され、タイミング信号発生回路44から接続線228 を介して送られる各種タイミング信号および欠陥位置データ記憶回路48から接続線236 を介して送られる欠陥画素位置データに基づいて各々機能部を制御および管理する制御信号を形成する第１の制御回路（図示せず）および第２の制御回路（図示せず）を有している。第２の制御回路はとくに、間引き処理制御回路60およびリアルタイム処理回路20を制御および管理する制御信号を形成する。
【０１３４】
詳細には、第２の制御回路は、本実施例では高解像度CCD からの被写体画像をたとえばNTSC方式のモニタ装置でモニタする場合にとくに、間引き処理回路18のフレームメモリに蓄積された高解像度の画像データを間引き処理制御回路60により間引き読み出す制御信号を形成するための制御信号を生成するとともに、このフレームメモリからの読み出された画像データに対して画像処理を施すリアルタイム処理回路20を作動させるための制御信号も生成している。
【０１３５】
第２の制御回路はまた、欠陥位置データ記憶回路48から送られる欠陥画素位置データにより欠陥画素の位置および数を把握する。第２の制御回路は、把握した欠陥画素の位置および数に基づいて画面単位にて間引き処理した方がよいのか、あるいはライン単位で間引き処理した方がよいのか、あるいはグループ単位で間引き処理した方がよいのかなどを判断する。
【０１３６】
これら判断について、図９および図10のフローを用いてさらに詳述する。
【０１３７】
第２の制御回路は、１画面における欠陥画素を含む奇数グループ数と欠陥画素を含む偶数グループ数との差がしきい値たとえば５以上か否かをステップ602 ににより判断し、しきい値以上と判断した場合には、画面単位で間引き処理した方がよいと判断し、さらに奇数グループの方に欠陥画素が多く含まれているか否かをステップ604 により判断する。奇数グループの方に欠陥画素が多く含まれていると判断した場合は、第２の制御回路は、ステップ606 を実行させるために、間引き処理制御回路60から出力される偶数グループの各画素データの読み出し、奇数グループの各画素データの間引きを行なう制御信号を形成するに必要な各種制御信号を間引き処理制御回路60に送る。
【０１３８】
またステップ604 にて偶数グループの方に欠陥画素が多く含まれていると判断した場合は、第２の制御回路は、ステップ608 を実行させるために、間引き処理制御回路60から出力される奇数グループの各画素データの読み出し、偶数グループの各画素データの間引きを行なう制御信号を形成するに必要な各種制御信号を間引き処理制御回路60に送る。
【０１３９】
また、ステップ602 にてしきい値未満と判断した場合は、ラインにおける欠陥画素を含む奇数グループ数と欠陥画素を含む偶数グループ数との差がしきい値たとえば２以上か否かをステップ612 により判断し、しきい値以上と判断した場合は、ライン単位で間引き処理した方がよいと判断し、さらに奇数グループの方に欠陥画素が多く含まれているか否かがステップ614 により判断される。
【０１４０】
またステップ614 にて奇数グループの方に欠陥画素が多く含まれていると判断した場合は、第２の制御回路は、ステップ616 を実行させるために、間引き処理制御回路60から出力される偶数グループの各画素データの読み出し、奇数グループの各画素データの間引きを行なう制御信号を形成するに必要な各種制御信号を間引き処理制御回路60に送る。
【０１４１】
またステップ614 にて偶数グループの方に欠陥画素が多く含まれていると判断した場合は、第２の制御回路は、ステップ618 を実行させるために、間引き処理制御回路60から出力される奇数グループの各画素データの読み出し、偶数グループの各画素データの間引きを行なう制御信号を形成するに必要な各種制御信号を間引き処理制御回路60に送る。
【０１４２】
またステップ612 にてしきい値未満と判断した場合には、奇数グループに欠陥画素が含まれているか否かがステップ624 により判断される。奇数グループに欠陥画素が含まれていると判断された場合は、第２の制御回路は、ステップ626 を実行させるために、間引き処理制御回路60から出力されるこの奇数グループのたとえば次の欠陥画素を含まない偶数グループの各画素データの読み出し、この奇数グループの各画素データの間引きを行なう制御信号を形成するに必要な各種制御信号を間引き処理制御回路60に送る。
【０１４３】
またステップ624 にて偶数グループに欠陥画素が含まれていると判断された場合は、第２の制御回路は、ステップ628 を実行させるために、間引き処理制御回路60から出力されるこの偶数グループのたとえば次の奇数グループの各画素データの読み出し、この偶数グループの各画素データの間引きを行なう制御信号を形成するに必要な各種制御信号を間引き処理制御回路60に送る。
【０１４４】
上述からわかるように、第２の制御回路には、たとえば最初の撮影にてカメラ２に組み込まれたCCD12 の欠陥画素位置のデータが欠陥位置データ記憶回路48から送られてくるから、第２の制御回路は、２回目以降の撮影からは、画面単位、あるいはライン単位、あるいはグループ単位のいずれの間引き処理にて処理すればよいかを知っている。
【０１４５】
制御部62はまた、図示しないレリーズボタン回路からそのボタンの押下によるシャッタレリーズ信号を受けると、撮影を開始させるための起動信号を形成し、それを制御線226 を介してタイミング信号発生回路44に送る。
【０１４６】
第２の実施例の動作を説明する。
【０１４７】
ＧストライプRB完全市松色フィルタ配列による高解像度CCD から出力された画素データの段階的間引き処理の動作を、図２、図７、図９および図10を参照して説明する。なお、間引き後の動作については第１の実施例の動作と基本的には同じなので説明を省略する。
【０１４８】
撮影の開始（ステップ600 ）により図７に示すＧストライプRB完全市松色フイルタ配列の高解像度CCD （撮像素子12）から出力された上述した画素位置に欠陥画素を含む画素信号は、前処理回路14に送られる。前処理回路14は、送られてきた画素信号に対しガンマ補正などの前処理を行なってアナログディジタル変換器16に送る。アナログディジタル変換器16は、送られてきた前処理の行なわれたアナログ画素信号を対応するディジタル値に変換し、この変換したディジタル値を示す画素データを間引き処理回路18に送る。
【０１４９】
間引き処理回路18は、送られてきた画素データを間引き処理制御回路60からの書き込み制御信号に基づき、そのフレームメモリに図２(a) に示すように蓄積する。なお、この例ではフレームメモリには高解像度CCD12 から送られてくるすべてのラインのデータを蓄積するようにしたが、高解像度CCD12 から送られてくる奇数ラインのデータのみを蓄積するようにしてもよい。
【０１５０】
ところで、制御部62の第２の制御回路よるステップ602 およびステップ604 の実行により、制御部62の第２の制御回路は、すでに１画面における欠陥画素を含む奇数グループ数と欠陥画素を含む偶数グループ数との差がしきい値たとえば５以上であり、さらに奇数グループの方に欠陥画素が多く含まれていることを知っていたとする第１の場合を考える。
【０１５１】
この第１の場合、第２の制御回路は、ステップ606 を実行させるために、間引き処理制御回路60から出力される偶数グループの各画素データの読み出し、奇数グループの各画素データの間引きを行なう制御信号を形成するに必要な各種制御信号を間引き処理制御回路60に送る。
【０１５２】
フレームメモリに蓄積された画素データは、間引き処理制御回路60からの読み出し制御信号により間引かれるとともに、読み出される。この様子を以下に詳述する。
【０１５３】
まずフレームメモリに蓄積されたNO1 ラインの画素データの間引き読み出しについて説明すると、間引き処理制御回路60は、この例では第１グループの中に欠陥画素に基づく画素データを含んでいるかいないかにかかわらず、第１グループの画素データ群R1、G1、B1、G2 に対して読み出し制御信号を出力しない。つまり第１グループの画素データ群は間引かれたことになる。この様子が図２(d) のNO1 ラインに示されている。
【０１５４】
次に間引き処理制御回路60は第２グループの画素データ群R2、G3、B2、G4 を読み出す読み出し制御信号を出力する。これにより欠陥画素を含まない第２グループの画素データ群が読み出される。この様子が図２(d) のNO1 ラインの第１グループに示されている。
【０１５５】
次に間引き処理制御回路60は、第３グループの画素データ群R3、G5、B3、G6 に対して読み出し制御信号を出力しない。つまり第３グループの画素データ群は間引かれたことになる。この様子が図２(d) のNO1 ラインに示されている。
【０１５６】
次に間引き処理制御回路60は第４グループの画素データ群R4、G7、B4、G8 を読み出す読み出し制御信号を出力する。これにより欠陥画素を含まない第４グループの画素データ群が読み出される。この様子が図２(d) のNO1 ラインの第２グループに示されている。図２(d) のNO1 ラインにおける間引き後の画素数は間引く前の画素数の半分になる。
【０１５７】
NO1 ラインの画素データの間引き処理が終了すると、NO2 ラインの画素データの間引き処理に入る。間引き処理制御回路60は、この例では、NO2 ラインの各グループの画素データ群に対する読み出し制御信号を出力しない。これによりNO2 ラインの全ての画素データは、間引かれたことになる。なお本実施例では、偶数ラインの全ての画素データを間引き処理回路18において間引いているので、間引き処理回路18から出力されるライン数は間引き処理回路18に入力するライン数の半分になる。
【０１５８】
NO2 ラインの画素データの間引き処理が終了すると、NO3 ラインの画素データの間引き処理に入る。間引き処理制御回路60は、NO3 ラインの偶数番号グループの画素データ群については読み出し、また奇数番号グループの画素データ群については読み出ししない間引き処理を行なう。この様子が図２(d) のNO2 ラインに示されている。
【０１５９】
NO3 ラインの画素データの間引き処理が終了すると、NO4 ラインの画素データの間引き処理に入る。本実施例では、上述したように、偶数ラインの全ての画素データを間引くので、間引き処理制御回路60は、NO4 ラインの各グループの画素データ群に対する読み出し制御信号を出力しない。これにてステップ606 の間引き処理が終了して１画面全体の間引き処理が終了する（ステップ610 ）。
【０１６０】
ところで第２の場合として、制御部62の第２の制御回路よるステップ602 、ステップ612 、ステップ614 およびステップ624 の実行により、制御部62の第２の制御回路は、すでに１画面における欠陥画素を含む奇数グループ数と欠陥画素を含む偶数グループ数との差がしきい値たとえば５未満であり、ラインにおける欠陥画素を含む奇数グループ数と欠陥画素を含む偶数グループ数との差がしきい値たとえば２以上と２未満があり、２以上のときは偶数グループの方に欠陥画素が多く含まれており、２未満のときは奇数グループであるNO1 グループに欠陥画素が含まれていることを知っていたとする。
【０１６１】
この場合、間引き処理回路18内のフレームメモリに蓄積される図２(a) に示すデータにおいて、NO1 ラインにおいては欠陥画素を含む奇数グループと欠陥画素を含む偶数グループとの差がしきい値たとえば２未満であり、かつ奇数グループであるNO1 グループに欠陥画素が含まれており、またNO2 ライン〜NO4 ラインにおいては欠陥画素を含む奇数グループ数と欠陥画素を含む偶数グループ数との差がしきい値たとえば２以上であり、かつ偶数グループの方に欠陥画素が多く含まれていたとする。
【０１６２】
以上の条件下では、ステップ602 によりすでに１画面における欠陥画素を含む奇数グループ数と欠陥画素を含む偶数グループ数との差がしきい値たとえば５未満であると判定されており、また次のステップ612 によりすでにNO1 ラインにおける欠陥画素を含む奇数グループ数と欠陥画素を含む偶数グループ数との差がしきい値たとえば２未満であると判定されており、また次のステップ624 によりNO1 ラインのNO1 グループに欠陥画素が含まれていることが判定されている。
【０１６３】
まずフレームメモリに蓄積されたNO1 ラインの画素データの間引き読み出しについて説明すると、ステップ624 にて第１グループの画素データR1が欠陥画素に基づくものであると判定されているから、間引き処理制御回路60は、第１グループの画素データ群R1、G1、B1、G2 に対して読み出し制御信号を出力しない。つまり欠陥画素を含む第１グループの画素データ群は間引かれる。この様子が図２(c) のNO1 ラインに示されている。
【０１６４】
第１グループの画素データ群を読み出さない代わりに、間引き処理制御回路60は第２グループの画素データ群R2、G3、B2、G4 を読み出す読み出し制御信号を出力する。これにより欠陥画素を含まない第２グループの画素データ群が読み出される（ステップ626 ）。この様子が図２(c) のNO1 ラインの第１グループに示されている。
【０１６５】
次に第２グループが最終グループであるのか否かがステップ630 により判定され、この場合最終グループでないので処理はステップ624 に入る。ステップ624 では第３グループに欠陥画素が含まれているか否かが判定され、第３グループには欠陥画素の含まれていないことを知っているので、間引き処理制御回路60は、第３グループの画素データ群R3、G5、B3、G6 を読み出す読み出し制御信号を出力する。これにより欠陥画素を含まない第３グループの画素データ群が読み出される（ステップ628 ）。この様子が図２(c) のNO1 ラインの第２グループに示されている。
【０１６６】
欠陥画素を含まない第３グループの画素データ群が読み出された場合には、間引き処理制御回路60は、次の第４グループの画素データ群R4、G7、B4、G8 に対して読み出し制御信号を出力しない。つまり第４グループの画素データ群は間引かれる。この様子が図２(c) のNO1 ラインに示されている。
【０１６７】
次に、第４グループが最終グループであるのか否かがステップ630 により判定され、この場合最終グループなので処理はステップ632 に入る。ステップ632 では今処理したライン番号が最後のライン番号であるのか否かが判定され、この場合最後のライン番号でないので処理はステップ612 に戻る。
【０１６８】
つまりNO1 ラインの画素データの間引き処理が終了すると、NO2 ラインの画素データの間引き処理に入る。ステップ612 の判定結果にかかわらず、間引き処理制御回路60は、本実施例では、NO2 ラインの各グループの画素データ群に対する読み出し制御信号を出力しない。これによりNO2 ラインの全ての画素データは、間引かれたことになる。なお本実施例では、偶数ラインの全ての画素データを間引き処理回路18において間引いているので、間引き処理回路18から出力されるライン数は間引き処理回路18に入力するライン数の半分になる。
【０１６９】
NO2 ラインの画素データの間引き処理が終了すると、本実施例では、ステップ612 に戻りNO3 ラインの画素データの間引き処理に入る。ステップ612 によりすでにNO3 ラインにおける欠陥画素を含む奇数グループ数と欠陥画素を含む偶数グループ数との差がしきい値たとえば２以上であることを知っており、また次の処理であるステップ614 によりすでに偶数グループの方に欠陥画素が多く含まれていることを知っているので、処理はステップ618 に入る。
【０１７０】
ステップ618 に入ると間引き処理制御回路60は、NO3 ラインの奇数番号グループの画素データ群については読み出し、また偶数番号グループの画素データ群については読み出ししない制御信号を出力する。この様子が図２(c) のNO2 ラインに示されている。
【０１７１】
NO3 ラインの画素データの間引き処理が終了すると、NO4 ラインの画素データの間引き処理に入る。本実施例では、上述したように、偶数ラインの全ての画素データを間引くので、間引き処理制御回路60は、NO4 ラインの各グループの画素データ群に対する読み出し制御信号を出力しない。このステップ618 での間引き処理が終了することで最後のラインも終了（ステップ620 ）するので、１画面全体の間引き処理も終了する（ステップ622 ）。
【０１７２】
なお、RGB ストライプ色フイルタ配列による高解像度CCD から出力された画素データの段階的間引き処理の動作については、上述したＧストライプRB完全市松色フィルタ配列による高解像度CCD から出力された画素データの段階的間引き処理の動作と基本的には同じなので説明を省略する。
【０１７３】
このように第２の実施例によれば、１画面における欠陥画素を含む奇数グループ数と欠陥画素を含む偶数グループ数との差がしきい値以上であり、かつ奇数グループの方に欠陥画素が多く含まれている場合は、間引き処理制御回路60は、間引き処理回路18のフレームメモリに記憶された奇数ラインにおける奇数グループの各画素データを間引き、その代わり欠陥画素の少ないこの奇数グループの次の偶数グループの各画素データを読み出すから、高解像度の被写体画像の映像をよい画質にて実時間にて再生部30を介してモニタ装置32に表示することができるという効果がある。
【０１７４】
また、このように第２の実施例によれば、１画面における欠陥画素を含む奇数グループ数と欠陥画素を含む偶数グループ数との差がしきい値未満であり、NO1 ラインにおける欠陥画素を含む奇数グループ数と欠陥画素を含む偶数グループ数との差がしきい値未満であり、NO1 ラインのNO1 グループに欠陥画素が含まれている場合は、間引き処理制御回路60は、間引き処理回路18のフレームメモリに記憶されたNO1 ラインのNO1 グループの各画素データを間引き、その代わり欠陥画素のないこのNO1 グループの次のNO2 グループの各画素データを読み出し、NO1 ラインにおけるNO3 グループ以降の連続した奇数グループおよび偶数グループには欠陥画素が含まれていないので奇数グループの各画素データを読み出し、偶数グループの各画素データの間引きを行ない、また１画面における欠陥画素を含む奇数グループ数と欠陥画素を含む偶数グループ数との差がしきい値未満であり、NO2 ライン以降の各ラインにおける欠陥画素を含む奇数グループ数と欠陥画素を含む偶数グループ数との差がしきい値以上であり、しきい値以上のときは偶数グループの方に欠陥画素が多く含まれている場合は、間引き処理制御回路60は、間引き処理回路18のフレームメモリに記憶されたNO2 ライン以降の奇数ラインにおける偶数グループの各画素データを間引き、その代わり欠陥画素の少ない奇数グループの各画素データを読み出すから、高解像度の被写体画像の映像をよい画質にて実時間にて再生部30を介してモニタ装置32に表示することができるという効果がある。
【０１７５】
図11には、本発明による画像信号処理装置の適用される電子スチルカメラの第３の実施例が示されている。
【０１７６】
図11に示すように、カメラ３は、撮像レンズ10、撮像素子12、前処理回路14、アナログディジタル(A/D) 変換器16、間引き処理回路64、リアルタイム処理回路66、ＹＣ処理部68、ディジタルアナログ(D/A) 変換器24、28、後処理回路26、再生部30、モニタ装置32、セレクタ34、圧縮処理部36、メモリ38、インタフェース(I/F)40 、メモリカード42、タイミング信号発生回路44、駆動信号発生回路46、欠陥位置データ記憶回路48、間引き処理制御回路70および制御部72から構成されている。
【０１７７】
図11において、図７と異なる点は、図11では図７の間引き処理回路18、リアルタイム処理回路20、ＹＣ処理部22、間引き処理制御回路60および制御部62が間引き処理回路64、リアルタイム処理回路66、ＹＣ処理部68、間引き処理制御回路70および制御部72に変更された点と、図11では図７の接続線250、接続線252 および接続線244 が接続線258、接続線260 および接続線262 に変更され、図11では図７の接続線206 が２つの接続線254、256 に変更された点とである。なお、図11において、図１および図７と対応する部分には同じ符号を付して示し、重複説明を省略する。
【０１７８】
間引き処理制御回路70は、制御部72の第２の制御回路から制御線258 を通して送られる各種制御信号から間引き処理回路64の加重平均間引き処理に必要な制御信号を形成するタイミング信号発生回路である。形成された制御信号は、制御線260 を通して間引き処理回路64に送られる。
【０１７９】
欠陥位置データ記憶回路48に蓄積された欠陥画素位置データは、タイミング信号発生回路44からの読み出し制御信号234 により読み出され、その出力236 から制御部72に送られる。
【０１８０】
制御部72は、本実施例では、マイクロコンピュータつまりCPU (Central Processor Unit) を含む処理システムが有利に適用され、タイミング信号発生回路44から接続線228 を介して送られる各種タイミング信号および欠陥位置データ記憶回路48から接続線236 を介して送られる欠陥画素位置データに基づいて各々機能部を制御および管理する制御信号を形成する第１の制御回路（図示せず）および第２の制御回路（図示せず）を有している。第２の制御回路はとくに、間引き処理制御回路70およびリアルタイム処理回路66を制御および管理する制御信号を形成する。
【０１８１】
詳細には、第２の制御回路は、本実施例では高解像度CCD からの被写体画像をたとえばNTSC方式のモニタ装置でモニタする場合にとくに、間引き処理回路64に入力した高解像度の画像データに対し間引き処理制御回路70により加重平均間引き処理を行なわせるのに必要な制御信号を形成するための制御信号を生成するとともに、間引き処理回路64からの加重平均間引き処理の行なわれた画像データに対し画像処理を施すリアルタイム処理回路66を作動させるための制御信号を生成している。
【０１８２】
制御部72はまた、図示しないレリーズボタン回路からそのボタンの押下によるシャッタレリーズ信号を受けると、撮影を開始させるための起動信号を形成し、それを制御線226 を介してタイミング信号発生回路44に送る。
【０１８３】
図12には、間引き処理回路64の内部構成が示されている。
【０１８４】
間引き処理回路64は、本実施例では入力204 に現れた高解像度のCCD からの画素データＲ、ＧおよびＢをNTSC方式のモニタ装置に表示し得るような画素数の色信号Ｒ、Ｇ、Ｂに変換し、それを出力254 あるいは出力256 に出力する画像処理回路であり、第１のメモリ700、第２のメモリ720、第３のメモリ738、セレクタ702、第１の乗算器704、第２の乗算器722、第１の加算器712 および第２の加算器730 から構成されている。
【０１８５】
第１のメモリ700 は、少なくとも高解像度の１画面に相当する１フレーム分の画素データを蓄積する容量を有するRAM などからなるフレームメモリである。入力204 に入力した高解像度の１フレーム分の画素データは、間引き処理制御回路70からの書き込み制御信号260 に基づいてこのフレームメモリに書き込まれ、またこのフレームメモリに書き込まれた画素データは、間引き処理制御回路70からの読み出し制御信号260 に基づいて読み出される。なお、この場合、奇数ラインの画素データのみがライン順にまた画素順に読み出される。つまり偶数ラインの画素データは読み出さない。
【０１８６】
セレクタ702 は、第１のメモリ700 から信号線528 を通して送られる画素データを、第１の乗算器704、第１の加算器712、第２のメモリ720 からなる第１の変換ルートで変換するか、あるいは第２の乗算器722、第２の加算器730、第３のメモリ738 からなる第２の変換ルートで変換するかを選択するスイッチである。この場合、選択信号260 は、間引き処理制御回路70から供給される。
【０１８７】
セレクタ702 は、第１の変換ルートを用いる場合、間引き処理制御回路70から選択信号260 を受けて、入力528 に入力した画素データを出力530 に出力し、また、第２の変換ルートを用いる場合、入力528 に入力した画素データを出力531 に出力する。セレクタ702 の出力530 は、第１の乗算器704 の入力に、また、出力531 は第２の乗算器722 の入力にそれぞれ接続されている。
【０１８８】
第１の乗算器704 は、 高解像度の画素データＲ、ＧおよびＢを入力530 から入力し、入力した画素データＲ、ＧおよびＢのそれぞれに所定の係数を掛け、その掛算の結果を得るもので、たとえばROM などを用いた掛算回路であり、Ｒ乗算器706、Ｇ乗算器708 およびＢ乗算器710 から構成されている。
【０１８９】
Ｒ乗算器706 は、入力した画素データＲに所定の係数を掛け、その掛算の結果を出力532 に出力し、Ｇ乗算器708 は、入力した画素データＧに所定の係数を掛け、その掛算の結果を出力534 に出力し、Ｂ乗算器710 は、入力した画素データＢに所定の係数を掛け、その掛算の結果を出力536 に出力する。Ｒ乗算器706 の出力532 は第１の加算器712 のＲ加算器714 の入力に、Ｇ乗算器708 の出力534 は第１の加算器712 のＧ加算器716 の入力に、Ｂ乗算器710 の出力536 は第１の加算器712 のＢ加算器718 の入力にそれぞれ接続されている。
【０１９０】
Ｒ加算器714 は、基本的には入力532 からの所定のサンプル点の画素データＲとこの所定のサンプル点とは別の所定のサンプル点の画素データＲとを加算する回路であり、その加算の結果を出力538 に出力する。同様にＧ加算器716 およびＢ加算器718 もまた、画素データＧおよびＢの加算結果を出力538 に出力する。また、この場合のサンプル点の数は、いくつでもよくシステムにより決定すればよい。
【０１９１】
本実施例では、Ｒ加算器714、Ｇ加算器716 およびＢ加算器718 の出力538 から出力される横方向１ラインのＲ、ＧおよびＢのそれぞれの合計画素数は、入力のそれの半分となる。つまり横方向１ラインのＲ、ＧおよびＢの合計画素数は、入力した1280ドットの半分の640 ドットとなる。Ｒ加算器714、Ｇ加算器716 およびＢ加算器718 の出力538 は、第２のメモリ720 の入力に接続されている。
【０１９２】
第２のメモリ720 は、ビデオRAM などにて構成されており、本実施例では、少なくとも入力538 に現れた１フレーム分の画素データ（横640 ×縦512 ドット）を蓄積するフレームメモリである。また、入力538 に現れた画素データＲ、ＧおよびＢは、間引き処理制御回路70からの書き込み制御信号に基づき、このフレームメモリの所定のアドレスに蓄積され、間引き処理制御回路70からの読み出し制御信号により、所定のアドレスから画像データＲ、ＧおよびＢが読み出されて出力254 に出力される。メモリ720 の出力254 は、リアルタイム処理回路66の第１の乗算器410 （図13）の入力に接続されている。
【０１９３】
なお、第２の乗算器722 は上述の第１の乗算器704 と同じ機能を有し、第２の加算器730 は上述の第１の加算器712 と同じ機能を有し、第３のメモリ738 は上述の第２のメモリ720 と同じ機能を有しているから、これらについての説明は省略する。メモリ738 の出力256 は、リアルタイム処理回路66の第２の乗算器450 （図13）の入力に接続されている。
【０１９４】
図12は、上述したように第１と第２の変換ルートを有する構成になっているので、基本的には、第１の変換ルートにより被写体の画像をモニタに表示しているときは、第２の変換ルートは被写体の画像の加重平均間引き処理を行ない、また第２の変換ルートにより被写体の画像をモニタに表示しているときは、第１の変換ルートは被写体の画像の加重平均間引き処理を行なうのでよい。
【０１９５】
また、図12において、たとえば、第２の変換ルートの第２の乗算器722 および第２の加算器730 を含まず、第１の加算器712 の出力538 を第３のメモリ738 の入力に接続することにより、基本的に図12と同様に、モニタへの被写体の画像の表示、および被写体の画像の加重平均間引き処理を各々独立に行なうことができる。
【０１９６】
また、図12において、たとえば、第２の変換ルートの第２の乗算器722 、第２の加算器730 および第３のメモリ738 を含まない第１の変換ルートのみの構成にすることにより、モニタに被写体の画像を表示を行っているときは、被写体の画像の加重平均間引き処理を行なわず、また被写体の画像の変換処理を行なっているときは、モニタに被写体の画像の表示を行なわないでもよい。
【０１９７】
また、図12において、たとえば、第１のメモリ700 を介さずに、アナログディジタル変換器16からの画素データを直接セレクタ702 に送り、さらに第２のメモリ720 および第３のメモリ738 を介さずに、第１の加算器712 からの画素データを直接リアルタイム処理回路66の第１の乗算器410 に送り、第２の加算器730 からの画素データを直接リアルタイム処理回路66の第２の乗算器450 に送る構成でもよい。
【０１９８】
次に、間引き処理回路64における加重平均間引き処理法についての動作を図14および図15を用いてさらに詳述する。
【０１９９】
図14は、ＧストライプRB完全市松色フィルタ配列による高解像度CCD からの表示ドット、すなわち横1280×縦1024ドット構成を、説明の都合上、表示ドットを減らし、横16×縦４ドット構成とし、これらの画素データが間引き処理回路64に入力され加重平均間引き処理された画素データを示したものである。
【０２００】
詳細には、図14(a) は、間引き処理回路64に入力する画素データを示すものであり、そのNO3 ラインの表示ドット番号１の画素データR1と表示ドット番号３の画素データB1とが、この例では欠陥画素であることを示している。図14(b) は図14(a) に示す画素データが間引き処理回路64により加重平均間引き処理された画素データを示している。
【０２０１】
また図15は、RGB ストライプ色フィルタ配列による高解像度CCD からの表示ドット、すなわち横1280×縦1024ドット構成を、説明の都合上、表示ドットを減らし、横12×縦４ドット構成とし、それらの画素データが間引き処理回路64に入力され加重平均間引き処理された画素データを示したものである。
【０２０２】
詳細には、図15(a) は、間引き処理回路64に入力する画素データを示すものであり、そのNO3 ラインの表示ドット番号１の画素データR1と表示ドット番号３の画素データB1とが、この例では欠陥画素であることを示している。図15(b) は図15(a) に示す画素データが間引き処理回路64により加重平均間引き処理された画素データを示している。
【０２０３】
図14および図15において、横方向の番号は、ライン方向の表示ドットの番号を示し、また縦方向の番号は、ライン番号を示す。
【０２０４】
まず、ＧストライプRB完全市松色フィルタ配列による高解像度CCD12 から出力された画素データの加重平均間引き処理法の動作について、図11、図12および図14を参照して説明する。
【０２０５】
図11に示すＧストライプRB完全市松色フイルタ配列の高解像度CCD （撮像素子12）により出力された上述した画素位置に欠陥画素を含む画素信号は、前処理回路14に送られる。前処理回路14は、送られてきた画素信号に対しガンマ補正などの前処理を行なってアナログディジタル変換器16に送る。アナログディジタル変換器16は、送られてきた前処理の行なわれたアナログ画素信号を対応するディジタル値に変換し、この変換したディジタル値を示す画素データを間引き処理回路64の第１のメモリ700 に送る。
【０２０６】
アナログディジタル変換器16から送られてきた画素データは間引き処理制御回路70からの書き込み制御信号に基づき、第１のメモリ700 に図14(a) に示すように蓄積される。第１のメモリ700 に蓄積された画素データは、間引き処理制御回路70からの読み出し制御信号に基づき、１ラインおきに読み出され、１ラインおきに読み出された画素データＲ、Ｇ、およびＢ（図14(a) のNO1 ラインとNO３ラインの画素データ）は、セレクタ702 を介して第１の乗算器704 に送られる。
【０２０７】
第１の乗算器704 のＲ乗算器706 は、本実施例では入力する画素データRnに係数１、3/4、1/4、0のいずれかを掛け、その結果を第１の加算器712 のＲ加算器714 に出力する。第１の乗算器704 のＧ乗算器708 は、本実施例では、入力する画素データGnに係数１、0のいずれかを掛け、その結果を第１の加算器712 のＧ加算器716 に出力する。第１の乗算器704 のＢ乗算器710 もＲ乗算器706 と同様に本実施例では、入力する画素データBnに係数１、3/4、1/4、0のいずれかを掛け、その結果を第１の加算器712 のＢ加算器718 にそれぞれ出力する。
【０２０８】
第１の加算器712 のＲ加算器714 は、たとえば、欠陥画素のないNO1 ラインについてはまずＲ乗算器706 からのR13/4 にR21/4 を加えてR1-1を作成し、次にR33/4 にR41/4 を加えてR2-2を作成し、このような方法により順次Rn-nを作成し、それを第２のメモリ720 に出力する。またＲ加算器714 は、たとえば、上述した位置に欠陥画素のあるNO3 ラインについてはＲ乗算器706 からのR11/4 にR23/4 を加えてR1-1を作成し、次にR33/4 にR41/4 を加えてR2-2を作成し、このような方法により順次Rn-nを作成し、それを第２のメモリ720 に出力する。
【０２０９】
以上からわかるように、R1が欠陥画素でない場合は、R13/4 にR21/4 を加えてR1-1を作成し、R1が欠陥画素である場合は、R11/4 にR23/4 を加えてR1-1を作成している。つまりR1が欠陥画素である場合は、R1に対する重み付け（係数）を減らすとともに、欠陥画素でないR2の重み付け（係数）を増やしている。このようにすることで画質を向上させている。
【０２１０】
また第１の加算器712 のＧ加算器716 は、たとえば、NO1 ラインおよびNO3 ラインについてもまずＧ乗算器708 からのG2に０を加えG1-1を作成し、次にG4に０を加えG2-2を作成し、このような方法により順次Gn-nを作成し、それを第２のメモリ720 に出力する。なお、この例では、G1、G3 などはＧ乗算器708 において０の係数が掛けられ０となりＧ乗算器708 からは０が出力される。なお、たとえばG2が欠陥画素である場合には周辺のG1に０を加えG1-1を作成するのでよい。
【０２１１】
また第１の加算器712 のＢ加算器718 は、たとえば、欠陥画素のないNO1 ラインについてはまずＢ乗算器710 からのB11/4 にB23/4 を加えてB1-1を作成し、次にB31/4 にB43/4 を加えてB2-2を作成し、このような方法により順次Bn-nを作成し、それを第２のメモリ720 に出力する。またＢ加算器718 は、たとえば、上述した位置に欠陥画素のあるNO3 ラインについてはＢ乗算器710 からのB2に０を加えてB1-1を作成し、次にB31/4 にB43/4 を加えてB2-2を作成し、このような方法により順次Bn-nを作成し、それを第２のメモリ720 に出力する。
【０２１２】
以上からわかるように、B1が欠陥画素でない場合は、B11/4 にB23/4 を加えてB1-1を作成し、B1が欠陥画素である場合はB2に０を加えてB1-1を作成している。つまり、B1が欠陥画素である場合は、B1を加算しないとともに、欠陥画素でないB2の重み付け（係数）を増やしている。このようにすることで画質を向上させている。
【０２１３】
第１の加算器712 から出力された画素データRn-n、Gn-n、Bn-nは、間引き処理制御回路70からの書き込み制御信号に基づいて第２のメモリ720 に、図14(b) に示すように蓄積される。
【０２１４】
上記の説明、および図14(b) からわかるように、たとえば、画素データＲについては、R13/4 とR21/4 を加重平均（内挿）してR1-1を作成し、R33/4 とR41/4 を加重平均してR2-2を作成しており、これは入力画素数が２個であるのに対して出力画素数は１個であり、１画素間引かれたことになる、同様のことが画素データＢについてもいえる。また、画素データＧについては、たとえばG1、G2、G3、G4 の４個の入力画素の内、G2、G4 を出力画素とし、G1、G3 を間引いている。また、この場合の加重平均の方法、ならびに間引きの方法については、システムにより決定すればよい。以上の処理を加重平均間引き処理と呼ぶ。
【０２１５】
このようにして第２のメモリ720 に蓄積された画素データRn-n、Gn-n、Bn-nは、本実施例では、間引き処理制御回路70からの読み出し制御信号に基づいて第２のメモリ720 から読み出され信号線254 を介してリアルタイム処理回路66の第１の乗算器410 （図13）に送られる。
【０２１６】
次に、RGB ストライプ色フイルタ配列の高解像度CCD12 により出力された画素データの加重平均間引き処理法の動作について、図11、図12および図15を参照して説明する。
【０２１７】
図11に示すRGB ストライプ色フイルタ配列の高解像度CCD （撮像素子12）により出力された上述した画素位置に欠陥画素を含む画素信号は、前処理回路14に送られる。前処理回路14は、送られてきた画素信号に対しガンマ補正などの前処理を行なってアナログディジタル変換器16に送る。アナログディジタル変換器16は送られてきた前処理の行なわれたアナログ画素信号を対応するディジタル値に変換し、この変換したディジタル値を示す画素データを間引き処理回路64の第１のメモリ700 に送る。
【０２１８】
アナログディジタル変換器16から送られてきた画素データは間引き処理制御回路70からの書き込み制御信号に基づき、第１のメモリ700 に図15(a) に示すように蓄積される。第１のメモリ700 に蓄積された画素データは、間引き処理制御回路70からの読み出し制御信号に基づき、１ラインおきに読み出され、１ラインおきに読み出された画素データＲ、Ｇ、およびＢ（図15(a) のNO1 ラインとNO３ラインの画素データ）は、セレクタ702 を介して第１の乗算器704 に送られる。
【０２１９】
第１の乗算器704 のＲ乗算器706 は、本実施例では入力する画素データRnに係数１、2/3、1/3、0のいずれかを掛け、その結果を第１の加算器712 のＲ加算器714 に出力する。第１の乗算器704 のＧ乗算器708 は、本実施例では、入力する画素データGnに係数１、0のいずれかを掛け、その結果を第１の加算器712 のＧ加算器716 に出力する。第１の乗算器704 のＢ乗算器710 もＲ乗算器706 と同様に本実施例では、入力する画素データBnに係数１、2/3、1/3、0のいずれかを掛け、その結果を第１の加算器712 のＢ加算器718 にそれぞれ出力する。
【０２２０】
第１の加算器712 のＲ加算器714 は、たとえば、欠陥画素のないNO1 ラインについてはまずＲ乗算器706 からのR12/3 にR21/3 を加えてR1-1を作成し、次にR32/3 にR41/3 を加えてR2-2を作成し、このような方法により順次Rn-nを作成し、それを第２のメモリ720 に出力する。またＲ加算器714 は、たとえば、上述した位置に欠陥画素のあるNO3 ラインについてはＲ乗算器706 からのR11/3 にR22/3 を加えてR1-1を作成し、次にR32/3 にR41/3 を加えてR2-2を作成し、このような方法により順次Rn-nを作成し、それを第２のメモリ720 に出力する。
【０２２１】
以上からわかるように、R1が欠陥画素でない場合は、R12/3 にR21/3 を加えてR1-1を作成し、R1が欠陥画素である場合は、R11/3 にR22/3 を加えてR1-1を作成している。つまりR1が欠陥画素である場合は、R1に対する重み付け（係数）を減らすとともに、欠陥画素でないR2の重み付け（係数）を増やしている。このようにすることで画質を向上させている。
【０２２２】
また第１の加算器712 のＧ加算器716 は、たとえば、NO1 ラインおよびNO3 ラインについてもまずＧ乗算器708 からのG2に０を加えG1-1を作成し、次にG4に０を加えG2-2を作成し、このような方法により順次Gn-nを作成し、それを第２のメモリ720 に出力する。なお、この例では、G1、G3 などはＧ乗算器708 において０の係数が掛けられ０となりＧ乗算器708 からは０が出力される。
【０２２３】
また第１の加算器712 のＢ加算器718 は、たとえば、欠陥画素のないNO1 ラインについてはまずＢ乗算器710 からのB11/3 にB22/3 を加えてB1-1を作成し、次にB31/3 にB42/3 を加えてB2-2を作成し、このような方法により順次Bn-nを作成し、それを第２のメモリ720 に出力する。またＢ加算器718 は、たとえば、上述した位置に欠陥画素のあるNO3 ラインについてはＢ乗算器710 からのB2に０を加えてB1-1を作成し、次にB31/3 にB42/3 を加えてB2-2を作成し、このような方法により順次Bn-nを作成し、それを第２のメモリ720 に出力する。
【０２２４】
以上からわかるように、B1が欠陥画素でない場合は、B11/3 にB22/3 を加えてB1-1を作成し、B1が欠陥画素である場合はB2に０を加えてB1-1を作成している。つまり、B1が欠陥画素である場合は、B1を加算しないとともに、欠陥画素でないB2の重み付け（係数）を増やしている。このようにすることで画質を向上させている。
【０２２５】
第１の加算器712 から出力された画素データRn-n、Gn-n、Bn-nは、間引き処理制御回路70からの書き込み制御信号に基づいて第２のメモリ720 に、図15(b) に示すように蓄積される。
【０２２６】
上記の説明、および図15(b) からわかるように、たとえば、画素データＲについては、R12/3 とR21/3 を加重平均（内挿）してR1-1を作成し、R32/3 とR41/3 を加重平均してR2-2を作成しており、これは入力画素数が２個であるのに対して出力画素数は１個であり、１画素間引かれたことになる、同様のことが画素データＢについてもいえる。また、画素データＧについては、たとえばG1、G2、G3、G4 の４個の入力画素の内、G2、G4 を出力画素とし、G1、G3 を間引いている。また、この場合の加重平均の方法、ならびに間引きの方法については、システムにより決定すればよい。以上の処理を加重平均間引き処理と呼ぶ。
【０２２７】
このようにして第２のメモリ720 に蓄積された画素データRn-n、Gn-n、Bn-nは、本実施例では、間引き処理制御回路70からの読み出し制御信号に基づいて第２のメモリ720 から読み出され信号線254 を介してリアルタイム処理回路66の第１の乗算器410 （図13）に送られる。
【０２２８】
図11に示すリアルタイム処理回路66の構成は、前に少し触れたように、図13に示されている。図13では図４に示すリアルタイム処理回路20のセレクタ400 が削除された点であり、図13では図４に示す接続線500 が接続線254 に変更された点であり、図13では図４に示す接続線502 が接続線256 に変更された点であり、図13では図４に示す接続線244 が接続線262 に変更された点である。
【０２２９】
すなわち図11に示すリアルタイム処理回路66は、図４に示すリアルタイム処理路20のセレクタ400 を削除したセレクタ400 以降の構成と同じであり、その動作も基本的には同じである。つまりリアルタイム処理回路66は、入力254 および入力256 に点順次に現れる低解像度の画素データＲ、Ｇ、およびＢに対し補間処理を行なって各画素ごとに同時化した画素データＲ、Ｇ、およびＢを得、次に同時化した画素データＲ、Ｇ、およびＢを出力210 に出力するか、あるいは同時化した画素データＲ、Ｇ、およびＢに対しＹＣ変換を行なって輝度信号データＹおよび色差信号データR-Y、B-Y を得て出力208 に出力する信号処理回路である。この場合、制御信号262 は制御部72の第２の制御回路から供給される。図13の各部の動作は図４の説明のところに記載されているので省略する。
【０２３０】
ＹＣ処理部68は、入力254 および入力256 から点順次に入力する低解像度の画素データＲ、Ｇ、およびＢから各画素ごとに同時化した輝度信号データおよび色差信号データR-Y、B-Y を得るＹＣ変換回路である。この得られた輝度信号データＹおよび色差信号データR-Y、B-Y は出力208 および出力218 から出力される。出力208 は後処理回路26の入力に接続され、出力218 はセレクタ34の入力に接続されている。
【０２３１】
なお、上述した間引き処理回路64の動作が第３の実施例の動作の主たるところになるので、第３の実施例の動作の説明は省略する。
【０２３２】
このように第３の実施例によれば、R1が欠陥画素である場合は、R1に対する重み付け（係数）を減らすとともに、欠陥画素でないR2の重み付け（係数）を増やし、またG2が欠陥画素である場合は、周辺のG1に０を加えG1-1を作成し、またB1が欠陥画素である場合は、B1を加算しないとともに、欠陥画素でないB2の重み付け（係数）を増やすから、高解像度の被写体画像の映像をよい画質にて実時間にて再生部30を介してモニタ装置32に表示することができるという効果がある。
【０２３３】
図16には、本発明による画像信号処理装置の適用される電子スチルカメラの第４の実施例が示されている。
【０２３４】
図16に示すように、カメラ４は、撮像レンズ10、撮像素子12、前処理回路14、アナログディジタル(A/D) 変換器16、間引き処理回路74、リアルタイム処理回路76、ＹＣ処理部78、ディジタルアナログ(D/A) 変換器24、28、後処理回路26、再生部30、モニタ装置32、セレクタ34、圧縮処理部36、メモリ38、インタフェース(I/F)40 、メモリカード42、タイミング信号発生回路44、駆動信号発生回路46、欠陥位置データ記憶回路48、間引き処理制御回路80および制御部82から構成されている。
【０２３５】
図16において、図11と異なるところは、図16では図11の間引き処理回路64、リアルタイム処理回路66、ＹＣ処理部68、間引き処理制御回路70および制御部72を間引き処理回路74、リアルタイム処理回路76、ＹＣ処理部78、間引き処理制御回路80および制御部82に変更した点と、図16では図11の接続線258、接続線260 および接続線262 を接続線270、接続線272 および接続線274 に変更した点と、図11の２つの接続線254、256 を３つの接続線264、266、268 に変更した点とである。なお図16において、図１、図７および図11と対応する部分には、同じ符号を付して示し、重複説明を省略する。
【０２３６】
間引き処理制御回路80は、制御部82の第２の制御回路から制御線270 を通して送られる各種制御信号から間引き処理回路74における信号処理に必要な制御信号を形成するタイミング信号発生回路である。形成された制御信号は、制御線272 を通して間引き処理回路74に送られる。
【０２３７】
図17には、カメラ４の間引き処理回路74の内部構成が示されている。
【０２３８】
間引き処理回路74は、本実施例では、まず入力204 に点順次に現れる高解像度の画素データＲ、ＧおよびＢに対し補間処理を行なって各画素ごとに同時化した画素データＲ、ＧおよびＢを得、次に、各画素ごとに同時化した高解像度の画素データＲ、ＧおよびＢに対し間引き処理を行なって各画素ごとに同時化した低解像度の画素データＲ、ＧおよびＢを得、これら得られた画素データＲ、ＧおよびＢを出力264 および出力268 に出力する信号処理回路である。
【０２３９】
図17を参照すると、間引き処理回路74はセレクタ400、第１の乗算器410、第１の加算器420、第１のメモリ430、入力制御部742、出力制御部744、第２の乗算器450、第２の加算器460、第２のメモリ470 およびフレームメモリ740 を備えている。
【０２４０】
図17において、図４と異なるところは、図17では図４の入力制御部440 および出力制御部442 を入力制御部742 および出力制御部744 に変更した点と、図17では図４にフレームメモリ740 を追加した点と、図17では図４のＹＣ変換器444 が削除されている点と、図17では図４の信号線206 を信号線542 に変更した点と、図17では図４の入力線206 および入力線244 を入力線204 および入力線272 に変更した点と、図17では図４の信号線520 を信号線264 に変更し、信号線264 でリアルタイム処理回路76およびＹＣ処理部78を接続した点と、図17では出力制御部744 からリアルタイム処理回路76への制御線を制御線266 にした点と、図17では第２のメモリ470 からリアルタイム処理回路76およびＹＣ処理部78への信号線を信号線268 にした点とである。なお、図17において、図４と対応する部分には同じ符号を付して示し、重複説明を省略する。
【０２４１】
フレームメモリ740 は、少なくとも高解像度の１画面に相当する１フレーム分の画素データを蓄積する容量を有するRAM などから構成される記憶回路である。入力204 に入力した高解像度の１フレーム分の画素データは、間引き処理制御回路80からの書き込み制御信号272 に基づいてこの記憶回路に書き込まれ、またこの記憶回路に書き込まれた画素データは、間引き処理制御回路80からの読み出し制御信号272 に基づいて読み出され、出力542 に出力される。なおこの場合、奇数ラインの画素データのみがライン順に、画素順に読み出される。偶数ラインの画素データは読み出さない。
【０２４２】
本実施例では、制御部82に制御される間引き処理制御回路80からの読み出し制御信号272 に基づいてフレームメモリ740 から読み出された横1280×縦512 ドットの画素データは、セレクタ400 の入力542 に送られる。
【０２４３】
セレクタ400 は入力542 に入力した画素データを、第１の乗算器410、第１の加算器420、第１のメモリ430、ＹＣ変換器444 （図18）からなる第１の変換ルートで変換するか、あるいは第２の乗算器450、第２の加算器460、第２のメモリ470、ＹＣ変換器444 からなる第２の変換ルートで変換するかを選択するスイッチである。この場合、選択信号は間引き処理制御回路80から供給される。
【０２４４】
セレクタ400 は、第１の変換ルートを用いる場合、間引き処理制御回路80からの選択信号272 を受けて、入力542 に入力した画素データを出力500 に出力し、また第２の変換ルートを用いる場合、入力542 に入力した画素データを出力502 に出力する。出力500 は第１の乗算器410 の入力に、また出力502 は第２の乗算器450 の入力にそれぞれ接続されている。
【０２４５】
入力制御部742 は、間引き処理制御回路80からの制御信号272 に基づいて第１の乗算器410、第１の加算器420、第２の乗算器450 および第２の加算器460 を制御する制御信号を形成するとともに、第１の加算器420 からの画素データを第１のメモリ430 に書き込むための書き込み制御信号を形成し、かつ第２の加算器460 からの画素データを第２のメモリ470 に書き込むための書き込み制御信号を形成する。
【０２４６】
出力制御部744 は、間引き処理制御回路80からの制御信号272 に基づいて第１のメモリ430 および第２のメモリ470 に書き込まれた画素データを読み出すための読み出し制御信号を形成し、かつリアルタイム処理回路76を制御する制御信号を形成する。リアルタイム処理回路76を制御する制御信号は、制御線266 を介して処理回路76に送られる。
【０２４７】
本実施例では、出力制御部744 からの間引きインタレース読み出し制御信号により第１のメモリ430 から出力される各画素ごとに同時化された画素データＲ、ＧおよびＢの各々横640 ×縦512 ドットの画素データは、信号線264 を介してリアルタイム処理回路76およびＹＣ処理部78へ送られる。また出力制御部744 からの間引きインタレース読み出し制御信号により第２のメモリ470 から出力される各画素ごとに同時化された画素データＲ、ＧおよびＢの各々横640 ×縦512 ドットの画素データは、信号線268 を介してリアルタイム処理回路76およびＹＣ処理部78へ送られる。なおこの場合、欠陥画素に基づく画素データは後述する方法により間引かれる。
【０２４８】
図18には、カメラ４のリアルタイム処理回路76の内部構成が示されている。
【０２４９】
リアルタイム処理回路76は、上述した図４に示したＹＣ変換器444 から構成され、ＹＣ変換器444 は選択回路およびＹＣ変換回路から構成されている。図18のＹＣ変換器444 おいて、図４のＹＣ変換器444 と異なるところは、図18における切替信号274 は制御部82から送られてくるものであり、また図18におけるＹＣ変換制御信号266 は、制御部82の第２の制御回路からの制御信号272 に基づいて出力制御部744 にて形成されたものである。
【０２５０】
図16に戻って、ＹＣ処理部78は、上述した図11に示したＹＣ処理部68と基本的には同じ機能である。図16において、図11と異なるところは、図16では図11の入力254 および入力256 が入力264 および入力268 になった点である。
【０２５１】
欠陥位置データ記憶回路48に蓄積された欠陥画素位置データは、タイミング信号発生回路44からの読み出し制御信号234 により読み出され、その出力236 から制御部82に送られる。
【０２５２】
制御部82は、本実施例では、マイクロコンピュータつまりCPU(Central Processor Unit) を含む処理システムが有利に適用され、タイミング信号発生回路44から接続線228 を介して送られる各種タイミング信号および欠陥位置データ記憶回路48から接続線236 を介して送られる欠陥画素位置データに基づいて各々機能部を制御および管理する制御信号を形成する第１の制御回路（図示せず）および第２の制御回路（図示せず）を有している。第２の制御回路はとくに、間引き処理制御回路80およびリアルタイム処理回路76を制御および管理する制御信号を形成する。
【０２５３】
詳細には、第２の制御回路は、本実施例では高解像度CCD からの被写体画像をたとえばNTSC方式のモニタ装置でモニタする場合にとくに、間引き処理回路74に入力した高解像度の画像データに対し間引き処理制御回路80により同時化および間引き処理を行なわせるのに必要な制御信号を形成するための制御信号を生成するとともに、間引き処理回路74からの同時化および間引き処理の行なわれた画像データに対し画像処理を施すリアルタイム処理回路76を作動させるための制御信号を生成している。
【０２５４】
制御部82はまた、図示しないレリーズボタン回路からそのボタンの押下によるシャッタレリーズ信号を受けると、撮影を開始させるための起動信号を形成し、それを制御線226 を介してタイミング信号発生回路44に送る。
【０２５５】
次に、間引き処理回路74における補間（同時化）後間引き処理法の動作を図19および図20を用いてさらに詳述する。
【０２５６】
図19は、ＧストライプRB完全市松色フィルタ配列による高解像度CCD からの表示ドット、すなわち横1280×縦1024ドット構成を、説明の都合上、表示ドットを減らし、横８×縦４ドット構成とし、これらの画素データが間引き処理回路74に入力され同時化後間引き処理された画素データを示したものである。
【０２５７】
詳細には、図19(a) は、間引き処理回路74に入力する画素データを示すものであり、そのNO3 ラインの表示ドット番号１の画素データR1が、この例では欠陥画素であることを示している。図19(b) は図19(a) に示す画素データが間引き処理回路74により補間（同時化）されその第１のメモリ430 に記憶された画素データを示し、図19(c) は第１のメモリ430 に記憶された画素データを間引き読み出しした画素データを示している。
【０２５８】
また図20は、RGB ストライプ色フィルタ配列による高解像度CCD からの表示ドット、すなわち横1280×縦1024ドット構成を、説明の都合上、表示ドットを減らし、横６×縦４ドット構成とし、それらの画素データが間引き処理回路74に入力され同時化および間引き処理された画素データを示したものである。
【０２５９】
詳細には、図20(a) は、間引き処理回路74に入力する画素データを示すものであり、そのNO3 ラインの表示ドット番号１の画素データR1が、この例では欠陥画素であることを示している。図20(b) は図20(a) に示す画素データが間引き処理回路74により補間（同時化）されその第１のメモリ430 に記憶された画素データを示し、図20(c) は第１のメモリ430 に記憶された画素データを間引き読み出しした画素データを示している。
【０２６０】
図19および図20において、横方向の番号は、ライン方向の表示ドットの番号を示し、また縦方向の番号は、ライン番号を示す。
【０２６１】
まず、ＧストライプRB完全市松色フィルタ配列による高解像度CCD12 から出力された画素データの補間（同時化）後間引き処理法の動作について、図16、図17および図19を参照して説明する。
【０２６２】
図16に示すＧストライプRB完全市松色フイルタ配列の高解像度CCD （撮像素子12）により出力された上述した画素位置に欠陥画素を含む画素信号は、前処理回路14に送られる。前処理回路14は、送られてきた画素信号に対しガンマ補正などの前処理を行なってアナログディジタル変換器16に送る。アナログディジタル変換器16は、送られてきた前処理の行なわれたアナログ画素信号を対応するディジタル値に変換し、この変換したディジタル値を示す画素データを間引き処理回路74のフレームメモリ740 に送る。
【０２６３】
アナログディジタル変換器16から送られてきた画素データは間引き処理制御回路80からの書き込み制御信号に基づき、フレームメモリ740 に図19(a) に示すように蓄積される。
【０２６４】
フレームメモリ740 に蓄積された画素データは、間引き処理制御回路80からの読み出し制御信号に基づき、１ラインおきに読み出され、１ラインおきに読み出された画素データＲ、Ｇ、およびＢ（図19(a) のNO1 ラインとNO３ラインの画素データ）は、セレクタ400 を介して第１の乗算器410 に送られる。
【０２６５】
第１の乗算器410 のＲ乗算器412 は、本実施例では、入力する画素データRnに係数１、3/4、2/2、1/4のいずれかを掛け、その結果を第１の加算器420 のＲ加算器422 に出力する。第１の乗算器410 のＧ乗算器414 は、本実施例では、入力する画素データGnに係数１、1/2のいずれかを掛け、その結果を第１の加算器420 のＧ加算器424 に出力する。第１の乗算器410 のＢ乗算器416 もＲ乗算器412 と同様に、本実施例では、入力する画素データBnに係数１、3/4、2/2、1/4のいずれかを掛け、その結果を第１の加算器420 のＢ加算器426 にそれぞれ出力する。
【０２６６】
第１の加算器420 のＲ加算器422 は、たとえば、欠陥画素のないNO1 ラインについても、また上述した位置に欠陥画素のあるNO3 ラインについてもまずＲ乗算器412 からのR1に０を加えてR11 を作成し、次にR13/4 にR51/4 を加えてR22 を作成し、次にR11/2 にR51/2 を加えてR33 を作成し、次にR11/4 にR53/4 を加えてR44 を作成し、このような方法により順次Rnn を作成し、それを第１のメモリ430 に出力する。NO3 ラインの画素データは、第１のメモリ430 にはNO2 ラインの画素データとして蓄積される。
【０２６７】
第１のメモリ430 から画素データを読み出す場合であって、この例では、NO1 ラインには欠陥画素がないとしたので、たとえば、奇数画素番号のRGB データについては読み出しを行ない、偶数画素番号のRGB データについては間引くのでよい。また、この例では、NO3 ラインのR1を欠陥画素としたので、たとえばR1に対する重み付け（係数）の大きいR11 とこれと同じ画素番号１のG11 およびB11 とを間引き、その代わり次の画素番号２のR22、 G22およびB22 を読み出し、画素番号３以降については、この例では、欠陥画素がないので、NO1 ラインと同様に奇数画素番号のRGB データについては読み出しを行ない、偶数画素番号のRGB データについては間引くのでよい。このように読み出された画素データが図19(C) に示されている。図19(C) はまた、ノンインタレース方式で読み出した場合の例である。このようにすることで画質を向上させることができる。
【０２６８】
また第１の加算器420 のＧ加算器424 は、たとえば、NO1 ラインおよびNO3 ラインについてもまずＧ乗算器414 からのG01/2 にG21/2 を加えG11 を作成し、次にG2に０を加えG22 を作成し、次にG21/2 にG41/2 を加えG33 を作成し、次にG4に０を加えG44 を作成し、このような方法により順次Gnn を作成し、それを第１のメモリ430 に出力する。なおG0は、CCD12 からは送られてこないが、この例ではR1の左隣の図示しない画素データとしている。
【０２６９】
また第１の加算器420 のＢ加算器426 は、たとえば、NO1 ラインおよびNO3 ラインについてもまずＢ乗算器416 からのB01/2 にB31/2 を加えてB11 を作成し、次にB01/4 にB33/4 を加えてB22 を作成し、次にB3に０を加えてB33 を作成し、次にB33/4 にB71/4 を加えてB44 を作成し、このような方法により順次Bnn を作成し、それを第１のメモリ430 に出力する。なおB0は、CCD12 からは送られてこないが、この例ではR1から左２つ目の図示しない画素データとしている。
【０２７０】
第１の加算器420 から出力された画素データRnn、Gnn、Bnn は、入力制御部742 からの書き込み制御信号に基づいて第１のメモリ430 に、図19(b) に示すように蓄積される。
【０２７１】
このように第１のメモリ430 に蓄積された画素データRnn、Gnn、Bnn は、本実施例では出力制御部744 からの読み出し制御信号に基づいて読み出され信号線264 を介してリアルタイム処理回路76およびＹＣ処理部78（図18）に送られる。この例では出力制御部744 からの読み出し制御信号により図19(c) に示すような画素データがリアルタイム処理回路76およびＹＣ処理部78に送られる。
【０２７２】
次に、RGB ストライプ色フイルタ配列の高解像度CCD12 により出力された画素データの補間後間引き処理法の動作について、図16、図17および図20を参照して説明する。
【０２７３】
図16に示すRGB ストライプ色フイルタ配列の高解像度CCD （撮像素子12）により出力された上述した画素位置に欠陥画素を含む画素信号は、前処理回路14に送られる。前処理回路14は、送られてきた画素信号に対しガンマ補正などの前処理を行なってアナログディジタル変換器16に送る。アナログディジタル変換器16は送られてきた前処理の行なわれたアナログ画素信号を対応するディジタル値に変換し、この変換したディジタル値を示す画素データを間引き処理回路74のフレームメモリ740 に送る。
【０２７４】
アナログディジタル変換器16から送られてきた画素データは、間引き処理制御回路80からの書き込み制御信号に基づき、フレームメモリ740 に図20(a) に示すように蓄積される。
【０２７５】
フレームメモリ740 に蓄積された画素データは、間引き処理制御回路80からの読み出し制御信号に基づき、１ラインおきに読み出され、１ラインおきに読み出された画素データＲ、Ｇ、およびＢ（図20(a) のNO1 ラインとNO３ラインの画素データ）は、セレクタ400 を介して第１の乗算器410 に送られる。
【０２７６】
第１の乗算器410 のＲ乗算器412 は、本実施例では入力する画素データRnに係数１、2/3、1/3のいずれかを掛け、その結果を第１の加算器420 のＲ加算器422 に出力する。第１の乗算器410 のＧ乗算器414 もＲ乗算器412 と同様に、入力する画素データGnに係数１、2/3、1/3のいずれかを掛け、その結果を第１の加算器420 のＧ加算器424 に出力する。第１の乗算器410 のＢ乗算器416 もＲ乗算器412 と同様に、入力する画素データBnに係数１、2/3、1/3のいずれかを掛け、その結果を第１の加算器420 のＢ加算器426 にそれぞれ出力する。
【０２７７】
第１の加算器420 のＲ加算器422 は、たとえば欠陥画素のないNO1 ラインについてはまずＲ乗算器412 からのR1に０を加えてR11 を作成し、次にR12/3 にR41/3 を加えてR22 を作成し、次にR11/3 にR42/3 を加えてR33 を作成し、このような方法により順次Rnn を作成し、それを第１のメモリ430 に出力する。
【０２７８】
またＲ加算器422 は、たとえば、上述した位置に欠陥画素のあるNO3 ラインについてもＲ乗算器412 からのR1に０を加えてR11 を作成し、次にR12/3 にR41/3 を加えてR22 を作成し、次にR11/3 にR42/3 を加えてR33 を作成し、このような方法により順次Rnn を作成し、それを第１のメモリ430 に出力する。NO3 ラインの画素データは、第１のメモリ430 にはNO2 ラインの画素データとして蓄積される。
【０２７９】
第１のメモリ430 から画素データを読み出す場合であって、この例では、NO1 ラインには欠陥画素がないとしたので、たとえば、奇数画素番号のRGB データについては読み出しを行ない、偶数画素番号のRGB データについては間引くのでよい。また、この例では、NO3 ラインのR1を欠陥画素としたので、たとえばR1に対する重み付け（係数）の大きいR11 とこれと同じ画素番号１のG11 およびB11 とを間引き、その代わり次の画素番号２のR22、 G22およびB22 を読み出し、画素番号３以降については、この例では、欠陥画素がないので、NO1 ラインと同様に奇数画素番号のRGB データについては読み出しを行ない、偶数画素番号のRGB データについては間引くのでよい。このように読み出された画素データが図20(C) に示されている。図20(C) はまた、ノンインタレース方式で読み出した場合の例である。このようにすることで画質を向上させることができる。
【０２８０】
また第１の加算器420 のＧ加算器424 は、たとえば、NO1 ラインおよびNO3 ラインについてもまずＧ乗算器414 からのG0-11/3 にG22/3 を加えG11 を作成し、次にG2に０を加えG22 を作成し、次にG22/3 にG51/3 を加えG33 を作成し、このような方法により順次Gnn を作成し、それを第１のメモリ430 に出力する。なおG0-1は、CCD12 からは送られてこないが、この例ではR1から左２つ目の図示しない画素データとしている。
【０２８１】
また第１の加算器420 のＢ加算器426 は、たとえば、NO1 ラインおよびNO3 ラインについてもまずＢ乗算器416 からのB02/3 にB31/3 を加えB11 を作成し、次にB01/3 にB32/3 を加えB22 を作成し、次にB3に０を加えB33 を作成し、このような方法により順次Bnn を作成し、それを第１のメモリ430 に出力する。なおB0は、CCD12 からは送られてこないが、この例ではR1の左隣の図示しない画素データとしている。
【０２８２】
第１の加算器420 から出力された画素データRnn、Gnn、Bnn は、間引き処理制御回路80からの書き込み制御信号に基づいて第１のメモリ430 に、図20(b) に示すように蓄積される。
【０２８３】
このように第１のメモリ430 に蓄積された画素データRnn、Gnn、Bnn は、本実施例では、間引き処理制御回路80からの読み出し制御信号に基づいて、第１のメモリ430 から読み出され信号線264 を介してリアルタイム処理回路76のＹＣ変換器444 （図18）に送られる。この例では、出力制御部744 からの読み出し制御信号により図20(c) に示すような画素データがリアルタイム処理回路76のＹＣ変換器444 およびＹＣ処理部78に送られる。
【０２８４】
なお、上述した間引き処理回路74の動作が第４の実施例の動作の主たるところになるので、第４の実施例の全体の動作の説明は省略する。
【０２８５】
このように第４の実施例によれば、間引き処理制御回路80は、間引き処理回路74の第１のメモリ430 または第２のメモリ470 に記憶された奇数ラインにおける奇数表示ドット番号に高解像度のCCD12 からの欠陥画素の影響で発生した偽信号データを含む場合にはこの奇数表示ドット番号の各画素データを間引き、その代わり欠陥画素のないこの奇数表示ドット番号の次の偶数表示ドット番号の各画素データを読み出し、また、奇数ラインにおける連続した奇数表示ドット番号および偶数表示ドット番号に高解像度のCCD12 からの欠陥画素の影響で発生した偽信号データを含まない場合には奇数表示ドット番号の各画素データを読み出し、偶数表示ドット番号の各画素データの間引きを行なってNTSC方式のモニタ装置に表示し得るような画素数の画素データＲ、ＧおよびＢに変換し、次にリアルタイム処理回路76は、間引き処理回路74からの各画素ごとに同時化した画素データＲ、ＧおよびＢに対しＹＣ変換を行なって輝度信号データＹおよび色差信号データR-Y、B-Y を得ているから、高解像度の被写体画像の映像をよい画質にて実時間にて再生部30を介してモニタ装置32に表示することができるという効果がある。
【０２８６】
図21には、本発明による画像信号処理装置の適用される電子スチルカメラの第５の実施例が示されている。
【０２８７】
図21の電子スチルカメラ５において、図16の画素（表示ドット）単位で間引き処理を行なう電子スチルカメラ４と相違するところは、CCD12 の欠陥画素の位置および数に基づき画面単位で間引き処理した方がよいと判断した場合には画面単位で、また画面単位での間引き処理よりはライン単位で間引き処理した方がよいと判断した場合にはライン単位で、またライン単位での間引き処理よりは表示ドット単位で間引き処理した方がよいと判断した場合には表示ドット単位でいうように段階的に間引き処理ができる点である。
【０２８８】
図21に示すように、カメラ５は、撮像レンズ10、撮像素子12、前処理回路14、アナログディジタル(A/D) 変換器16、間引き処理回路74、リアルタイム処理回路76、ＹＣ処理部78、ディジタルアナログ(D/A) 変換器24、28、後処理回路26、再生部30、モニタ装置32、セレクタ34、圧縮処理部36、メモリ38、インタフェース(I/F)40 、メモリカード42、タイミング信号発生回路44、駆動信号発生回路46、欠陥位置データ記憶回路48、間引き処理制御回路84および制御部86から構成されている。
【０２８９】
図21において、図16と相違するところは間引き処理制御回路80が間引き処理制御回路84に変更された点と、制御部82が制御部84に変更された点と、接続線270 が接続線276 に変更された点と、接続線272 が接続線278 に変更された点とである。なお図21において、図１、図７、図11および図16と対応する部分には同じ符号を付して示し、重複説明を省略する。
【０２９０】
間引き処理制御回路84は、制御部86の第２の制御回路から制御線276 を通して送られる各種制御信号から間引き処理回路74の間引き処理に必要な制御信号を形成するタイミング信号発生回路である。形成された制御信号は制御線278 を通して間引き処理回路74に送られる。
【０２９１】
欠陥位置データ記憶回路48に蓄積された欠陥画素位置データは、タイミング信号発生回路44からの読み出し制御信号234 により読み出され、その出力236 から制御部86に送られる。
【０２９２】
制御部86は、本実施例では、マイクロコンピュータつまりCPU (Central Processor Unit) を含む処理システムが有利に適用され、タイミング信号発生回路44から接続線228 を介して送られる各種タイミング信号および欠陥位置データ記憶回路48から接続線236 を介して送られる欠陥画素位置データに基づいて各々機能部を制御および管理する制御信号を形成する第１の制御回路（図示せず）および第２の制御回路（図示せず）を有している。第２の制御回路はとくに、間引き処理制御回路84およびリアルタイム処理回路76を制御および管理する制御信号を形成する。
【０２９３】
詳細には、第２の制御回路は、本実施例では高解像度CCD からの被写体画像をたとえばNTSC方式のモニタ装置でモニタする場合にとくに、間引き処理回路74のフレームメモリ740 、第１のメモリ430 および第２のメモリ470 に蓄積される高解像度の画像データを間引き処理制御回路84により間引き読み出す制御信号を形成するための制御信号を生成するとともに、この第１のメモリ430 および第２のメモリ470 からの読み出された画像データに対して画像処理を施すリアルタイム処理回路76を作動させるための制御信号も生成している。
【０２９４】
第２の制御回路はまた、欠陥位置データ記憶回路48から送られる欠陥画素位置データにより欠陥画素の位置および数を把握する。第２の制御回路は、把握した欠陥画素の位置および数に基づいて画面単位にて間引き処理した方がよいのか、あるいはライン単位で間引き処理した方がよいのか、あるいはグループ単位で間引き処理した方がよいのかなどを判断する。
【０２９５】
これら判断について、図23および図24を用いてさらに詳述する。
【０２９６】
第２の制御回路は１画面における欠陥画素を含む奇数表示ドット数と欠陥画素を含む偶数表示ドット数との差がしきい値たとえば５以上か否かをステップ802 により判断し、しきい値以上と判断した場合には、画面単位で間引き処理した方がよいと判断し、さらに奇数表示ドットの方に欠陥画素が多く含まれているか否かをステップ804 により判断する。奇数グループの方に欠陥画素が多く含まれていると判断した場合は、第２の制御回路はステップ806 を実行させるために、間引き処理制御回路84から出力される偶数表示ドットの各画素データの読み出し、奇数表示ドットの各画素データの間引きを行なう制御信号を形成するに必要な各種制御信号を間引き処理制御回路84に送る。
【０２９７】
またステップ804 にて偶数表示ドットの方に欠陥画素が多く含まれていると判断した場合は、第２の制御回路、ステップ808 を実行させるために、間引き処理制御回路84から出力される奇数表示ドットの各画素データの読み出し、偶数表示ドットの各画素データの間引きを行なう制御信号を形成するに必要な各種制御信号を間引き処理制御回路84に送る。
【０２９８】
またステップ802 にてしきい値未満と判断した場合は、ラインにおける欠陥画素を含む奇数表示ドット数と欠陥画素を含む偶数表示ドット数との差がしきい値たとえば２以上か否かをステップ812 により判断し、しきい値以上と判断した場合は、ライン単位で間引き処理した方がよいと判断し、さらに奇数表示ドットの方に欠陥画素が多く含まれているか否かがステップ814 により判断される。
【０２９９】
またステップ814 にて奇数表示ドットの方に欠陥画素が多く含まれていると判断した場合は、第２の制御回路はステップ816 を実行させるために、間引き処理制御回路84から出力される偶数表示ドットの各画素データの読み出し、奇数表示ドットの各画素データの間引きを行なう制御信号を形成するに必要な各種制御信号を間引き処理制御回路84に送る。
【０３００】
またステップ814 にて偶数表示ドットの方に欠陥画素が多く含まれていると判断した場合は、第２の制御回路はステップ818 を実行させるために、間引き処理制御回路84から出力される奇数表示ドットの各画素データの読み出し、偶数表示ドットの各画素データの間引きを行なう制御信号を形成するに必要な各種制御信号を間引き処理制御回路84に送る。
【０３０１】
またステップ812 にてしきい値未満と判断した場合には、奇数表示ドットに欠陥画素が含まれているか否かがステップ824 により判断される。奇数表示ドットに欠陥画素が含まれていると判断された場合は、第２の制御回路はステップ826 を実行させるために、間引き処理制御回路84から出力されるこの奇数表示ドットのたとえば次の欠陥画素を含まない偶数表示ドットの各画素データの読み出し、この奇数表示ドットの各画素データの間引きを行なう制御信号を形成するに必要な各種制御信号を間引き処理制御回路84に送る。
【０３０２】
またステップ824 にて偶数表示ドットに欠陥画素が含まれていると判断された場合は、第２の制御回路は、ステップ828 を実行させるために、間引き処理制御回路84から出力されるこの偶数表示ドットのたとえば次の奇数グループの各画素データの読み出し、この偶数表示ドットの各画素データの間引きを行なう制御信号を形成するに必要な各種制御信号を間引き処理制御回路84に送る。
【０３０３】
上述からわかるように、第２の制御回路には、たとえば最初の撮影にてカメラ５に組み込まれたCCD12 の欠陥画素位置のデータが欠陥位置データ記憶回路48から送られてくるから、第２の制御回路は、２回目以降の撮影からは、画面単位、あるいはライン単位、あるいは画素単位のいずれの間引き処理にて処理すればよいかを知っている。
【０３０４】
制御部86はまた、図示しないレリーズボタン回路からそのボタンの押下によるシャッタレリーズ信号を受けると、撮影を開始させるための起動信号を形成し、それを制御線226 を介してタイミング信号発生回路44に送る。
【０３０５】
第５の実施例の動作を説明する。
【０３０６】
ＧストライプRB完全市松色フィルタ配列による高解像度CCD から出力された画素データの段階的間引き処理の動作を、図17、図19、図21、図23および図24を参照して説明する。なお、間引き後の動作については第４の実施例の動作と基本的には同じなので説明を省略する。
【０３０７】
撮影の開始（ステップ800 ）により図19に示すＧストライプRB完全市松色フイルタ配列の高解像度CCD （撮像素子12）から出力された上述した画素位置に欠陥画素を含む画素信号は、前処理回路14に送られる。前処理回路14は、送られてきた画素信号に対しガンマ補正などの前処理を行なってアナログディジタル変換器16に送る。アナログディジタル変換器16は、送られてきた前処理の行なわれたアナログ画素信号を対応するディジタル値に変換し、この変換したディジタル値を示す画素データを間引き処理回路74に送る。
【０３０８】
間引き処理回路74は、送られてきた画素データを間引き処理制御回路84からの書き込み制御信号に基づき、そのフレームメモリ740 に図19(a) に示すように蓄積する。なお、この例ではフレームメモリ740 には高解像度CCD12 から送られてくるすべてのラインのデータを蓄積するようにしたが、高解像度CCD12 から送られてくる奇数ラインのデータのみを蓄積するようにしてもよい。
【０３０９】
フレームメモリ740 に図19(a) に示すように蓄積された画素データは、間引き処理制御回路84からの読み出し制御信号に基づき、奇数ラインのみの画素データがライン順に、表示ドット順に読み出される。この読み出された画素データはたとえば第１の乗算器410 および第１の加算器420 により画素ごとに同時化され、この同時化された画素データは、図19(b) に示すように第１のメモリ430 に蓄積される。
【０３１０】
ところで、制御部86の第２の制御回路よるステップ802 およびステップ804 の実行により、制御部86の第２の制御回路は、すでに１画面における欠陥画素を含む奇数表示ドット数と欠陥画素を含む偶数表示ドット数との差がしきい値たとえば５以上であり、さらに奇数表示ドットの方に欠陥画素が多く含まれていることを知っていたとする第１の場合を考える。
【０３１１】
この第１の場合、第２の制御回路はステップ806 を実行させるために、間引き処理制御回路84から出力される偶数表示ドットの各画素データの読み出し、奇数表示ドットの各画素データの間引きを行なう制御信号を形成するに必要な各種制御信号を間引き処理制御回路84に送る。
【０３１２】
第１のメモリ430 に蓄積された画素データは、間引き処理制御回路84からの制御信号に基づく出力制御部744 からの読み出し制御信号により間引かれるとともに、読み出される。この様子を以下に詳述する。
【０３１３】
まず第１のメモリ430 に蓄積されたNO1 ラインの画素データの間引き読み出しについて説明すると、出力制御部744 は、この例では表示ドット番号１の中に欠陥画素に基づく画素データを含んでいるかいないかにかかわらず、表示ドット番号１の画素データ群R11、G11、B11 に対して読み出し制御信号を出力しない。つまり、表示ドット番号１の画素データ群は間引かれたことになる。この様子が図19(d) のNO1 ラインに示されている。
【０３１４】
次に出力制御部744 は、表示ドット番号２の画素データ群R22、G22、B22 を読み出す読み出し制御信号を出力する。これにより欠陥画素を含まない表示ドット番号２の画素データ群が読み出される。この様子が図19(d) のNO1 ラインの表示ドット番号１に示されている。
【０３１５】
次に出力制御部744 は、表示ドット番号３の画素データ群R33、G33、B33 に対して読み出し制御信号を出力しない。つまり表示ドット番号３の画素データ群は間引かれたことになる。この様子が図19(d) のNO1 ラインに示されている。
【０３１６】
次に出力制御部744 は、表示ドット番号４の画素データ群R44、G44、B44 を読み出す読み出し制御信号を出力する。これにより欠陥画素を含まない表示ドット番号４の画素データ群が読み出される。この様子が図19(d) のNO1 ラインの表示ドット番号２に示されている。このような方法により最終表示ドット番号まで処理される。図19(d) のNO1 ラインにおける間引き後の画素数は間引く前の画素数の半分になる。
【０３１７】
NO1 ラインの画素データの間引き処理が終了すると、NO2 ラインの画素データの間引き処理に入る。出力制御部744 はNO2 ラインの偶数表示ドットの画素データ群については読み出し、また奇数表示ドットの画素データ群については、読み出ししない間引き処理を行なう。この様子が図19(d) のNO2 ラインに示されている。これにてステップ806 の間引き処理が終了して１画面全体の間引き処理が終了する（ステップ810 ）。
【０３１８】
ところで第２の場合として、制御部86の第２の制御回路よるステップ802 、ステップ812 、ステップ814 およびステップ824 の実行により、制御部86の第２の制御回路は、すでに１画面における欠陥画素を含む奇数表示ドット数と欠陥画素を含む偶数表示ドット数との差がしきい値たとえば５未満であり、ラインにおける欠陥画素を含む奇数表示ドット数と欠陥画素を含む偶数表示ドット数との差がしきい値たとえば２以上と２未満があり、２以上のときは偶数表示ドットの方に欠陥画素が多く含まれており、２未満のときは奇数表示ドット番号である表示ドット番号１に欠陥画素が含まれていることを知っていたとする。
【０３１９】
この場合、間引き処理回路74の第１のメモリ430 に蓄積される図19(b) に示すデータにおいて、NO1 ラインにおいては欠陥画素を含む奇数表示ドット数と欠陥画素を含む偶数表示ドット数との差がしきい値たとえば２以上であり、かつ偶数表示ドットの方に欠陥画素が多く含まれており、またNO2 ラインにおいては欠陥画素を含む奇数表示ドットと欠陥画素を含む偶数表示ドットとの差がしきい値たとえば２未満であり、かつ奇数表示ドット番号である表示ドット番号１に欠陥画素が含まれていたとする。
【０３２０】
以上の条件下では、ステップ802 によりすでに１画面における欠陥画素を含む奇数表示ドット数と欠陥画素を含む偶数表示ドット数との差がしきい値たとえば５未満であると判定されており、また次のステップ812 によりすでにNO1 ラインにおける欠陥画素を含む奇数表示ドット数と欠陥画素を含む偶数表示ドット数との差がしきい値たとえば２以上であると判定されており、また次のステップ814 によりNO1 ラインの偶数表示ドットの方に欠陥画素が多く含まれていることが判定されている。したがって処理はステップ818 に入る。
【０３２１】
ステップ818 に入ると出力制御部744 は、NO1 ラインの奇数番号表示ドットの画素データ群については読み出し、また偶数番号表示ドットの画素データ群については読み出ししない制御信号を出力する。この様子が図19(c) のNO1 ラインに示されている。
【０３２２】
NO1 ラインの画素データの間引き処理が終了すると、NO2 ラインの画素データの間引き処理に入る。つまり処理はステップ820 、ステップ812 を通りステップ824 に入る。この場合、ステップ824 にてNO2 ラインの表示ドット番号１の画素データR1が欠陥画素に基づくものであると判定されているから、出力制御部744 は、表示ドット番号１の画素データ群R11、G11、B11 に対して読み出し制御信号を出力しない。つまり欠陥画素を含む表示ドット番号１の画素データ群は間引かれる。この様子が図19(c) のNO2 ラインに示されている。
【０３２３】
表示ドット番号１の画素データ群を読み出さない代わりに、出力制御部744 は表示ドット番号２の画素データ群R22、G22、B22 を読み出す読み出し制御信号を出力する。これにより欠陥画素のレベルの低減された画素データを含む表示ドット番号２の画素データ群が読み出される（ステップ826 ）。この様子が図19(c) のNO2 ラインの表示ドット番号１に示されている。
【０３２４】
次に表示ドット番号２が最終表示ドット番号であるのか否かがステップ830 により判定され、この場合最終表示ドット番号でないので処理はステップ824 に戻る。ステップ824 では表示ドット番号３に欠陥画素が含まれているか否かが判定され、表示ドット番号３には欠陥画素の含まれていないことを知っているので、出力制御部744 は表示ドット番号３の画素データ群R33、G33、B33 を読み出す読み出し制御信号を出力する。これにより欠陥画素のレベルの低減された画素データを含む表示ドット番号３の画素データ群が読み出される（ステップ828 ）。この様子が図19(c) のNO2 ラインの表示ドット番号２に示されている。
【０３２５】
欠陥画素のレベルの低減された画素データを含む表示ドット番号３の画素データ群が読み出された場合には、出力制御部744 は、次の表示ドット番号４の画素データ群R44、G44、B44 に対して読み出し制御信号を出力しない。つまり表示ドット番号４の画素データ群は間引かれる。この様子が図19(c) のNO2 ラインに示されている。
【０３２６】
このような処理が表示ドット番号５〜８まで行なわれる。そうして表示ドット番号８が最終表示ドット番号であるのか否かがステップ830 により判定され、この場合最終表示ドット番号なので処理はステップ832 に入る。ステップ832 では今処理したライン番号が最後のライン番号であるのか否かが判定され、この場合最後のライン番号なので処理はステップ834 に入り、１画面全体の間引き処理も終了する。
【０３２７】
なお、RGB ストライプ色フイルタ配列による高解像度CCD から出力された画素データの段階的間引き処理の動作については、上述したＧストライプRB完全市松色フィルタ配列による高解像度CCD から出力された画素データの段階的間引き処理の動作と基本的には同じなので説明を省略する。
【０３２８】
このように第５の実施例によれば、１画面における欠陥画素を含む奇数表示ドット番号数と欠陥画素を含む偶数表示ドット番号数との差がしきい値以上であり、かつ奇数表示ドット番号の方に欠陥画素が多く含まれている場合には、出力制御部744 は、間引き処理回路74の第１のメモリ430 または第２のメモリ470 に記憶された各ラインにおける奇数表示ドット番号の各画素データを間引き、その代わりこの奇数表示ドット番号の次の偶数表示ドットの各画素データを読み出すから、高解像度の被写体画像の映像をよい画質にて実時間にて再生部30を介してモニタ装置32に表示することができるという効果がある。
【０３２９】
また、このように第５の実施例によれば、１画面における欠陥画素を含む奇数表示ドット数と欠陥画素を含む偶数表示ドット数との差がしきい値未満であり、NO1 ラインにおける欠陥画素を含む奇数表示ドット数と欠陥画素を含む偶数表示ドット数との差がしきい値以上であり、しきい値以上のときは偶数表示ドットの方に欠陥画素が多く含まれている場合は、出力制御部744 は、間引き処理回路74の第１のメモリ430 または第２のメモリ470 に記憶されたNO1 ラインにおける偶数表示ドットの各画素データを間引き、その代わり欠陥画素の少ない奇数表示ドットの各画素データを読み出し、また１画面における欠陥画素を含む奇数表示ドット数と欠陥画素を含む偶数表示ドット数との差がしきい値未満であり、NO2 ラインにおける欠陥画素を含む奇数表示ドット数と欠陥画素を含む偶数表示ドット数との差がしきい値未満であり、NO2 ラインの表示ドット番号１に欠陥画素が含まれている場合は、出力制御部744 は、間引き処理回路74の第１のメモリ430 または第２のメモリ470 に記憶されたNO2 ラインの表示ドット番号１の各画素データを間引き、その代わり欠陥画素のレベルの低減されたこの表示ドット番号１の次の表示ドット番号２の各画素データを読み出し、NO2 ラインにおける表示ドット番号３以降の連続した奇数表示ドットおよび偶数表示ドットには欠陥画素が含まれていないので奇数表示ドットの各画素データを読み出し、偶数表示ドットの各画素データの間引きを行なっているから、高解像度の被写体画像の映像をよい画質にて実時間にて再生部30を介してモニタ装置32に表示することができるという効果がある。
【０３３０】
本発明を電子スチルカメラに適用し、ＧストライプRB完全市松色フイルタ配列あるいはRGB ストライプ色フイルタ配列からなる横1280×縦1024ドット構成の高解像度CCD に結像した画像をNTSC方式のモニタ装置に表示できる特定の処理回路について説明したが、本発明は、ベイヤ色フイルタ配列、インタライン色フイルタ配列、ＧストライプRB市松色フイルタ配列、あるいは斜めストライプ色フイルタ配列などの高解像度CCD に結像した画像を、PAL方式のモニタ装置、SECAM方式のモニタ装置、 525/60方式の RGBモニタ装置、 625/50方式の RGBモニタ装置、あるいはこれら上記モニタ装置の解像度よりも低い解像度のモニタ装置に効果的に適用することができる。
【０３３１】
【発明の効果】
このように本発明によれば、画像信号処理装置の間引き処理制御手段が第１の記憶手段から読み出した位置データにより欠陥画素位置がある走査線のある１つのグループのものである判断した場合は、この間引き処理制御手段は、第２の記憶手段からこのある走査線のこのある１つのグループのカラー画像データ群については読み出さずに、その代わりにこのある走査線のこのある１つのグループの近傍の１つのグループのカラー画像データ群を読み出し、これ以外の欠陥画素のないこのある走査線の部分およびこのある走査線以外の走査線については、奇数または偶数番号グループのカラー画像データ群については読み出さずに、その代わりに偶数または奇数番号グループのカラー画像データ群を読み出している。
【０３３２】
またこのように本発明によれば、電子スチルカメラ内の画像信号処理装置の制御手段が第１の記憶手段からの位置データにより欠陥画素位置がある走査線のある１つのグループのものである判断した場合は、この制御手段は、第１の間引き読み出し制御信号により第２の記憶手段に記憶されたこのある走査線のこのある１つのグループのカラー画像データ群については読み出しを行なわせずに、その代わりにこのある走査線のこのあるグループの近傍の１つのグループのカラー画像データ群を読み出しを行なわせ、これ以外の欠陥画素のないこのある走査線の部分およびこのある走査線以外の走査線については、奇数または偶数番号グループのカラー画像データ群については読み出しを行なわせずに、その代わりに偶数または奇数番号グループのカラー画像データ群の読み出しを行なわせる第１の制御信号を間引き処理制御手段へ送っている。
【０３３３】
このように欠陥補正処理は、１本の水平走査線上での処理回路になっているから、固体撮像素子の欠陥画素に基づく偽信号を短い処理時間にて処理できかつ回路規模も小さくできるという効果がある。
【０３３４】
したがって、高解像度の固体撮像素子の電子スチルカメラで撮影した高解像度の被写体画像の映像をNTSCなどの標準テレビジョン方式の解像度のモニタにリアルタイムに再生する際に用いることができるという効果がある。
【図面の簡単な説明】
【図１】本発明による画像信号処理装置が適用される電子スチルカメラの第１の実施例を示すブロック図である。
【図２】ＧストライプRB完全市松色フイルタ配列による高解像度CCD からの画素データを受け図１および図７に示す間引き処理回路が行なう信号処理例を示す説明図である。
【図３】 RGB ストライプ色フイルタ配列による高解像度CCD からの画素データを受け図１および図７に示す間引き処理回路が行なう信号処理例を示す説明図である。
【図４】図１および図７に示した電子スチルカメラにて使用されるリアルタイム処理回路の一例を示すブロック図である。
【図５】ＧストライプRB完全市松色フイルタ配列による高解像度CCD からの画素データを受け図１および図７に示すリアルタイム処理回路が行なう信号処理例を示す説明図である。
【図６】 RGB ストライプ色フイルタ配列による高解像度CCD からの画素データを受け図１および図７に示すリアルタイム処理回路が行なう信号処理例を示す説明図である。
【図７】本発明による画像信号処理装置が適用される電子スチルカメラの第２の実施例を示すブロック図である。
【図８】図９および図10の組み合わせ状態を示す図である。
【図９】図10と組み合わせて、図７の動作フローを示す図である。
【図１０】図９と組み合わせて、図７の動作フローを示す図である。
【図１１】本発明による画像信号処理装置が適用される電子スチルカメラの第３の実施例を示すブロック図である。
【図１２】図11に示した電子スチルカメラにて使用される間引き処理回路の一例を示すブロック図である。
【図１３】図11に示した電子スチルカメラにて使用されるリアルタイム処理回路の一例を示すブロック図である。
【図１４】ＧストライプRB完全市松色フイルタ配列による高解像度CCD からの画素データを受け図11に示す間引き処理回路が行なう信号処理例を示す説明図である。
【図１５】 RGB ストライプ色フイルタ配列による高解像度CCD からの画素データを受け図11に示す間引き処理回路が行なう信号処理例を示す説明図である。
【図１６】本発明による画像信号処理装置が適用される電子スチルカメラの第４の実施例を示すブロック図である。
【図１７】図16および図21に示した電子スチルカメラにて使用される間引き処理回路の一例を示すブロック図である。
【図１８】図16および図21に示した電子スチルカメラにて使用されるリアルタイム処理回路の一例を示すブロック図である。
【図１９】ＧストライプRB完全市松色フイルタ配列による高解像度CCD からの画素データを受け図16および図21に示す間引き処理回路が行なう信号処理例を示す説明図である。
【図２０】 RGB ストライプ色フイルタ配列による高解像度CCD からの画素データを受け図16および図21に示す間引き処理回路が行なう信号処理例を示す説明図である。
【図２１】本発明による画像信号処理装置が適用される電子スチルカメラの第５の実施例を示すブロック図である。
【図２２】図23および図24の組み合わせ状態を示す図である。
【図２３】図24と組み合わせて、図21の動作フローを示す図である。
【図２４】図23と組み合わせて、図21の動作フローを示す図である。
【符号の説明】
１、2、3、4、5 電子スチルカメラ
10 撮像レンズ
12 撮像素子
14 前処理回路
16 アナログディジタル変換器(A/D)
18、64、74 間引き処理回路
20、66、76 リアルタイム処理回路
22、68、78 ＹＣ処理部
24、28 ディジタルアナログ変換器(D/A)
26 後処理回路
30 再生部
32 モニタ装置
34 セレクタ
36 圧縮処理部
38 メモリ
40 インタフェース(I/F)
42 メモリカード
44 タイミング信号発生回路
46 駆動信号発生回路
48 欠陥位置データ記憶回路
50、60、70、80、84 間引き処理制御回路
52、62、72、82、86 制御部

Claims (37)

  1. 複数色の色フィルタを前面に有し、これら色フィルタに対応されたカラー画像情報を各画素から点順次に得るようにした固体撮像素子を含むカラー撮像手段により撮像されたカラー画像信号を得られた順にディジタル信号の形で受けて該信号の処理を行なう画像信号処理装置において、該装置は、
    前記固体撮像素子の複数の画素のうち欠陥のある画素位置を示す位置データを記憶する第１の記憶手段と、
    前記得られた順に送られてくる画素に基づくディジタル信号の形のカラー画像データを記憶する第２の記憶手段とを有し、
    該第２の記憶手段に記憶される各走査線ごとのカラー画像データは前記得られた順に送られてくる所定の複数個の画素ごとのディジタル信号の形のカラー画像データによりグループ化されており、
    該装置はさらに、該第２の記憶手段に記憶したカラー画像データを間引いて低解像度のカラー画像データに変換する間引き処理制御手段を有し、
    該間引き処理制御手段が前記第１の記憶手段から読み出した位置データにより欠陥画素位置がある走査線のある１つのグループのものである判断した場合は、該間引き処理制御手段は、前記第２の記憶手段から該ある走査線の該ある１つのグループのカラー画像データ群については読み出さずに、その代わりに該ある走査線の該ある１つのグループの近傍の１つのグループのカラー画像データ群を読み出し、これ以外の欠陥画素のない該ある走査線の部分および該ある走査線以外の走査線については、奇数または偶数番号グループのカラー画像データ群については読み出さずに、その代わりに偶数または奇数番号グループのカラー画像データ群を読み出すことを特徴とする画像信号処理装置。
  2. 複数色の色フィルタを前面に有し、これら色フィルタに対応されたカラー画像情報を各画素から点順次に得るようにした固体撮像素子を含むカラー撮像手段により撮像されたカラー画像信号を得られた順にディジタル信号の形で受けて該信号の処理を行なう画像信号処理装置において、該装置は、
    前記固体撮像素子の複数の画素のうち欠陥のある画素位置を示す位置データを記憶する第１の記憶手段と、
    前記得られた順に送られてくる画素に基づくディジタル信号の形のカラー画像データを記憶する第２の記憶手段とを有し、
    該第２の記憶手段に記憶される各走査線ごとのカラー画像データは前記得られた順に送られてくる所定の複数個の画素ごとのディジタル信号の形のカラー画像データによりグループ化されており、
    該装置はさらに、該第２の記憶手段に記憶したカラー画像データを間引いて低解像度のカラー画像データに変換する間引き処理制御手段を有し、
    該間引き処理制御手段が前記第１の記憶手段から読み出した位置データにより１画面における欠陥画素を含む奇数番号のグループ数と欠陥画素を含む偶数番号のグループ数との差がしきい値以上であり、かつ奇数または偶数番号グループの方に欠陥画素を多く含んでいると判断した場合は、該間引き処理制御手段は、第２の記憶手段に記憶された各走査線についての奇数または偶数番号グループのカラー画像データ群については読み出さずに、その代わりに各走査線についての偶数または奇数番号グループのカラー画像データ群を読み出すことを特徴とする画像信号処理装置。
  3. 請求項２に記載の画像信号処理装置において、
    前記間引き処理制御手段が前記第１の記憶手段から読み出した位置データにより１画面における欠陥画素を含む奇数番号のグループ数と欠陥画素を含む偶数番号のグループ数との差がしきい値未満であり、かつある走査線における欠陥画素を含む奇数番号のグループ数と欠陥画素を含む偶数番号のグループ数との差がしきい値以上であり、かつ該ある走査線について奇数または偶数番号グループの方に欠陥画素を多く含んでいると判断した場合は、該間引き処理制御手段は、第２の記憶手段に記憶された該ある走査線についての奇数または偶数番号グループのカラー画像データ群については読み出さずに、その代わりに該ある走査線についての偶数または奇数番号グループのカラー画像データ群を読み出すことを特徴とする画像信号処理装置。
  4. 請求項２に記載の画像信号処理装置において、
    前記間引き処理制御手段が前記第１の記憶手段から読み出した位置データにより１画面における欠陥画素を含む奇数番号のグループ数と欠陥画素を含む偶数番号のグループ数との差がしきい値未満であり、かつある走査線における欠陥画素を含む奇数番号のグループ数と欠陥画素を含む偶数番号のグループ数との差がしきい値未満であり、かつ該ある走査線のある１つのグループのものであると判断した場合は、該間引き処理制御手段は、前記第２の記憶手段から該ある走査線の該ある１つのグループのカラー画像データ群については読み出さずに、その代わりに該ある走査線の該あるグループの近傍の１つのグループのカラー画像データ群を読み出し、これ以外の欠陥画素のない該ある走査線の部分については、奇数または偶数番号グループのカラー画像データ群については読み出さずに、その代わりに偶数または奇数番号グループのカラー画像データ群を読み出すことを特徴とする画像信号処理装置。
  5. 請求項１ないし請求項４のいずれかに記載の画像信号処理装置において、該装置はさらに、
    前記間引き処理制御手段により読み出された第２の記憶手段からのカラー画像データ群から画素毎に同時化した赤色Ｒ、緑色Ｇ、青色Ｂの３原色信号データを得る画素補間手段を有することを特徴とする画像信号処理装置。
  6. 請求項１ないし請求項５のいずれかに記載の画像信号処理装置において、前記固体撮像素子は、高解像度のCCD であることを特徴とする画像信号処理装置。
  7. 複数色の色フィルタを前面に有し、これら色フィルタに対応されたカラー画像情報を各画素から点順次に得るようにした高解像度の固体撮像素子を含むカラー撮像手段により撮像されたカラー画像信号を得られた順にディジタル信号の形で受けて該信号の処理を行なう画像信号処理装置を備えた電子スチルカメラにおいて、
    前記画像信号処理装置は、
    前記固体撮像素子の複数の画素のうち欠陥のある画素位置を示す位置データを記憶する第１の記憶手段と、
    前記得られた順に送られてくる画素に基づくディジタル信号の形のカラー画像データを記憶する第２の記憶手段とを有し、
    該第２の記憶手段に記憶される各走査線ごとのカラー画像データは前記得られた順に送られてくる所定の複数個の画素ごとのディジタル信号の形のカラー画像データによりグループ化されており、
    該装置はさらに、
    第１の制御信号を受け、該受けた第１の制御信号から第１の間引き読み出し制御信号を形成するとともに、該形成した第１の間引き読み出し制御信号に基づき該第２の記憶手段に記憶したカラー画像データを間引いて低解像度のカラー画像データに変換する間引き処理制御手段と、
    前記第１の記憶手段からの位置データに基づいて該第１の間引き読み出し制御信号を形成するに必要な該間引き処理制御手段への第１の制御信号を生成する制御手段とを含み、
    該制御手段が前記第１の記憶手段からの位置データにより欠陥画素位置がある走査線のある１つのグループのものである判断した場合は、該制御手段は、前記第１の間引き読み出し制御信号により前記第２の記憶手段に記憶された該ある走査線の該ある１つのグループのカラー画像データ群については読み出しを行なわせずに、その代わりに該ある走査線の該あるグループの近傍の１つのグループのカラー画像データ群を読み出しを行なわせ、これ以外の欠陥画素のない該ある走査線の部分および該ある走査線以外の走査線については、奇数または偶数番号グループのカラー画像データ群については読み出しを行なわせずに、その代わりに偶数または奇数番号グループのカラー画像データ群の読み出しを行なわせる前記第１の制御信号を間引き処理制御手段へ送ることを特徴とする画像信号処理装置を備えた電子スチルカメラ。
  8. 複数色の色フィルタを前面に有し、これら色フィルタに対応されたカラー画像情報を各画素から点順次に得るようにした高解像度の固体撮像素子を含むカラー撮像手段により撮像されたカラー画像信号を得られた順にディジタル信号の形で受けて該信号の処理を行なう画像信号処理装置を備えた電子スチルカメラにおいて、
    前記画像信号処理装置は、
    前記固体撮像素子の複数の画素のうち欠陥のある画素位置を示す位置データを記憶する第１の記憶手段と、
    前記得られた順に送られてくる画素に基づくディジタル信号の形のカラー画像データを記憶する第２の記憶手段とを有し、
    該第２の記憶手段に記憶される各走査線ごとのカラー画像データは前記得られた順に送られてくる所定の複数個の画素ごとのディジタル信号の形のカラー画像データによりグループ化されており、
    該装置はさらに、
    第１の制御信号を受け、該受けた第１の制御信号から第１の間引き読み出し制御信号を形成するとともに、該形成した第１の間引き読み出し制御信号に基づき該第２の記憶手段に記憶したカラー画像データを間引いて低解像度のカラー画像データに変換する間引き処理制御手段と、
    前記第１の記憶手段からの位置データに基づいて該第１の間引き読み出し制御信号を形成するに必要な該間引き処理制御手段への第１の制御信号を生成する制御手段とを含み、
    該制御手段が前記第１の記憶手段からの位置データにより１画面における欠陥画素を含む奇数番号のグループ数と欠陥画素を含む偶数番号のグループ数との差がしきい値以上であり、かつ奇数または偶数番号グループの方に欠陥画素数を多く含んでいると判断した場合は、該制御手段は、前記第１の間引き読み出し制御信号により前記第２の記憶手段に記憶された各走査線についての奇数または偶数番号グループのカラー画像データ群については読み出しを行なわせずに、その代わりに各走査線についての偶数または奇数番号グループのカラー画像データ群の読み出しを行なわせる前記第１の制御信号を間引き処理制御手段へ送ることを特徴とする画像信号処理装置を備えた電子スチルカメラ。
  9. 請求項８に記載の画像信号処理装置を備えた電子スチルカメラにおいて、
    前記制御手段が前記第１の記憶手段からの位置データにより１画面における欠陥画素を含む奇数番号のグループ数と欠陥画素を含む偶数番号のグループ数との差がしきい値未満であり、かつある走査線における欠陥画素を含む奇数番号のグループ数と欠陥画素を含む偶数番号のグループ数との差がしきい値以上であり、かつ該ある走査線について奇数または偶数番号グループの方に欠陥画素数を多く含んでいると判断した場合は、該制御手段は、前記第１の間引き読み出し制御信号により第２の記憶手段に記憶された該ある走査線についての奇数または偶数番号グループのカラー画像データ群については読み出しを行なわせずに、その代わりに該ある走査線についての偶数または奇数番号グループのカラー画像データ群の読み出しを行なわせる前記第１の制御信号を間引き処理制御手段へ送ることを特徴とする画像信号処理装置を備えた電子スチルカメラ。
  10. 請求項８に記載の画像信号処理装置を備えた電子スチルカメラにおいて、
    前記制御手段が前記第１の記憶手段からの位置データにより１画面における欠陥画素を含む奇数番号のグループ数と欠陥画素を含む偶数番号のグループ数との差がしきい値未満であり、かつある走査線における欠陥画素を含む奇数番号のグループ数と欠陥画素を含む偶数番号のグループ数との差がしきい値未満であり、かつ該ある走査線のある１つのグループのものであると判断した場合は、該制御手段は、前記第１の間引き読み出し制御信号により前記第２の記憶手段に記憶された該ある走査線の該ある１つのグループのカラー画像データ群については読み出しを行なわせずに、その代わりに該ある走査線の該あるグループの近傍の１つのグループのカラー画像データ群を読み出しを行なわせ、これ以外の欠陥画素のない該ある走査線の部分については、奇数または偶数番号グループのカラー画像データ群については読み出しを行なわせずに、その代わりに偶数または奇数番号グループのカラー画像データ群の読み出しを行なわせる前記第１の制御信号を間引き処理制御手段へ送ることを特徴とする画像信号処理装置を備えた電子スチルカメラ。
  11. 請求項７ないし請求項10のいずれかに記載の画像信号処理装置を備えた電子スチルカメラにおいて、
    前記画像信号処理装置はさらに、
    前記間引き処理制御手段により読み出された第２の記憶手段からの低解像度のカラー画像データ群を受け、所定の画素補間制御信号に基づき該受けたカラー画像データ群から画素毎に同時化した赤色Ｒ、緑色Ｇ、青色Ｂの３原色信号データを得る画素補間手段を含み、
    前記制御手段はさらに、該画素補間手段への画素補間制御信号を生成する画素補間制御信号生成手段を含むことを特徴とする画像信号処理装置を備えた電子スチルカメラ。
  12. 請求項11に記載の画像信号処理装置を備えた電子スチルカメラにおいて、
    前記画像信号処理装置はさらに、
    前記画素補間手段からの低解像度の画素毎に同時化した赤色Ｒ、緑色Ｇ、青色Ｂの３原色信号データを実時間で出力する第１の出力端子を含み、
    該画像信号処理装置を備えたカメラはさらに、
    前記第１の出力端子からの低解像度の画素毎に同時化した赤色Ｒ、緑色Ｇ、青色Ｂの３原色信号データの映像を表示する映像モニタの第１のビューファインダを有することを特徴とする画像信号処理装置を備えた電子スチルカメラ。
  13. 請求項12に記載の画像信号処理装置を備えた電子スチルカメラにおいて、
    前記画像信号処理装置はさらに、
    前記画素補間手段から低解像度の画素毎に同時化した赤色Ｒ、緑色Ｇ、青色Ｂの３原色信号データを受け、所定の変換制御信号に基づき該画素補間手段からの画素毎の同時化した３原色信号データから画素毎に同時化した輝度信号データＹ、色差信号データR-Y および色差信号データB-Y を生成する色信号変換手段を含み、
    前記制御手段はさらに、該色信号変換手段への変換制御信号を生成する変換制御信号生成手段を含むことを特徴とする画像信号処理装置を備えた電子スチルカメラ。
  14. 請求項13に記載の画像信号処理装置を備えた電子スチルカメラにおいて、
    前記画像信号処理装置はさらに、
    前記色信号変換手段からの低解像度の画素毎に同時化した輝度信号データＹ、色差信号データR-Y および色差信号データB-Y を実時間で出力する第２の出力端子を含み、
    該画像信号処理装置を備えたカメラはさらに、
    前記第２の出力端子からの低解像度の画素毎に同時化した輝度信号データＹ、色差信号データR-Y および色差信号データB-Y の映像を表示する映像モニタの第２のビューファインダを有することを特徴とする画像信号処理装置を備えた電子スチルカメラ。
  15. 請求項７ないし14のいずれかに記載の画像信号処理装置を備えた電子スチルカメラにおいて、前記固体撮像素子は、高解像度のCCD であることを特徴とする画像信号処理装置を備えた電子スチルカメラ。
  16. 複数色の色フィルタを前面に有し、これら色フィルタに対応されたカラー画像情報を各画素から点順次に得るようにした固体撮像素子を含むカラー撮像手段により撮像されたカラー画像信号を得られた順にディジタル信号の形で受けて該信号の処理を行なう画像信号処理装置において、
    前記得られた順に送られてくる画素に基づくディジタル信号の形のカラー画像データは、奇数または偶数番号の走査線については赤色Ｒ、緑色Ｇ、青色Ｂ、緑色Ｇまたは赤色Ｒ、緑色Ｇ、青色Ｂの順に繰り返し配列された３原色信号データであり、また偶数または奇数番号の走査線については青色Ｂ、緑色Ｇ、赤色Ｒ、緑色Ｇまたは赤色Ｒ、緑色Ｇ、青色Ｂの順に繰り返し配列された３原色信号データであり、
    該装置は、
    前記得られた順に送られてくる画素に基づくディジタル信号の形のカラー画像データを受け、第１の制御信号に基づき該受けた画素データに所定の係数を掛け、または第２の制御信号に基づき該受けた画素データに該所定の係数より小さい係数を掛け、その結果を出力する乗算手段と、
    該乗算手段から画素データを受け、該受けた画素データの所定の位置の色の画素データと該所定の位置の色の画素データと異なる別の所定の位置の同色の画素データとを加算して加重平均間引きデータを生成し、該加重平均間引きデータを出力する加算手段とを有し、
    該加重平均間引きデータは前記所定の色順序で配列されてなる低解像度の画素データであり、
    該装置はさらに、
    前記固体撮像素子の複数の画素のうち欠陥のある画素位置を示す位置データを記憶する第１の記憶手段と、
    前記第１の記憶手段からの位置データにより前記乗算手段への第１および第２の制御信号を生成する間引き処理制御手段とを有し、
    該間引き処理制御手段が前記第１の記憶手段から読み出した位置データにより欠陥画素位置がある走査線のある１つの画素のものである判断した場合は、該間引き処理制御手段は、該ある走査線の該ある１つの画素のカラー画像データに前記所定の係数より小さい係数を掛けさせる第２の制御信号を乗算手段に送り、またこれ以外の欠陥画素のない該ある走査線の部分および該ある走査線以外の走査線の奇数または偶数画素のカラー画像データに前記所定の係数を掛けさせる第１の制御信号を乗算手段に送ることを特徴とする画像信号処理装置
  17. 請求項16に記載の画像信号処理装置において、該装置はさらに、
    前記加算手段からの低解像度のカラー画像データから画素毎に同時化した赤色Ｒ、緑色Ｇ、青色Ｂの３原色信号データを得る画素補間手段を有することを特徴とする画像信号処理装置。
  18. 請求項16または請求項17に記載の画像信号処理装置において、前記固体撮像素子は、高解像度のCCD であることを特徴とする画像信号処理装置。
  19. 複数色の色フィルタを前面に有し、これら色フィルタに対応されたカラー画像情報を各画素から点順次に得るようにした高解像度の固体撮像素子を含むカラー撮像手段により撮像されたカラー画像信号を得られた順にディジタル信号の形で受けて該信号の処理を行なう画像信号処理装置を備えた電子スチルカメラにおいて、
    前記得られた順に送られてくる画素に基づくディジタル信号の形のカラー画像データは、奇数または偶数番号の走査線については赤色Ｒ、緑色Ｇ、青色Ｂ、緑色Ｇまたは赤色Ｒ、緑色Ｇ、青色Ｂの順に繰り返し配列された３原色信号データであり、また偶数または奇数番号の走査線については青色Ｂ、緑色Ｇ、赤色Ｒ、緑色Ｇまたは赤色Ｒ、緑色Ｇ、青色Ｂの順に繰り返し配列された３原色信号データであり、
    前記画像信号処理装置は、
    前記得られた順に送られてくる画素に基づくディジタル信号の形のカラー画像データを受け、第１の制御信号に基づき該受けた画素データに所定の係数を掛け、または第２の制御信号に基づき該受けた画素データに該所定の係数より小さい係数を掛け、その結果を出力する乗算手段と、
    該乗算手段から画素データを受け、該受けた画素データの所定の位置の色の画素データと該所定の位置の色の画素データと異なる別の所定の位置の同色の画素データとを加算して加重平均間引きデータを生成し、該加重平均間引きデータを出力する加算手段とを有し、
    該加重平均間引きデータは前記所定の色順序で配列されてなる低解像度の画素データであり、
    該装置はさらに、
    前記固体撮像素子の複数の画素のうち欠陥のある画素位置を示す位置データを記憶する第１の記憶手段と、
    第３の制御信号により前記乗算手段への第１の制御信号を生成し、第４の制御信号により前記乗算手段への第２の制御信号を生成する間引き処理制御手段と、前記第１の記憶手段からの位置データに基づいて該第１または第２の制御信号を形成するに必要な該間引き処理制御手段への第３または第４の制御信号を生成する制御手段とを含み、
    該制御手段が前記第１の記憶手段から読み出した位置データにより欠陥画素位置がある走査線のある１つの画素のものである判断した場合は、該制御手段は、前記第２の制御信号により該ある走査線の該ある１つの画素のカラー画像データに前記所定の係数より小さい係数を掛けさせる第４の制御信号を間引き処理制御手段に送り、また前記第１の制御信号によりこれ以外の欠陥画素のない該ある走査線の部分および該ある走査線以外の走査線の奇数または偶数画素のカラー画像データに前記所定の係数を掛けさせる第３の制御信号を間引き処理制御手段に送ることを特徴とする画像信号処理装置を備えた電子スチルカメラ。
  20. 請求項19に記載の画像信号処理装置を備えた電子スチルカメラにおいて、
    前記画像信号処理装置はさらに、
    前記加算手段から低解像度のカラー画像データを受け、所定の画素補間制御信号に基づき該受けたカラー画像データから画素毎に同時化した赤色Ｒ、緑色Ｇ、青色Ｂの３原色信号データを得る画素補間手段を含み、
    前記制御手段はさらに、該画素補間手段への画素補間制御信号を生成する画素補間制御信号生成手段を含むことを特徴とする画像信号処理装置を備えた電子スチルカメラ。
  21. 請求項20に記載の画像信号処理装置を備えた電子スチルカメラにおいて、
    前記画像信号処理装置はさらに、
    前記画素補間手段からの低解像度の画素毎に同時化した赤色Ｒ、緑色Ｇ、青色Ｂの３原色信号データを実時間で出力する第１の出力端子を含み、
    該画像信号処理装置を備えたカメラはさらに、
    前記第１の出力端子からの低解像度の画素毎に同時化した赤色Ｒ、緑色Ｇ、青色Ｂの３原色信号データの映像を表示する映像モニタの第１のビューファインダを有することを特徴とする画像信号処理装置を備えた電子スチルカメラ。
  22. 請求項21に記載の画像信号処理装置を備えた電子スチルカメラにおいて、
    前記画像信号処理装置はさらに、
    前記画素補間手段から低解像度の画素毎に同時化した赤色Ｒ、緑色Ｇ、青色Ｂの３原色信号データを受け、所定の変換制御信号に基づき該画素補間手段からの画素毎の同時化した３原色信号データから画素毎に同時化した輝度信号データＹ、色差信号データR-Y および色差信号データB-Y を生成する色信号変換手段を含み、
    前記制御手段はさらに、該色信号変換手段への変換制御信号を生成する変換制御信号生成手段を含むことを特徴とする画像信号処理装置を備えた電子スチルカメラ。
  23. 請求項22に記載の画像信号処理装置を備えた電子スチルカメラにおいて、
    前記画像信号処理装置はさらに、
    前記色信号変換手段からの低解像度の画素毎に同時化した輝度信号データＹ、色差信号データR-Y および色差信号データB-Y を実時間で出力する第２の出力端子を含み、
    該画像信号処理装置を備えたカメラはさらに、
    前記第２の出力端子からの低解像度の画素毎に同時化した輝度信号データＹ、色差信号データR-Y および色差信号データB-Y の映像を表示する映像モニタの第２のビューファインダを有することを特徴とする画像信号処理装置を備えた電子スチルカメラ。
  24. 請求項19ないし23のいずれかに記載の画像信号処理装置を備えた電子スチルカメラにおいて、前記固体撮像素子は、高解像度のCCD であることを特徴とする画像信号処理装置を備えた電子スチルカメラ。
  25. 複数色の色フィルタを前面に有し、これら色フィルタに対応されたカラー画像情報を各画素から点順次に得るようにした固体撮像素子を含むカラー撮像手段により撮像されたカラー画像信号を得られた順にディジタル信号の形で受けて該信号の処理を行なう画像信号処理装置において、該装置は、
    前記固体撮像素子の複数の画素のうち欠陥のある画素位置を示す位置データを記憶する第１の記憶手段と、
    前記得られた順に送られてくる画素に基づくディジタル信号の形のカラー画像データを受け、該受けたカラー画像データから画素毎に同時化した赤色Ｒ、緑色Ｇ、青色Ｂの３原色信号データを得る画素補間手段と、
    該画素補間手段からの画素毎に同時化した赤色Ｒ、緑色Ｇ、青色Ｂの３原色信号データを記憶する第２の記憶手段と、
    該第２の記憶手段に記憶した３原色信号データを間引いて低解像度のカラー画像データに変換する間引き処理制御手段とを有し、
    該間引き処理制御手段が前記第１の記憶手段から読み出した位置データにより欠陥画素位置がある走査線のある１つの画素のものである判断した場合は、該間引き処理制御手段は、前記第２の記憶手段から該ある走査線の該ある１つの画素の３原色信号データについては読み出さずに、その代わりに該ある走査線の該ある１つの画素の近傍の１つの画素の３原色信号データを読み出し、これ以外の欠陥画素のない該ある走査線の部分および該ある走査線以外の走査線については、奇数または偶数番号画素の３原色信号データについては読み出さずに、その代わりに偶数または奇数番号画素の３原色信号データを読み出すことを特徴とする画像信号処理装置。
  26. 複数色の色フィルタを前面に有し、これら色フィルタに対応されたカラー画像情報を各画素から点順次に得るようにした固体撮像素子を含むカラー撮像手段により撮像されたカラー画像信号を得られた順にディジタル信号の形で受けて該信号の処理を行なう画像信号処理装置において、該装置は、
    前記固体撮像素子の複数の画素のうち欠陥のある画素位置を示す位置データを記憶する第１の記憶手段と、
    前記得られた順に送られてくる画素に基づくディジタル信号の形のカラー画像データを受け、該受けたカラー画像データから画素毎に同時化した赤色Ｒ、緑色Ｇ、青色Ｂの３原色信号データを得る画素補間手段と、
    該画素補間手段からの画素毎に同時化した赤色Ｒ、緑色Ｇ、青色Ｂの３原色信号データを記憶する第２の記憶手段と、
    該第２の記憶手段に記憶した３原色信号データを間引いて低解像度のカラー画像データに変換する間引き処理制御手段とを有し、
    該間引き処理制御手段が前記第１の記憶手段から読み出した位置データにより１画面における欠陥画素を含む奇数番号の画素数と欠陥画素を含む偶数番号の画素数との差がしきい値以上であり、かつ奇数または偶数番号画素の方に欠陥画素を多く含んでいると判断した場合は、該間引き処理制御手段は、第２の記憶手段に記憶された各走査線についての奇数または偶数番号画素の３原色信号データについては読み出さずに、その代わりに各走査線についての偶数または奇数番号画素の３原色信号データを読み出すことを特徴とする画像信号処理装置。
  27. 請求項26に記載の画像信号処理装置において、
    前記間引き処理制御手段が前記第１の記憶手段から読み出した位置データにより１画面における欠陥画素を含む奇数番号の画素数と欠陥画素を含む偶数番号の画素数との差がしきい値未満であり、かつある走査線における欠陥画素を含む奇数番号の画素数と欠陥画素を含む偶数番号の画素数との差がしきい値以上であり、かつ該ある走査線について奇数または偶数番号画素の方に欠陥画素を多く含んでいると判断した場合は、該間引き処理制御手段は、第２の記憶手段に記憶された該ある走査線についての奇数または偶数番号画素の３原色信号データについては読み出さずに、その代わりに該ある走査線についての偶数または奇数番号画素の３原色信号データを読み出すことを特徴とする画像信号処理装置。
  28. 請求項26に記載の画像信号処理装置において、
    前記間引き処理制御手段が前記第１の記憶手段から読み出した位置データにより１画面における欠陥画素を含む奇数番号の画素数と欠陥画素を含む偶数番号の画素数との差がしきい値未満であり、かつある走査線における欠陥画素を含む奇数番号の画素数と欠陥画素を含む偶数番号の画素数との差がしきい値未満であり、かつ該ある走査線のある１つの画素のものであると判断した場合は、該間引き処理制御手段は、前記第２の記憶手段から該ある走査線の該ある１つの画素の３原色信号データについては読み出さずに、その代わりに該ある走査線の該ある１つの画素の近傍の１つの画素の３原色信号データを読み出し、これ以外の欠陥画素のない該ある走査線の部分については、奇数または偶数番号画素の３原色信号データについては読み出さずに、その代わりに偶数または奇数番号画素の３原色信号データを読み出すことを特徴とする画像信号処理装置。
  29. 請求項25ないし請求項28のいずれかに記載の画像信号処理装置において、前記固体撮像素子は、高解像度のCCD であることを特徴とする画像信号処理装置。
  30. 複数色の色フィルタを前面に有し、これら色フィルタに対応されたカラー画像情報を各画素から点順次に得るようにした高解像度の固体撮像素子を含むカラー撮像手段により撮像されたカラー画像信号を得られた順にディジタル信号の形で受けて該信号の処理を行なう画像信号処理装置を備えた電子スチルカメラにおいて、
    前記画像信号処理装置は、
    前記固体撮像素子の複数の画素のうち欠陥のある画素位置を示す位置データを記憶する第１の記憶手段と、
    前記得られた順に送られてくる画素に基づくディジタル信号の形のカラー画像データを受け、該受けたカラー画像データから画素毎に同時化した赤色Ｒ、緑色Ｇ、青色記Ｂの３原色信号データを得る画素補間手段と、
    該画素補間手段からの画素毎に同時化した赤色Ｒ、緑色Ｇ、青色記Ｂの３原色信号データを記憶する第２の記憶手段と、
    第１の制御信号を受け、該受けた第１の制御信号から第１の間引き読み出し制御信号を形成するとともに、該形成した第１の間引き読み出し制御信号に基づき該第２の記憶手段に記憶した３原色信号データを間引いて低解像度のカラー画像データに変換する間引き処理制御手段と、
    前記第１の記憶手段からの位置データに基づいて該第１の間引き読み出し制御信号を形成するに必要な該間引き処理制御手段への第１の制御信号を生成する制御手段とを含み、
    該制御手段が前記第１の記憶手段からの位置データにより欠陥画素位置がある走査線のある１つの画素のものである判断した場合は、該制御手段は前記第１の間引き読み出し制御信号により前記第２の記憶手段に記憶された該ある走査線の該ある１つの画素の３原色信号データについては読み出しを行なわせずに、その代わりに該ある走査線の該ある１つの画素の近傍の１つの画素の３原色信号データについて読み出しを行なわせ、これ以外の欠陥画素のない該ある走査線の部分および該ある走査線以外の走査線については、奇数または偶数番号画素の３原色信号データについては読み出しを行なわせずに、その代わりに偶数または奇数番号画素の３原色信号データの読み出しを行なわせる前記第１の制御信号を間引き処理制御手段へ送ることを特徴とする画像信号処理装置を備えた電子スチルカメラ。
  31. 複数色の色フィルタを前面に有し、これら色フィルタに対応されたカラー画像情報を各画素から点順次に得るようにした高解像度の固体撮像素子を含むカラー撮像手段により撮像されたカラー画像信号を得られた順にディジタル信号の形で受けて該信号の処理を行なう画像信号処理装置を備えた電子スチルカメラにおいて、
    前記画像信号処理装置は、
    前記固体撮像素子の複数の画素のうち欠陥のある画素位置を示す位置データを記憶する第１の記憶手段と、
    前記得られた順に送られてくる画素に基づくディジタル信号の形のカラー画像データを受け、該受けたカラー画像データから画素毎に同時化した赤色Ｒ、緑色Ｇ、青色記Ｂの３原色信号データを得る画素補間手段と、
    該画素補間手段からの画素毎に同時化した赤色Ｒ、緑色Ｇ、青色記Ｂの３原色信号データを記憶する第２の記憶手段と、
    第１の制御信号を受け、該受けた第１の制御信号から第１の間引き読み出し制御信号を形成するとともに、該形成した第１の間引き読み出し制御信号に基づき該第２の記憶手段に記憶した３原色信号データを間引いて低解像度のカラー画像データに変換する間引き処理制御手段と、
    前記第１の記憶手段からの位置データに基づいて該第１の間引き読み出し制御信号を形成するに必要な該間引き処理制御手段への第１の制御信号を生成する制御手段とを含み、
    該制御手段が前記第１の記憶手段からの位置データにより１画面における欠陥画素を含む奇数番号の画素数と欠陥画素を含む偶数番号の画素数との差がしきい値以上であり、かつ奇数または偶数番号の方に欠陥画素数を多く含んでいると判断した場合は、該制御手段は、前記第１の間引き読み出し制御信号により前記第２の記憶手段に記憶された各走査線についての奇数または偶数番号画素の３原色信号データについては読み出しを行なわせずに、その代わりに各走査線についての偶数または奇数番号画素の３原色信号データの読み出しを行なわせる前記第１の制御信号を間引き処理制御手段へ送ることを特徴とする画像信号処理装置を備えた電子スチルカメラ。
  32. 請求項31に記載の画像信号処理装置を備えた電子スチルカメラにおいて、
    前記制御手段が前記第１の記憶手段からの位置データにより１画面における欠陥画素を含む奇数番号の画素数と欠陥画素を含む偶数番号の画素数との差がしきい値未満であり、かつある走査線における欠陥画素を含む奇数番号の画素数と欠陥画素を含む偶数番号の画素数との差がしきい値以上であり、かつ該ある走査線について奇数または偶数番号の方に欠陥画素数を多く含んでいると判断した場合は、該制御手段は、前記第１の間引き読み出し制御信号により第２の記憶手段に記憶された該ある走査線についての奇数または偶数番号画素の３原色信号データについては読み出しを行なわせずに、その代わりに該ある走査線についての偶数または奇数番号画素の３原色信号データの読み出しを行なわせる前記第１の制御信号を間引き処理制御手段へ送ることを特徴とする画像信号処理装置を備えた電子スチルカメラ。
  33. 請求項31に記載の画像信号処理装置を備えた電子スチルカメラにおいて、
    前記制御手段が前記第１の記憶手段からの位置データにより１画面における欠陥画素を含む奇数番号の画素数と欠陥画素を含む偶数番号の画素数との差がしきい値未満であり、かつある走査線における欠陥画素を含む奇数番号の画素数と欠陥画素を含む偶数番号の画素数との差がしきい値未満であり、かつ該ある走査線のある１つの画素のものであると判断した場合は、該制御手段は前記第１の間引き読み出し制御信号により前記第２の記憶手段に記憶された該ある走査線の該ある１つの画素の３原色信号データについては読み出しを行なわせずに、その代わりに該ある走査線の該あるグループの近傍の１つの画素の３原色信号データの読み出しを行なわせ、これ以外の欠陥画素のない該ある走査線の部分については、奇数または偶数番号画素の３原色信号データについては読み出しを行なわせずに、その代わりに偶数または奇数番号画素の３原色信号データの読み出しを行なわせる前記第１の制御信号を間引き処理制御手段へ送ることを特徴とする画像信号処理装置を備えた電子スチルカメラ。
  34. 請求項30ないし請求項33のいずれかに記載の画像信号処理装置を備えた電子スチルカメラにおいて、
    前記画像信号処理装置はさらに、
    前記第２の記憶手段からの低解像度の画素毎に同時化した赤色Ｒ、緑色Ｇ、青色Ｂの３原色信号データを実時間で出力する第１の出力端子を含み、
    該画像信号処理装置を備えたカメラはさらに、
    前記第１の出力端子からの低解像度の画素毎に同時化した赤色Ｒ、緑色Ｇ、青色Ｂの３原色信号データの映像を表示する映像モニタの第１のビューファインダを有することを特徴とする画像信号処理装置を備えた電子スチルカメラ。
  35. 請求項30ないし請求項33のいずれかに記載の画像信号処理装置を備えた電子スチルカメラにおいて、
    前記画像信号処理装置はさらに、
    前記第２の記憶手段から低解像度の画素毎に同時化した赤色Ｒ、緑色Ｇ、青色Ｂの３原色信号データを受け、所定の変換制御信号に基づき該第２の記憶手段からの画素毎の同時化した３原色信号データから画素毎に同時化した輝度信号データＹ、色差信号データR-Y および色差信号データB-Y を生成する色信号変換手段を含み、
    前記制御手段はさらに、該色信号変換手段への変換制御信号を生成する変換制御信号生成手段を含むことを特徴とする画像信号処理装置を備えた電子スチルカメラ。
  36. 請求項35に記載の画像信号処理装置を備えた電子スチルカメラにおいて、
    前記画像信号処理装置はさらに、
    前記色信号変換手段からの低解像度の画素毎に同時化した輝度信号データＹ、色差信号データR-Y および色差信号データB-Y を実時間で出力する第２の出力端子を含み、
    該画像信号処理装置を備えたカメラはさらに、
    前記第２の出力端子からの低解像度の画素毎に同時化した輝度信号データＹ、色差信号データR-Y および色差信号データB-Y の映像を表示する映像モニタの第２のビューファインダを有することを特徴とする画像信号処理装置を備えた電子スチルカメラ。
  37. 請求項30ないし36のいずれかに記載の画像信号処理装置を備えた電子スチルカメラにおいて、前記固体撮像素子は、高解像度のCCD であることを特徴とする画像信号処理装置を備えた電子スチルカメラ。
JP02876199A 1999-02-05 1999-02-05 画像信号処理装置およびこの装置を備えた電子スチルカメラ Expired - Fee Related JP3893788B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP02876199A JP3893788B2 (ja) 1999-02-05 1999-02-05 画像信号処理装置およびこの装置を備えた電子スチルカメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP02876199A JP3893788B2 (ja) 1999-02-05 1999-02-05 画像信号処理装置およびこの装置を備えた電子スチルカメラ

Publications (2)

Publication Number Publication Date
JP2000228774A JP2000228774A (ja) 2000-08-15
JP3893788B2 true JP3893788B2 (ja) 2007-03-14

Family

ID=12257404

Family Applications (1)

Application Number Title Priority Date Filing Date
JP02876199A Expired - Fee Related JP3893788B2 (ja) 1999-02-05 1999-02-05 画像信号処理装置およびこの装置を備えた電子スチルカメラ

Country Status (1)

Country Link
JP (1) JP3893788B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4515628B2 (ja) * 2000-12-15 2010-08-04 オリンパス株式会社 撮像装置
JP5375359B2 (ja) * 2009-06-22 2013-12-25 ソニー株式会社 撮像素子、電荷読み出し方法、撮像装置
JP5387167B2 (ja) * 2009-06-26 2014-01-15 株式会社ニコン 撮像装置
CN108228290B (zh) * 2017-12-19 2021-06-01 广州文石信息科技有限公司 一种eink彩色屏幕设备上ui界面的显示方法及装置

Also Published As

Publication number Publication date
JP2000228774A (ja) 2000-08-15

Similar Documents

Publication Publication Date Title
JP3429061B2 (ja) 電子スチルカメラ
JPH08172636A (ja) 撮像装置
EP0469836B1 (en) Image signal processing apparatus
JPWO2004017628A1 (ja) 撮像システム
US6762792B1 (en) Digital still camera
JP3962928B2 (ja) 画像データの変換方法および変換回路と、撮像装置
JP3893788B2 (ja) 画像信号処理装置およびこの装置を備えた電子スチルカメラ
JP3674420B2 (ja) 固体撮像装置
JP2000125213A (ja) 固体撮像装置
JPH0575911A (ja) 画像処理のためのフイールド補間回路及び方式
JP2950409B2 (ja) 高解像度カメラのための垂直ライン倍速変換方法及びその回路
JP4515546B2 (ja) 画像信号処理装置およびこの装置を備えた電子スチルカメラ
JP4260769B2 (ja) 画像処理回路
US6266101B1 (en) Y/C separator
JP3893489B2 (ja) 信号処理装置および信号処理方法
JP3651477B2 (ja) 画像信号処理装置
JP3734104B2 (ja) 画像信号処理装置
JP3581457B2 (ja) 撮像装置
JP4109328B2 (ja) ビデオ信号符号化装置
JP4249152B2 (ja) 画像処理回路
JP2845613B2 (ja) カラー固体撮像装置
JPH0984029A (ja) カラー撮像装置
JP2728135B2 (ja) 撮像装置
JP2005006078A (ja) 撮像装置
JPH1066095A (ja) ノンインターレース／インターレース変換方法および画像入力装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040916

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061107

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061204

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees