JP2635917C - - Google Patents

Description

【図面の簡単な説明】 【図１】 この発明の第１の実施例に従った電子スチルカメラのブロック図。 【図２】 この発明の第２の実施例に従った電子スチルカメラのブロック図。 【図３】 この発明の第３の実施例に従った電子スチルカメラのブロック図。 【図４】 この発明の第４の実施例に従った電子スチルカメラのブロック図。 【図５】 この本発明で使用する色フィルタ配列とその移動状態をそれぞれ説明するため
の図。 【図６】 本発明の電子スチルカメラにおけるディジタルの信号処理回路を示すブロック
図。 【図７】 固体撮像素子の模式的構成を示す図。 【図８】 図７の固体撮像素子をＨＤモードで使用したときの電荷蓄積の状態を説明する
ための図。 【図９】 図７の固定撮像素子をＨＤモードで使用したときの他の電荷蓄積の状態を説明
するための図。 【図１０】 図５Ａに示す色フィルタ配列の固体撮像素子をＨＤモードで使用した時の等価
的な色フィルタ配列を示す図。 【図１１】 図１０Ａ及び１０Ｂに示すＨＤモードの等価的な色フィルタ配列の場合におい
てバッファメモリの２次元的なアドレスの説明をするための図。 【図１２】 本発明で使用する他の色フィルタ配列とその移動状態をそれぞれ説明をするた
めの図。 【図１３】 図１２Ａに示す色フィルタ配列の固体撮像素子をＨＤモードで使用した時の等
価的な色フィルタ配列を示す図。 【図１４】 本発明で使用する他の色フィルタ配列とその移動状態をそれぞれ説明をするた
めの図。 【図１５】 図１４Ａに示す色フィルタ配列の固体撮像素子をＨＤモードで使用した時の等
価的な色フィルタ配列を示す図。 【図１６】 本発明で使用する他の色フィルタ配列とその移動状態をそれぞれ説明をするた
めの図。 【図１７】 図１６Ａに示す色フィルタ配列の固体撮像素子をＨＤモードで使用した時の等
価的な色フィルタ配列を示す図。 【図１８】 図１６Ａと同じ色フィルタ配列とその移動状態をそれぞれ説明をするための図
。 【図１９】 図１８Ａに示す色フィルタ配列で他のＨＤモードで使用した時の等価的な色フ
ィルタ配列を示す図。 【図２０】 この発明の電子スチルカメラに使用するカラー固体撮像素子の色フィルタ配列
を示す図。 【図２１】 この発明の電子スチルカメラに使用するカラー固体撮像素子の他の色フィルタ
配列を示す図。 【図２２】 この発明の電子スチルカメラに使用するカラー固体撮像素子の他の色フィルタ
配列を示す図。 【図２３】 図２０に示す色フィルタ配列のＦ１をＷ(白色)、Ｆ２をＹｅ(黄色)、Ｆ３をＣ
ｙ（シアン色）の色フィルタ要素とした時の色フィルタ配列を示す図。 【図２４】 この発明のＨＤモード時におけるカラー固体撮像素子のスイングの状態を示す
図。 【図２５】 図２０及び図２１に示す色フィルタ配列のカラー固体撮像素子を図２４に示す
ＨＤモードで使用した時の等価的な色フィルタ配列をそれぞれ示す図。 【図２６】 図２３に示す色フィルタ配列のカラー固体撮像素子を図２４のＨＤモードで使
用した時の等価色フィルタ配列を示す図。 【図２７】 本発明のＨＤモード時におけるカラー固体撮像素子の他のスイング状態を示す
図。 【図２８】 図２１及び図２２に示す色フィルタ配列のカラー固体撮像素子を図２７に示す
ＨＤモードで使用したときの等価的な色フィルタ配列を示す図。 【図２９】 本発明に適用可能な色フィルタ配列を示し、図２０に示す色フィルタ配列のＦ
１をＧ(緑色)、Ｆ２をＲ(赤色)、Ｆ３をＣｙ（シアン色）の色フィルタ要素とし
た時の 色フィルタ配列を示す図。 【図３０】 本発明に適用可能な色フィルタ配列を示し、図２０に示す色フィルタ配列のＦ
１をＧ(緑色)、Ｆ２をＹｅ(黄色)、Ｆ３をＣｙ（シアン色）の色フィルタ要素と
した時の色フィルタ配列を示す図。 【図３１】 本発明に適用可能な色フィルタ配列であり、図２０に示す色フィルタ配列のＦ
１をＹ(輝度信号の分光透過特性を持つ色フィルタ)、Ｆ２をＲ(赤色)、Ｆ３をＢ
（青色）の色フィルタ要素とした時の色フィルタ配列を示す図。 【図３２】 本発明の他の実施例を説明するためのカラー固体撮像素子の色フィルタ配列を
示す図。 【図３３】 図３２に示す色フィルタ配列を持つカラー固体撮像素子をＨＤモードでスイン
グする状態を示す図。 【図３４】 図３２に示す色フィルタ配列のカラー固体撮像素子を図３３に示すＨＤモード
で使用した時の等価的な色フィルタ配列を示す図。 【図３５】 図３２に示す色フィルタ配列を持つカラー固体撮像素子をＨＤモードでスイン
グする状態を示す図。 【図３６】 図３２に示す色フィルタ配列のカラー固体撮像素子を図３５に示すＨＤモード
で使用した時の等価的な色フィルタ配列を示す図。 【図３７】 本発明に適用できる他の色フィルタ配列を示す図。 【図３８】 本発明に適用できる他の色フィルタ配列を示す図。 【図３９】 本発明に適用できる他の色フィルタ配列を示す図。 【図４０】 本発明のＨＤモード時における８ポジションのスイングの状態を示す図。 【図４１】 本発明のＨＤモード時における他の８ポジションのスイングの状態を示す図。 【図４２】 図４０及び図４１に示すスイングを行った時に得られる等価色フィルタ配列を
示す 図。 【図４３】 図４０に示すスイングに適用できる他の色フィルタ配列を示す図。 【図４４】 図４１に示すスイングに適用できる他の色フィルタ配列を示す図。 【図４５】 他の実施例であり、色モアレを防止した電子スチルカメラのブロック図。 【図４６】 図４５の実施例を説明するための色フィルタ配列を示す図。 【図４７】 図４６の色フィルタ配列を持つ固体撮像素子を白黒デバイスとみなした時の等
価的な色フィルタ配列を示す図。 【図４８】 図４５の実施例に関連する他の実施例の電子スチルカメラのブロック図。 【図４９】 出画範囲を変えることができる他の実施例の電子スチルカメラの機能を説明す
るための図。 【図５０】 図４９の実施例における固体撮像素子上の被写体像結像位置移動機構を示す図
。 【図５１】 同実施例における画像の撮影範囲を説明する図。 【図５２】 被写体像結像位置移動機構の他の例を示す図。 【図５３】 同実施例における再生信号処理系を示すブロック図。 【図５４】 同実施例におけるモニタへの再生において必要な画素数を説明する図。 【図５５】 図５３の出画メモリ部の第１例のブロック図。 【図５６】 図５３の出画メモリ部の第２例のブロック図。 【図５７】 図５３の出画メモリ部の第３例のブロック図。 【図５８】 図５３の出画メモリ部の第４例のブロック図。 【図５９】 出画メモリのアドレス空間の第１例を示す図。 【図６０】 出画メモリのアドレス空間の第２例を示す図。 【図６１】 出画メモリのアドレス空間の第３例を示す図。 【図６２】 通常の撮像素子よりも横に長い画角を持つ撮像素子の図。 【図６３】 パノラマモードであることを示す再生画面の例を示す図。 【図６４】 左右両方向の再生範囲移動が可能であることを表す再生画面の例を示す図。 【図６５】 左方向のみの再生範囲移動が可能であることを表す再生画面の例を示す図。 【図６６】 マーク発生回路を組み込んだ再生部の第１例のブロック図。 【図６７】 マーク発生回路を組み込んだ再生部の第２例のブロック図。 【図６８】 操作部に再生範囲移動可能の表示部を持った電子スチルカメラの例を示す図。 【図６９】 パノラマモードを持つ電子スチルカメラのファインダ内表示の例を示す図。 【図７０】 パノラマモードを持つ電子スチルカメラのファインダ内表示の別の例を示す図
。 【図７１】 上下左右の出画範囲を持つ電子スチルカメラの出画メモリ部のブロック図。 【図７２】 上下左右の出画範囲を持つことを表す出画像の例を示す図。 【図７３】 他の実施例であり、検索機能を備えた電子スチルカメラの記録部のブロック図
。 【図７４】 同実施例の電子スチルカメラをＧＰＳ受信機と接続して使用した例を示す図。 【図７５】 同実施例に係る電子スチルカメラの再生部または電子スチルカメラで撮影を行
った画像データを記録する媒体を持つ電子アルバムの再生部のブロック図。 【図７６】 同実施例に係る電子スチルカメラを携帯電話として使用した例を示す図。 【図７７】 図７３に関連する実施例の電子スチルカメラのブロック図。 【図７８】 本発明の電子スチルカメラによって撮影された画像データを検索するための設
問画面の例を示す図。 【図７９】 画像検索の演算を行うブロック図。 【図８０】 他の実施例であり、ズーム機能及び圧縮機能を有する電子スチルカメラのブロ
ック図。 【図８１】 実施例の制御の流れを示すフローチャート。 【図８２】 同実施例で用いるブロック化画像データ圧縮方式を示す図。 【図８３】 同ブロック化画像データ圧縮方式の特徴を説明するための図。 【図８４】 映像信号帯域特性と二点内挿法によって得られた信号の帯域特性を示す図。 【図８５】 図８０に関連する他の実施例の撮像装置のブロック図。 【図８６】 他の実施例の撮像装置のブロック図。 【図８７】 同実施例の制御の流れを示すフローチャート。 【図８８】 画像フォーマットを示す図。 【図８９】 図８６における圧縮・切り出し選択処理部の動作原理を示す図。 【図９０】 図８０に関連する他の実施例の撮像装置のブロック図。 【図９１】 図８０に関連する他の実施例の撮像装置のブロック図。 【図９２】 図８０に関連する他の実施例の撮像装置のブロック図。 【符号の説明】 １…カラー固体撮像素子 ２…撮像素子駆動回路 ５…Ａ／Ｄ変換器 ６…バッファメモリ ７…メモリコントロール回路 ８，３６，２０４…ディジタル信号処理回路 ９，３７，２０６…記録媒体 １１…圧電素子 １２…屈折板 ３１，４２…カラー固体撮像素子 ３２…撮像素子駆動回路 ３４…前処理回路 ３５…Ａ／Ｄ変換器 ３８，４１，４４…水晶光学フィルタ ４０，４３…光学レンズ ４５…白黒固体撮像素子 ６１…レンズ ６２…透明屈折板 ６３，９１…固体撮像素子 ６４…撮像素子駆動機構 ９４…撮影条件データ記録回路 １０５…ＣＰＵ １０７…検索設問表示部 ２０１…撮像部 ２０５…圧縮処理回路 ２０７…電子ズーム処理回路 ２２１…処理選択部 ２２２…切り出し処理回路

Claims (1)

1. 【特許請求の範囲】 【請求項１】 ２行２列または４行２列または２行４列の単位で、前記各単位は３色または４
   色の色フィルタからなるモザイク状フィルタが、水平及び垂直軸方向に配列され
   てなり、各色フィルタに対応する位置に画素を有し、入射する光学像に対応する
   画像信号を出力する固体撮像素子と、 光学像を、移動のない第１の位置、及び第１の位置から水平あるいは垂直軸方
   向の１方向に１画素分移動した第２の位置、及び第１の位置から水平及び垂直軸
   方向の両方向に半画素分移動した第３の位置、及び第１の位置，第２の位置，第
   ３の位置とともに平行四辺形の４つの頂点を形成する第４の位置の間で移動する
   移動手段と、 第１、第２、第３、第４の各位置の画像信号を読み出す手段と、 この読み出す手段で読み出した第１、第２、第３、第４の各位置の画像信号を
   もとに、静止画像を生成する信号処理手段とを有し、 前記第１、第２、第３、第４の位置で固体撮像素子によって得られる緑色また
   は緑色成分を含む色が水平垂直方向に半画素ごとに市松状に配置されるように、
   前記色フィルタを配列してなることを特徴とする電子スチルカメラ。 【請求項２】 前記移動手段は、光学像を、第１の位置から第２、第３、第４の位置のうち１
   つの位置に移動し、次に残りの他の２つの位置の１つの位置に移動し、次に残り
   の位置に動かすことを特徴とする請求項１記載の電子スチルカメラ。 【請求項３】 前記移動手段は、光学像を、移動後第１の位置に戻すことを特徴とする請求項
   ２記載の電子スチルカメラ。 【請求項４】 前記固体撮像素子は、前記移動手段が光学像を動かす間、前記固体撮像素子の
   電荷蓄積部の電荷を掃き出す手段を有することを特徴とする請求項１記載の電子
   スチルカメラ。 【請求項５】 前記固体撮像素子は、前記移動手段が光学像を動かす間に、前記固体撮像素子
   に蓄積された電荷を掃き出す手段を有することを特徴とする請求項１記載の電子
   スチルカメラ。 【請求項６】 前記移動手段は、光学像の経路を変化させるため固体撮像素子の前に配置した
   平行平板を有することを特徴とする請求項１記載の電子スチルカメラ。 【請求項７】 ２行２列または４行２列または２行４列の単位で、前記各単位は３色または４
   色の色フィルタからなるモザイク状フィルタが、水平及び垂直軸方向に配列され
   てなり、各色フィルタに対応する位置に画素を有し、入射する光学像に対応する
   画像信号を出力する固体撮像素子と、 この固体撮像素子を、移動のない第１の位置、及び第１の位置から水平あるい
   は垂直軸方向の１方向に１画素分移動した第２の位置、及び第１の位置から水平
   及び垂直軸方向の両方向に半画素分移動した第３の位置、及び第１の位置，第２
   の位置，第３の位置とともに平行四辺形の４つの頂点を形成する第４の位置の間
   で移動する移動手段と、 第１、第２、第３、第４の各位置の画像信号を読み出す手段と、 この読み出す手段で読み出した第１、第２、第３、第４の各位置の画像信号を
   もとに、静止画像を生成する信号処理手段とを有し、 前記第１、第２、第３、第４の位置で固体撮像素子によって得られる緑色また
   は緑色成分を含む色が水平垂直方向に半画素ごとに市松状に配置されるように、
   前記色フィルタを配列してなることを特徴とする電子スチルカメラ。 【請求項８】 前記移動手段は、固体撮像素子を、第１の位置から第２、第３、第４の位置の
   うち１つの位置に移動し、次に残りの他の２つの位置の１つの位置に移動し、次
   に残りの位置に動かすことを特徴とする請求項７記載の電子スチルカメラ。 【請求項９】 前記移動手段は、固体撮像素子を、移動後第１の位置に戻すことを特徴とする
   請求項８記載の電子スチルカメラ。 【請求項１０】 前記固体撮像素子は、前記移動手段が固体撮像素子を動かす間、前記固体撮像
   素子の電荷蓄積部の電荷を掃き出す手段を有することを特徴とする請求項７記載
   の電子スチルカメラ。 【請求項１１】 前記固体撮像素子は、前記移動手段が固体撮像素子を動かす間に、前記固体撮
   像素子に蓄積された電荷を掃き出す手段を有することを特徴とする請求項７記載
   の電子スチルカメラ。 【請求項１２】 前記移動手段は、電気的に前記固体撮像素子を動かすことを特徴とする請求項
   ７記載の電子スチルカメラ。 【請求項１３】 前記移動手段は、圧電素子を用い前記固体撮像素子を動かすことを特徴とする
   請求 項１２記載の電子スチルカメラ。 【発明の詳細な説明】 【０００１】 【産業上の利用分野】 本発明は、記録媒体に画像を記録する電子スチルカメラに関する。 【０００２】 【従来の技術】 電子スチルカメラには、フロッピーディスクを用いたアナログ記録によるカメ
   ラと、半導体メモリ（ＲＡＭ等）を用いたディジタル記録によるカメラとがある
   。アナログ記録に比べてディジタル記録は、コピーによる画質劣化がない、記録
   用の回転機構がないため小型化に適している等、種々優れた利点をもつ。一般に
   民生用に採用している固体撮像素子は、固体撮像素子の価格の面から４０万画素
   程度の画素数をもつ。 【０００３】 この程度の画素数の固体撮像素子は、現行のモニタで見る分にはほぼ満足でき
   る画像を再現できるが、ＨＤ（高精細：ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ）モニ
   タに出力する場合とか、ハードコピーする場合には不十分である。また、高精細
   化のためハイビジョン用固体撮像素子（２００万画素相当）を用いる場合、コス
   トが高くなりすぎて、民生用の電子スチルカメラには適さない。 【０００４】 さらには、画素数が数十万画素程度の安価な固体撮像素子を用いて、固体撮像
   素子を移動させることにより高解像度化を図っている静止画入力装置がある。こ
   の装置によると、まず、固体撮像素子の前部に色フィルタ円盤の赤色（Ｒ）フィ
   ルタが置かれ、固体撮像素子から画像信号の読み出しが行われる。この信号は前
   処理回路により所定の処理が施された後、Ａ／Ｄ変換器によりディジタル値に変
   換される。さらにディジタル信号処理回路により画像信号を記録フォーマットに
   変換する処理が施され、記録媒体へ記録される。 【０００５】 この様に１フレーム分のＲのデータが記録されたら、高解像度化のために固体
   撮像素子を微少移動させ同様な記録を行い、Ｒについて複数のフレームデータを
   得る。Ｒの処理を終えたら色フィルタ円盤が回転し、固体撮像素子の前面にＧフ
   ィルタ要素がおかれる。この場合の処理もＲの処理と同様に行われ記録される。
   Ｂフィルタ要素においても同様な処理が施される。 【０００６】 以上のようにして高解像度の静止画像を得るが、このシステムを用いている固
   体撮像素子は、白黒デバイスであり面順次でカラー情報を取り込むための回転フ
   ィルタのためカメラ本体が大きくまた静止物体しか撮影できないため、動物体の
   静止画像を撮 影する電子スチルカメラには適さない。 【０００７】 また、４０万画素程度の一般的な固体撮像素子を有する電子カメラで文字等の
   白黒被写体を撮像した場合、色フィルタ配列に起因する色モワレが発生し、鮮明
   な画像が得られない問題がある。また、この色モワレを減少させるために、一般
   には水晶光学フィルタを設ける方法が採られるが、この方法は解像度を劣化させ
   るので望ましくない。 【０００８】 また、数社からカード状の半導体メモリを記録媒体に用いて、ディジタル信号
   で静止画像を記録するディジタル電子カメラシステムが発表、あるいは発売され
   ている。半導体メモリカードはカメラ本体に着脱可能な形としている。半導体メ
   モリはまだビット当りの単価が高価であり、またその記憶容量がまだ十分でない
   こともあり、長期的あるいは大量の記録には光ディスク、光磁気ディスク、ハー
   ドディスク、磁気テープ、磁気バブルメモリなどが利用される。 【０００９】 これらの電子カメラは、画像ディジタルデータをパーソナルコンピュータやワ
   ークステーションのモニタへ転送の上出画することが可能であるが、通常のＴＶ
   規格のモニタにＲＦ端子あるいはビデオ端子へのアナログ信号の入力という形で
   出画されるのが一般的である。このときの再生画像は、撮影時における撮像素子
   の有効撮像領域に結像された範囲のものであり、この範囲は固定である。 【００１０】 また前述の半導体メモリカードとディスクテープ等の２次記録媒体には、１静
   止画像毎に撮影データを記録することができる。 【００１１】 これらメモリカード等のディジタルシステムや前述のビデオフロッピーシステ
   ムは、従来の写真プリント（ｐｈｏｔｏｇｒａｐｈｉｃ ｐｒｉｎｔ）と異なっ
   て、外観からはその内容が分からない。記録媒体を再生装置に装てんし再生して
   確認するか、そのパッケージに内容をメモしておくしかない。 【００１２】 特願平２−２３４４９２号には、画像検索の方法として、撮影時の条件を使用
   してその効率を上げる技術が開示されている。撮影条件とは、撮影日時、ホワイ
   トバランス、入射光量、フォーカス、絞り、ズーム、フラッシュの使用不使用、
   湿度、気圧、撮影カメラのＩＤ、レンズの種類のデータなどが考えられている。
   再生部において、撮影の様子を設問形式で用意し、検索者がこれに答える形か、
   検索者が撮影の条件を自身で入力してゆく。例えば、設問としては屋外の撮影か
   室内の撮影か、被写体が人物か風景か印刷物かなどが考えられる。再生部は、こ
   れらの設問に必要な撮影条件デ ータを読み込んでいき、演算を行って可能性の高い画像から再生させる。 【００１３】 また、電子スチルカメラとしては、撮像素子から得られるアナログ画像情報を
   ディジタル化した後に、データ圧縮を行ってから記録を行う様なカメラが既に商
   品化されている。 【００１４】 一方、ズーム機能は家庭用ビデオムービーカメラやコンパクトカメラなどに広
   く利用されている。家庭用ビデオムービーカメラのズームの方法としては、レン
   ズによるものと、撮像素子から出力された画像信号に演算処理を施す電子ズーム
   の二通りがある。レンズズームでは、ズーム時に良好な画像が得られる反面、高
   倍率化に伴い大型のレンズが必要となりカメラのコンパクト化が難しい。これに
   対して電子的な拡大処理は、カメラレンズに手を加えることなく、小型軽量なビ
   デオムービーカメラ等を得ることができる。 【００１５】 電子的な画像の拡大処理を行う場合、撮像素子において空間的に標本化されて
   いるため、拡大率に応じて標本画素間を補わなければならない。この様な場合に
   は、撮像素子によって得られた実画素データを用い、補う画素のデータを内挿処
   理によって作成する方法が一般的である。画素補間処理をリアルタイムで行う場
   合、回路規模が小さくてすむ二点内挿法が広く利用されている。 【００１６】 二点内挿法の一例としては、ムービーカメラにおいて用いられているＩＥＥＥ
   Ｔｒａ ｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃ
   ｓ Ｖｏｌ．３７，Ｎｏ．３，Ａｕｇｕｓｔ １９９１”Ａｎ Ｅｌｅｃｔｒｏ
   ｎｉｃ Ｚｏｏｍ Ｖｉｄｅｏ Ｃａｍｅｒａ Ｕｓｉｎｇ Ｉｍａｇｅ Ｓｃ
   ａｎｎｅｒ Ｃｏｎｔｒｏｌ”に挙げられるような方式がある。しかしながら、
   この方式による拡大処理は元の信号の帯域を損なう処理となり、解像度の劣化を
   伴う。また、現在のビデオムービーカメラは画像情報をアナログの信号として出
   力あるいは記録しており、ディジタル画像データとしてこれを圧縮した形で出力
   あるいは記録することはなかった。 【００１７】 一方、画像圧縮に関しては、ブロック符号化を用いた圧縮が動画像および静止
   画像のそれぞれの国際標準として採用されつつあり、製品としてはハイビジョン
   静止画蓄積装置やＴＶ電話、ＴＶ会議システムなどに適用が考えられている。こ
   れらの蓄積またはコーディングされたディジタル画像を再生側にて電子的なズー
   ムを行う場合、ブロック符号化によるブロック歪が人間の目に知覚され、画質を
   悪くするという問題があった。 【００１８】 【発明が解決しようとする課題】 以上詳述してきた様に、 （１）従来の電子スチルカメラでは、固体撮像素子の画素数不足のため、ＨＤＴ
   Ｖ（高精細ＴＶ）に出力して観賞する場合や、ハードコピーする場合等に、満足
   できる画像が得られない問題があった。 【００１９】 また、白黒撮像デバイスを用いて、面順次でカラー画像を取り込む静止画入力
   装置は、カメラ本体が大きく静止物体しか撮影できないため、電子スチルカメラ
   には適さない。 【００２０】 そこで本発明の第１の目的は、従来より民生用で採用されているカラー固体撮
   像素子を用いて、ＨＤＴＶでの観賞もでき、ハードコピーしても満足できる画像
   が得られる高画質な電子スチルカメラを提供することにある。 【００２１】 （２）従来の電子スチルカメラでは、カラー固体撮像素子を用いているため、
   文字等の白黒被写体を撮像した場合、モワレの発生や解像度不足等の問題があっ
   た。 【００２２】 本発明の第２の目的は、従来民生用で採用されているカラー固体撮像素子を用
   いて、文字等の白黒被写体を高解像度で色モワレの発生がない高画質な画像が得
   られる電子スチルカメラを提供することにある。 【００２３】 （３）従来の電子スチルカメラでは、再生画像の出画範囲が固定であるという
   問題があった。 【００２４】 本発明の第３の目的は、再生画像の出画範囲が標準ＴＶモニタより広く、操作
   者がその出画範囲を変えられる新しい再生方法を有する電子スチルカメラを提供
   することにある。 【００２５】 （４）記録されている画像の検索のため、前述のようなタイトルやキーワード
   方式を各画像毎に付けることは、非常に手間のかかる作業である。また、書類で
   は明確にタイトルやキーワードを表すことができても、撮影された画像には明確
   には表しにくい場合がある。前述した「ディジタル電子スチルカメラシステム」
   は、上記した課題を解決する目的で発明され、記録した画像の中から所望の画像
   を、効率よく検索することができるディジタルスチルカメラシステムを提供しよ
   うとするものであった。 【００２６】 本発明の第４の目的は、この効率をさらに上げた電子スチルカメラを提供する
   こと にある。（５）前述したように、電子ズームもブロック符号化も基本的には画質
   劣化を伴う。小型で、ズーム機能を持ち、データ圧縮を行う撮像装置を構築しよ
   うとして電子ズームとブロック符号化を採用する場合、画質劣化が問題となる。 【００２７】 本発明の第５の目的は、撮像装置の小型化を目的とした電子的なズーム機能と
   、小容量記録媒体に多数の画像を蓄積する目的で画像情報を高能率圧縮する機能
   を持たせた撮像装置において、電子的なズーム及び高能率画像圧縮といった画像
   を劣化させる処理を用いるにも関わらず、画質劣化を抑えた電子的なズーム機能
   及び画像圧縮機能を持った撮像装置を提供することにある。 【００２８】 また、ズーム選択時のズーム倍率比の自乗が画像圧縮率を下回る場合の倍率を
   高倍率、上回る場合の倍率を低倍率と呼ぶこととすると、この高倍率時において
   、画質を劣化させることなく少容量記録媒体に多数の画像を蓄積できる撮像装置
   を提供することである。 【００２９】 【課題を解決するための手段】 上記目的を達成するために、（１）本発明は、第１の目的を達成するため、色
   フィルタを有するカラー固体撮像素子と、このカラー固体撮像素子からの出力信
   号に信号処理を施して静止画のカラー画像信号を生成する信号処理手段と、前記
   信号処理手段により生成された静止画のカラー画像信号を記録する記録手段と、
   前記カラー固体撮像素子を水平走査方向または垂直走査方向及び斜め方向に移動
   させる移動手段とを具備することを特徴とする。 【００３０】 ここで、カラー固定撮像素子の色フィルタは、２行及び２列の色フィルタ要素
   をフィルタ単位として、これらのフィルタ単位が水平走査方向及びこれと直交す
   る垂直走査方向に周期的に配列して構成され、第１行の色フィルタ要素は緑色フ
   ィルタ要素と赤色または青色フィルタ要素とからなり、第２行の色フィルタ要素
   は緑色フィルタ要素と青色または赤色フィルタ要素とからなり、カラー固体撮像
   素子を水平走査方向に１画素ピッチ(Ｐｘ)、斜め方向に（１／２Ｐｘ＋１／２Ｐ
   ｙ）及び（−１／２Ｐｘ＋１／２Ｐｙ）の距離を移動させ、合計４ポジションで
   のデータの取り込みを行うことにより１枚の静止画像を得ることを特徴とする。 【００３１】 または、カラー固体撮像素子の色フィルタは、赤色フィルタ要素、緑色フィル
   タ要素、青色フィルタ要素を垂直走査方向に３列周期に配列し、カラー固体撮像
   素子を水平走査方向に１．５Ｐｘ、垂直走査方向に１／２Ｐｙ、斜め方向に（１
   ．５Ｐｙ＋１／２Ｐｙ）の距離を移動させ、合計４ポジションでのデータの取り
   込みを行うことに より１枚の静止画像を得ることを特徴とする。または、水平走査方向に１．５Ｐ
   ｘ、斜め方向に（−３／４Ｐｘ＋１／２Ｐｙ）及び（３／４Ｐｘ＋１／２Ｐｙ）
   の距離を移動させ、合計４ポジションでのデータの取り込みにより１枚の静止画
   像を得ることを特徴とする。 【００３２】 さらには、前記カラー固体撮像素子は、電荷掃き出し機能を有し、前記移動手
   段による移動期間中に電荷の掃き出し動作を行うことを特徴とする。（２）本発
   明は、第２の目的を達成するため、色フィルタを有するカラー固体撮像素子と、
   このカラー固体撮像素子からの出力信号に信号処理を施して静止画のカラー画像
   信号を生成するカラー画像生成信号処理手段と、前記カラー固体撮像素子からの
   出力信号に二値化処理を施して二値画像信号を生成する二値画像生成信号処理手
   段と、前記カラー画像信号生成信号処理手段により得られたカラー画像信号また
   は前記二値画像生成信号処理手段により得られた二値画像信号を記録する記録手
   段とを具備することを特徴とする。 【００３３】 または、少なくとも光学レンズとカラー固体撮像素子からなる第１の撮像モジ
   ュールと、この第１の撮像モジュールからの出力信号に信号処理を施して静止画
   のカラー画像信号を生成するカラー画像生成信号処理手段と、少なくとも光学レ
   ンズと白黒固体撮像素子からなる第２の撮像モジュールと、この第２の撮像モジ
   ュールからの出力信号に信号処理を施して静止画の白黒画像信号を生成する白黒
   画像生成信号処理手段と、前記カラー画像生成信号処理手段により得られたカラ
   ー画像信号または前記白黒画像生成信号処理手段により得られた白黒画像信号を
   記録する記録手段とを具備し、前記第１の撮像モジュールと第２の撮像モジュー
   ルは着脱可能であることを特徴とする。 【００３４】 （３）本発明は、第３の目的を達成するため、撮像素子からの１回の信号読み
   出しを行い、再生出画範囲が固定である通常の撮影モードの他に、撮像素子上の
   被写体結像位置を移動させ、複数回の信号読み出しを行い、これに適した信号処
   理を行うことにより、再生時の出画範囲を可変としたものである。 【００３５】 すなわち、本発明に係る電子スチルカメラは、被写体像が結像される固体撮像
   素子と、この固体撮像素子上の被写体像結像位置を移動させる移動手段と、この
   移動手段による前記被写体結像位置の移動に伴って前記該固体撮像素子から静止
   画像信号を複数回読み出す信号読み出し手段と、この信号読み出し手段により読
   み出された静止画像信号のうち指示された所定の領域の静止画像信号を記録媒体
   に記録する記録手段と、前記記録媒体に記録された静止画像信号を再生する再生
   手段と、この再生手段により再生された静止画像信号を表示する表示手段とを備
   えたことを特徴とする。 【００３６】 また、撮像素子に再生モニタの出画範囲よりも広い素子を用いることにより、
   再生出画範囲を広くしてもよい。 【００３７】 （４）本発明は、第４の目的を達成するため、既出願済みの「ディジタル電子
   スチルカメラシステム」で示した撮影条件データを用いる方法を利用し、この撮
   影条件データに撮影場所を示す位置情報を加えたものである。 【００３８】 すなわち、本発明は固体撮像素子を用いて撮影した画像信号を第１の記録媒体
   に記録するカメラ部と、前記第１の記録媒体あるいは該第１の記録媒体に記録さ
   れた画像信号が複数画像分記録されている第２の記録媒体を装着して画像を再生
   する再生部とを有する電子スチルカメラにおいて、前記カメラ部は前記第１の記
   録媒体に画像を記録する際にそのときの撮影条件データを同時に記録する撮影条
   件データ記録手段を有し、前記再生部は出画したい画像に対する検索設問手段と
   、前記第１あるいは第２の記録媒体に記録されている撮影条件データを読み出し
   、前記検索設問手段からの設問データに対して該当する可能性の高い画像を前記
   撮影条件データより決定して可能性の高い画像から出画する出画手段とを有する
   ことを特徴とする。 【００３９】 （５）本発明は、第５の目的を達成するため、ディジタル画像の所定の領域に
   ついて電子的に拡大表示するための補間処理手段と、ブロック符号化による画像
   圧縮手段を具備する撮像装置において、補間処理を画像圧縮処理を行う前に行う
   こととする。また、前記のように高倍率時に拡大する領域のみを記録媒体に保存
   する手段を備えて構成されている。 【００４０】 すなわち、本発明に係る撮像装置は、固体撮像素子と、この固体撮像素子から
   出力される静止画像信号に対して画像拡大のための補間処理を施す補間処理手段
   と、この補間処理手段により補間処理された静止画像信号に対して圧縮処理を施
   す圧縮処理手段と、この圧縮処理手段により圧縮処理された静止画像信号を記録
   媒体に記録する記録手段と、前記記録媒体に記録された静止画像信号を再生する
   再生手段と、この再生手段により再生された静止画像信号を表示する表示手段と
   を備えたことを特徴とする。 【００４１】 【作用】 （１）本発明では、カラー固体撮像素子を用い、ＨＤ（高精細）モード時には
   固体撮像素子を水平走査方向、垂直走査方向、斜め方向にそれぞれ色フィルタ配
   列に適した移動を行い、合計４ポジションのデータの取り込みを行うことにより
   １枚の静止画像を得るため、高解像度化が図れる。 【００４２】 また、移動を行う期間中に電荷の蓄積を行わないため、移動によるぼけがなく
   なり、鮮明な画像を得ることができる。 【００４３】 さらには、信号処理の工夫によりＨＤモード用の信号処理回路を追加する必要
   がないため、電子スチルカメラの小型化が図れる。 【００４４】 （２）本発明では、カラー固体撮像素子を用い、文字等の二値データしか必要
   でない画像の撮影の時は二値化信号処理回路により解像度を重視した二値化処理
   を施すため、効率的なデータ量の削減ができ、かつ高解像度の二値画像が得られ
   る。 【００４５】 また、撮像モジュールを着脱可能とすることにより、目的にあった撮影が可能
   となる。 【００４６】 （３）本発明では、撮像素子の位置を移動させるか、あるいはレンズと撮像素
   子間の光路を移動させることにより、撮像素子上の被写体結像を垂直方向に移動
   させ、それぞれの位置で撮像信号を読み出すことで、通常の倍の垂直走査を得る
   。これらのうち半分の垂直走査画像信号を有効画像部分として信号処理し、記録
   媒体に記録する。記録媒体に記録された画像の水平方向の画角は、通常記録され
   る画像の２倍になる。 【００４７】 これを再生回路で再生する場合、読み出しのフレームメモリの水平方向読み出
   し位置を変更することにより、再生画像の出画範囲を水平方向に移動させること
   ができる。画像入力時に水平方向の被写体結像を移動すれば、解像度があがる。 【００４８】 また、水平画角の広い撮像素子を使用し、通常撮影の場合は中央部の画素を使
   用するが、別の撮影モードの場合は全体の画素を使用することで、水平再生画範
   囲を広げることができる。 【００４９】 （４）本発明では、電子カメラ外部で、あるいは電子カメラ内で発生した位置
   情報を他の撮影条件データとともに、撮影時に画像信号と一緒に記録媒体に記録
   する。画像再生部は、これら画像信号と一緒に記録されている撮影条件データの
   位置情報を読み出し、検索の撮影場所を問う設問の答に一番近い位置情報をもつ
   画像より、順番に出画していく。 【００５０】 （５）本発明による撮像装置は、標準撮像モードと拡大撮像モードを有し、標
   準撮像モードにおいては、撮像装置からの信号をアナログ信号処理及びアナログ
   ・ディジ タル変換を行い、ズーム処理を含まないディジタル信号処理を行った後に出力あ
   るいは記録を行う。 【００５１】 拡大撮像モードにおいては、撮像装置からの信号をアナログ信号処理及びアナ
   ログ・ディジタル変換を行い、ズーム処理を含むディジタル信号処理を行った後
   に出力あるいは記録を行う。拡大撮像モードのズーム処理部は、前記低倍率時と
   前記高倍率時においてそれぞれ別の処理を選択する。 【００５２】 低倍率時には補間処理を行った後に画像圧縮を行うことにより、画像圧縮によ
   る画質の劣化を最小限に抑えることができる。高倍率時においては拡大する領域
   のみを圧縮せずに記録媒体に出力することにより、画像圧縮による画質劣化の影
   響を受けることがない。 【００５３】 従って、低倍率・高倍率いずれにおいても画像圧縮による画質の劣化を最小限
   に抑えると共に、記録媒体へ出力される画像データ量を少くして、小容量記録媒
   体に多数の画像を記録することができる。 【００５４】 【実施例】 以下、本発明の一実施例を図面を用いて説明する。 【００５５】 図１は、本発明の第１の実施例に係る電子スチルカメラの構成を示すブロック
   図である。この図において、カラー固体撮像素子例えばＣＣＤ１は駆動回路２に
   よって駆動される圧電素子１１によって移動される。ＣＣＤ１の出力端子は同期
   信号発生回路３からの同期信号によって制御される前処理回路４及びＡ／Ｄ変換
   回路５を順次直列に介してバッファメモリ６に接続される。バッファメモリ６は
   同期信号発生回路３からの同期信号を受けるメモリコントロール回路７によって
   制御される。バッファメモリ６の出力端子は信号処理回路８を介して半導体メモ
   リ等の記録媒体９に接続される。モード切り替え回路１０の出力端子が同期信号
   発生回路３に接続される。 【００５６】 まず、上記電子スチルカメラの通常の処理について説明する。 【００５７】 モード切り替え回路１０により通常撮影モードが選択され、同期信号発生回路
   ３から出力される同期信号パルスは１フレーム分の画像信号をＣＣＤ１から読み
   出すように駆動回路２を動作させる。駆動回路２はカラーＣＣＤ１に読み出し駆
   動信号を送るとともに圧電素子１１にＣＣＤ１を移動させる駆動信号を供給する
   。カラーＣＣＤ１から読み出された画像信号は前処理回路４に入力され、前置増
   幅、ホワイトバランス、 ガンマ補正等の所定の処理が施された後、Ａ／Ｄ変換器５によりディジタル信号
   に変換され、一旦バッファメモリ６に記憶される。１フレーム分の画像データが
   バッファメモリ６に記憶されたら、ノンインターレースで処理される。カラーＣ
   ＣＤ１の読み出しがインターレースであっても画像信号をバッファメモリ６を介
   することにより、ノンインターレースで処理することが可能となる。バッファメ
   モリ６から読み出された画像信号は信号処理回路８に入力される。この信号処理
   回路８は画像信号より輝度信号及び色差信号を生成し、データ圧縮を行い、圧縮
   データを半導体メモリ等の記録媒体９に記録される。 【００５８】 カラーＣＣＤ１の色フィルタ要素が図５Ａに示すように配列される場合におけ
   る信号処理が図６の輝度／色差信号生成回路を用いて説明する。 【００５９】 バッファメモリ６から読み出された信号は、マトリクス回路１３により高域輝
   度信号ＹH 、低域輝度信号ＹL 、及び色差信号Ｒ−Ｙ、Ｂ−Ｙに変換される。マ
   トリクスの演算式は図５ＡのＧ2(Y)，3(X)画素の場合は次式のようになる。 【００６０】 ＹH ＝0.25（Ｇ1,3 ＋Ｇ2,3 ＋Ｒ1,2 ＋Ｂ2,2） （1） ＹL ＝0.30（Ｒ1,2 −Ｇ1,3）＋0.11（Ｂ2,2 −Ｇ2,3）＋Ｇ2,3 （2） Ｒ−Ｙ＝0.70（Ｒ1,2 −Ｇ1,3）−0.11（Ｂ2,2 −Ｇ2,3） （3） Ｂ−Ｙ＝−0.30（Ｒ1,2 −Ｇ1,3）＋0.89（Ｂ2,2 −Ｇ2,3） （4） また、Ｇ3,3画素の場合は次式のマトリクスとなる。 【００６１】 ＹH ＝0.25（Ｇ2,3 ＋Ｇ3,3 ＋Ｒ3,2 ＋Ｂ2,2） （5） ＹL ＝0.30（Ｒ3,2 −Ｇ3,3）＋0.11（Ｂ2,2 −Ｇ2,3）＋Ｇ3,3 （6） Ｒ−Ｙ＝0.70（Ｒ3,2 −Ｇ3,3）−0.11（Ｂ2,2 −Ｇ2,3） （7） Ｂ−Ｙ＝−0.30（Ｒ3,2 −Ｇ3,3）＋0.89（Ｂ2,2 −Ｇ2,3） （8） 以上のような処理を行うマトリクス回路１３を通った後、色差信号Ｒ−Ｙ及びＢ
   −Ｙは低域通過フィルタ（ＬＰＦ）１７及び１８により帯域制限される。輝度信
   号Ｙは、ＹL −ＹH の信号がＬＰＦ１５により帯域制限され、ＹH を加算するこ
   とにより生成される。このようにして作られた輝度信号及び色差信号は圧縮回路
   （図示せず）によりデータ圧縮がされ、記録媒体９に記録される。 【００６２】 次に、ＨＤ記録モードについて説明する。 【００６３】 図５ＢはＨＤ記録モード時のカラーＣＣＤ１のシフトの状態を示す。まず、モ
   ード切り替え回路１０によりＨＤモードが選択され、同期信号発生器３から４フ
   レーム分 の同期信号パルスが出力されるとする。最初に通常状態（シフトしない状態(１)
   ）でカラーＣＣＤ１から画像信号が読み出され、バッファメモリ６へ取り込まれ
   る。１フレーム分の画像信号の取り込みを終えたら、カラーＣＣＤ１が（２）の
   状態（水平方向にＰｘ）にシフトされる。 【００６４】 ここで、Ｐｘ及びＰｙは水平方向及び垂直方向の画素ピッチであるカラーＣＣ
   Ｄ１をシフトさせる手段は、カラーＣＣＤ１自体を圧電素子１１等でシフトさせ
   たり、図２に示す第２の実施例のようにカラーＣＣＤ１の前面に平行平板１２を
   設けて、その角度を変えることにより光路を変え、等価的にシフトさせる等種々
   の手段が考えられる。このようなシフト機構は例えば特開昭５８−１３０６７７
   号及び特開昭６０−５４５７６号に開示されている。 【００６５】 上記方法により（１）の位置から（２）の位置にシフトさせたら、カラーＣＣ
   Ｄ１から画像信号が読み出され、バッファメモリ６へ取り込まれる。同様に、（
   ３）の位置（−１／２Ｐｘ＋１／２Ｐｙ）そして（４）の位置（１／２Ｐｘ＋１
   ／２Ｐｙ）においても、カラーＣＣＤ１から画像信号が読み出され、バッファメ
   モリ６へ取り込まれる。 【００６６】 ここで、カラーＣＣＤ１の信号読み出し動作と画素ずらしとの関係について詳
   細に説明する。 【００６７】 カラーＣＣＤ１として、図７に示すようにフルライン読み出しが可能なインタ
   ーライントランスファ型ＣＣＤ（ＩＴ−ＣＣＤ）を用いて説明すると、ＣＣＤア
   レイはフォトダイオード光電変換素子４０１の列に隣接して垂直転送部４０２が
   設けられる。各光電変換素子４０１の電荷は、フィールドシフトパルスφＶ１に
   より対応する垂直転送部４０２に移され、１ラインずつ水平転送部４０３に転送
   され、パルスφＨにより出力回路４０４から電気信号として出力端子（ＯＵＴ）
   に出力される。垂直転送部４０２の他端には、電荷掃き出し部４０５が設けられ
   る。 【００６８】 このカラー固体撮像素子１の電荷の状態を図８Ａないし図８Ｅを用いて説明す
   る。図５Ｂに示すようなカラーＣＣＤ１の位置(１)(２)(３)(４)での処理を連続
   的に行おうとした場合、電荷の蓄積は図８Ａに示すようになる。ここで、カラー
   ＣＣＤ１をシフトした場合、例えば位置（１）から位置（２）へＣＣＤ１をシフ
   トしたとすると、図８Ｂに示すように移動に時間がかかり、その分、位置（２）
   での電荷の蓄積は不正確になり、ぼけた画像になる。そこで、この問題点を解決
   するために図８Ｃのように移動期間には電荷の掃き出しを行うようにする。この
   ようにすると、電荷掃き出 し後の電荷の蓄積は、図８Ｄのように移動期間を除いた期間での蓄積となるため
   、画像がぼけるような現象はなくなる。蓄積された電荷は垂直転送部４０２に転
   送され、図８Ｅに示すように１フレームの時間かかって読み出される。 【００６９】 シフトの他の例として、図９Ａないし図９Ｃに示すように、１フレーム間隔で
   画像信号を処理する方法がある。こうすると電荷の蓄積期間と移動期間をずらせ
   ることができるため、画像がぼける現象は発生しない。 【００７０】 上記実施例では、本発明がフルライン読み出し可能なＩＴ−ＣＣＤに適用する
   ことについて説明したが、インターレース読み出しのＩＴ−ＣＣＤ、フレームイ
   ンタライントランスファ型ＣＣＤ（ＦＩＴ−ＣＣＤ）等、電荷掃き出しの機能を
   有する固体撮像素子の全てに適用することが可能である。 【００７１】 以上のような（１）ないし（４）の４ポジションでの取り込みを行った時の等
   価的な画素配置が図１０Ａ及び１０Ｂに示されている。同図からわかるように、
   Ｇ色フィルタ要素は水平方向に１／２Ｐｘの画素ピッチそして垂直方向に１／２
   Ｐｙの画素ピッチで市松状に配置され、Ｒ色フィルタ要素とＢ色フィルタ要素は
   垂直方向に１／２Ｐｙの画素ピッチで２ラインおきに交互に配置される。このよ
   うに色フィルタ要素の配列と移動方向を最適に選定することにより、シフトさせ
   た等価的な画素配列も規則正しく配置させることが可能となり、ＨＤ化（高精細
   化）が図れる。 【００７２】 次に、この配列における信号処理について述べる。図１０Ａ及び１０Ｂに示す
   画素配列と通常の画素配列と比較した場合、これらは全く異なる画素配列となる
   ため信号処理も互いに異なってしまい、別の信号処理回路が必要となる。そうし
   た場合、回路規模が大きくなってしまい特に電子スチルカメラの小型化を図る場
   合に望ましくない。そこで、通常モードにおける信号処理回路を図１０Ａ及び１
   ０Ｂの固体撮像素子に並用する方法について述べる。 【００７３】 まず、４ポジションでのフレームデータはバッファメモリ６へ取り込まれるが
   、２次元のアドレスを考えた場合、フレームデータはメモリコントロール回路７
   により図１１に示すような順序でバッファメモリ６に書き込まれる。バッファメ
   モリ６の２次元アドレスの配列とＣＣＤ１の色フィルタ要素の配列（配列Ａ）と
   を比較したとき、色フィルタ要素の配列は２次元アドレスの配置を垂直２ライン
   ずつまとめた場合と等価になる。この場合の信号処理は次のように行う。 【００７４】 ｙナンバー１，３，５，…の垂直方向アドレスにおいてはｘナンバー２，４，
   ６， …の水平方向アドレスについて処理を行い、ｙナンバー２，４，６，…の垂直方
   向アドレスにおいてはｘナンバー１，３，５，…の水平方向アドレスについて処
   理を行う。Ｇ3(y)，6(x)画素の演算は次のようになる。 【００７５】 ＹH ＝0.25（Ｇ1,6 ＋Ｇ3,6 ＋Ｒ1,6 ＋Ｂ3,6） （9） ＹL ＝0.30（Ｒ1,6 −Ｇ1,6）＋0.11（Ｂ3,6 −Ｇ3,6）＋Ｇ3,6 （10） Ｒ−Ｙ＝0.70（Ｒ1,6 −Ｇ1,6）−0.11（Ｂ3,6 −Ｇ3,6） （11） Ｂ−Ｙ＝−0.30（Ｒ1,6 −Ｇ1,6）＋0.89（Ｂ3,6 −Ｇ3,6） （12） また、Ｇ4(Y)，5(X)画素の演算は次式のマトリクスとなる。 【００７６】 ＹH ＝0.25（Ｇ2,5 ＋Ｇ4,5 ＋Ｒ2,5 ＋Ｂ4,5） （13） ＹL ＝0.30（Ｒ2,5 −Ｇ2,5）＋0.11（Ｂ4,5 −Ｇ4,5）＋Ｇ4,5 （14） Ｒ−Ｙ＝0.70（Ｒ2,5 −Ｇ2,5）−0.11（Ｂ4,5 −Ｇ4,5） （15） Ｂ−Ｙ＝−0.30（Ｒ2,5 −Ｇ2,5）＋0.89（Ｂ4,5 −Ｇ4,5） （16） このように垂直方向アドレス（ｙ）がＮラインの時はそのラインと（Ｎ−２）ラ
   インのデータで、かつ同じ水平方向アドレス（ｘ）のデータを用いて演算を行う
   。こうすることにより、水平方向には１／２Ｐｘピッチで輝度信号の生成が可能
   となり、通常の２倍以上の解像度を得ることができる。また、垂直方向の解像度
   は、無彩色時の被写体はその垂直ラインの信号のみに置き替わるため、通常の２
   倍となる。 【００７７】 以上のような処理を施すことにより、ＨＤＴＶ並の画質を得ることができる。
   また、信号処理は式（１）〜（８）と比較するとわかるようにこの実施例は通常
   モードと同じ演算を行うため、バッファメモリ６からの読み出しが変わるのみで
   全く同じ信号処理回路８が使える。 【００７８】 上記説明では、図５Ａに示す配列Ａについて述べたが、図１２Ａに示す配列Ｂ
   及び図１４Ａに示す配列Ｃにおいても同様な処理が可能となる。これらの配列に
   ついて、図５Ａの配列Ａと同様に図１２Ｂ及び図１４Ｂに示すように水平走査方
   向にＰｘ、斜め方向に−１／２Ｐｘ＋１／２Ｐｙ及び１／２Ｐｘ＋１／２Ｐｙだ
   けシフトさせた時の等価的な色フィルタ要素配列が図１３Ａ及び１３Ｂ並びに図
   １５Ａ及び図１５Ｂに示されているが、図５Ａの配列の場合と全く同じになるこ
   とがわかる。これらの配列に限らず、Ｇの色フィルタを垂直方向に全ライン、Ｒ
   及びＢの色フィルタを垂直方向に１ラインおきに配置さえすれば、上記実施例が
   実現できる。 【００７９】 次に、図１６Ａに示す配列Ｄ（ＲＧＢストライプフィルタ配列）について述べ
   る。この場合のカラーＣＣＤ１のシフトは、図１６Ｂに示すように行う。すなわ
   ち、（２） は１．５Ｐｘ、（３）は１／２Ｐｙ、（４）は１．５Ｐｘ＋１／２Ｐｙけシフト
   させる。シフトさせた時に得られる等価的な色フィルタ要素の配列（図１７）を
   見るとわかるように、ＲＧＢストライプ配列となるため、信号処理回路８は先の
   実施例と全く同じになり、解像度は水平方向及び垂直方向ともに通常のものの２
   倍となる。 【００８０】 図１８Ａに示された配列Ｄにおける水平解像度をさらに上げる方式について述
   べる。図１８Ｂに示すように水平走査方向に１．５Ｐｘ(２)、斜め方向に−３／
   ４Ｐｘ＋１／２Ｐｙ(３)、及び３／４Ｐｘ＋１／２Ｐｙ（４）だけシフトさせる
   。図１８Ｂに示すように移動させた時に得られる等価配列（図１９）からわかる
   ように、この実施例は水平解像度のさらなる増加が望める。 【００８１】 バッファメモリ６を設けることにより、次のようなシステムも考えられる。バ
   ッファメモリ６の容量はＨＤモード用にカラーＣＣＤ１の画素数の４倍の容量が
   必要であるため、通常撮影時には、このバッファメモリ６を有効に利用するため
   、上記実施例の電子スチルカメラは高速連写用として使用できる。 【００８２】 図３に示される第３の実施例によると、カラーＣＣＤ１からの連続的な画像信
   号がバッファメモリ６のＢＭ１、ＢＭ２、ＢＭ３及びＢＭ４のメモリ領域に連続
   的に記憶される。バッファメモリ６に記憶された４枚の連続的な画像データはＢ
   Ｍ１から読み出しが行われ、ディジタルの信号処理が施された後、記録媒体９へ
   記録される。 【００８３】 同様に、メモリ領域ＢＭ２、ＢＭ３及びＢＭ４に記憶された画像データもメモ
   リ領域ＢＭ１に記憶された画像データと同様な処理を受ける。すなわち、１枚の
   画像の記録時間は信号処理時間または記録媒体９への記録時間等により制限を受
   けてしまい、高速の連写は難しい。そこで、バッファメモリ６に高速で数枚の画
   像を取り込み、その後、信号処理を行い記録媒体９へ書き込む。こうすることに
   より、信号処理時間等の制限がなくなり、連写の高速化が図れる。 【００８４】 上記第３の実施例では、ＨＤモード用にバッファメモリ６を設ける場合につい
   て述べたが、他の実施例としてバッファメモリ６を設けないシステムが考えられ
   る。 【００８５】 図４を参照して上記のようなシステムを第４の実施例として説明する。 【００８６】 まず、カラーＣＣＤ１のポジションが（１）の状態で画像信号の読み出しが行
   われる。読み出された信号は前処理回路４で所定の処理が施され、Ａ／Ｄ変換器
   ５によりディジタル値に変換される。ディジタル値に変換された信号はディジタ
   ル信号処理回 路８を介さず、色フィルタ要素の配列そのままの状態で記録媒体９に記録される
   。ポジション(２)(３)(４)においても、同様な処理がなされる。記録媒体９に４
   ポジションの撮像データが記録されたら、再生機により映像信号が生成される。
   このようにバッファメモリ６を設けなくてもＨＤモードの記録ができる。 【００８７】 次に、図６の信号処理回路及び図２０ないし図２２のフィルタ要素配列パター
   ン及び図２３ないし図２６を参照して図２の実施例における信号処理の他の例を
   説明する。 【００８８】 図６に示すディジタル信号処理回路において、バッファメモリ８から読み出さ
   れた信号はマトリックス回路１３により高域輝度信号ＹH 、低域輝度信号ＹL 、
   色差信号Ｒ−Ｙ，Ｂ−Ｙに変換される。このマトリックス回路１３におけるマト
   リックス演算式は図２３に示される画素Ｗ2(Y)，3(x)に対しては次のように表さ
   れる。 ＹH ＝(2/3Ｓ W2,3 +2/3Ｓ W1,3 + ＳYe1,2 + ＳCy2,2)/8=0.29R+0.42G+0.29B （17） ＹL ＝α１(ＳYe1,2 -2/3Ｓ W1,3)+β１(ＳCy2,2 -2/3Ｓ W2,3)+1/3S W2,3 （18） Ｒ−Ｙ＝α２(ＳYe1,2 -2/3Ｓ W1,3)+β2(ＳCy2,2 -2/3Ｓ W2,3) （19） Ｂ−Ｙ＝α３(ＳYe1,2 -2/3Ｓ W1,3)+β3(ＳCy2,2 -2/3Ｓ W2,3) （20） また、マトリックス演算式は画素Ｗ3(Y)，3(X)に対しては次のように表される。 ＹH ＝(2/3Ｓ W3,3 +2/3Ｓ W2,3 + ＳYe3,2 + ＳCy2,2)/8=0.29R+0.42G+0.29B （21） ＹL ＝α１(ＳYe3,2 -2/3Ｓ W1,3)+β１(ＳCy2,2 -2/3Ｓ W2,3)+1/3S W2,3 （22） Ｒ−Ｙ＝α２(ＳYe3,2 -2/3Ｓ W1,3)+β２(ＳCy2,2 -2/3Ｓ W2,3) （23） Ｂ−Ｙ＝α３(ＳYe3,2 -2/3Ｓ W1,3)+β３(ＳCy2,2 -2/3Ｓ W2,3) （24） ここで、Ｓ Wy,x，ＳYey,x，ＳCyy,xは水平アドレス（Ｘ）及び垂直アドレス（
   Ｙ）の出力信号を表し、Ｓw＝Ｒ＋Ｇ＋Ｂ、Ｓye＝Ｒ＋Ｇ、Ｓcy＝Ｇ＋Ｂとみな
   し、Ｒ，Ｇ，Ｂを１に正規化して示されている。また、α１、α２、α３、β１
   、β２及びβ３はマトリックス係数である。 【００８９】 以上のようなマトリックス回路１３を通った後、色差信号Ｒ−Ｙ及びＢ−Ｙは
   低域通過フィルタ（ＬＰＦ）１７及び１８により帯域制限される。輝度信号Ｙは
   ＹL −ＹH の信号をＬＰＦ１５により帯域制限し、その信号にＹH を加算するこ
   とにより生成される。このようにして生成された輝度信号及び色差信号は圧縮回
   路（図示せず）によりデータ圧縮され、記録媒体９に記録される。 【００９０】 次に、ＨＤ記録モードを説明する。 【００９１】 図２４はＨＤ記録モード時のカラーＣＣＤ１のシフト状態を示している。まず
   、モード切り替え部１０によりＨＤモードが選択されると、同期信号発生器３か
   ら４フレーム分の同期信号パルスが出力される。最初に通常状態（シフトしない
   状態(１)）にてカラーＣＣＤ１から画像信号が読み出され、バッファメモリ６へ
   書き込まれる。１フレーム分の画像信号がバッファメモリ６に書き込まれたとき
   、カラーＣＣＤ１は状態(２)（水平方向にＰｘ）にシフトされる。なお、Ｐｘ及
   びＰｙは水平方向及び垂直方向の画素ピッチを表す。シフトさせる手段は、第１
   の実施例で述べている様にカラーＣＣＤ１自体をシフトさせたり、光路を変えた
   りして実現できる。 【００９２】 上記の方法により位置（２）に画素をシフトさせたときにカラーＣＣＤ１から
   画像信号が読み出され、バッファメモリ６に書き込まれる。同様に（３）の位置
   （−１／２Ｐｘ＋１／２Ｐｙ）及び（４）の位置（１／２Ｐｘ＋１／２Ｐｙ）に
   おいてもカラーＣＣＤ１から画像信号が読み出され、バッファメモリ６に書き込
   まれる。このようにして４つの位置において得られた画像信号は等価的には図２
   ６Ａ及び２６Ｂに示すように配置された画素から得られた信号となる。この方法
   を図２０に示された色フィルタに適用した場合の等価配列が図２５Ａ及び図２５
   Ｂに示されている。すなわち、図２５Ａはフィルタ要素Ｆ１の等価配列を示し、
   図２５Ｂはフィルタ要素Ｆ２及びＦ３の等価配列を示している。 【００９３】 図からわかるように水平方向には全ての色フィルタ要素が１／２Ｐｙの画素ピ
   ッチで配列されており、垂直方向にはＷが１／２Ｐｙの画素ピッチで配列される
   。Ｙｅ及びＣｙの成分は１／２Ｐｙの画素ピッチで２ラインおきに交互に配置さ
   れている。 【００９４】 次に、上記配列における信号処理の一例を説明する。 【００９５】 ｙナンバー１、３、５、…の垂直方向アドレスにおいては、ｘナンバー１、３
   、５、…の水平方向アドレスにおける画素信号の処理が行われ、ｙナンバー２、
   ４、６、…の垂直方向アドレスにおいてはｘナンバー２、４、６、…の水平方向
   アドレスにおける画素信号の処理が行われる。 【００９６】 例えば、画素Ｗ5(Y)，3(X)の演算は次のように行われる。 ＹH ＝(2/3Ｓ W5,3 +2/3Ｓ W3,3 + ＳYe5,3 + ＳCy3,3)/8=0.29R+0.42G+0.29B （25） ＹL ＝α１(ＳYe5,3 -2/3Ｓ W5,3)+β１(ＳCy3,3 -2/3Ｓ W3,3)+1/3Ｓ W5,3 （26） Ｒ−Ｙ＝α２(ＳYe5,3 -2/3Ｓ W5,3)+β２(ＳCy3,3 -2/3Ｓ W3,3) （27） Ｂ−Ｙ＝α３(ＳYe5,3 -2/3Ｓ W5,3)+β３(ＳCy3,3 -2/3Ｓ W3,3) （28） また、マトリックス演算式は画素Ｗ4(Y)，4(X)に対しては次のように表される。 ＹH ＝(2/3Ｓ W4,4 +2/3Ｓ W2,4 + ＳYe2,4 + ＳCy4,4)/8=0.29R+0.42G+0.29B （29） ＹL ＝α１(ＳYe2,4 -2/3Ｓ W2,4)+β１(ＳCy4,4 -2/3Ｓ W4,4)＋1/3Ｓ W4,4 （30） Ｒ−Ｙ＝α２(ＳYe2,4 -2/3Ｓ W2,4)+β２(ＳCy4,4 -2/3Ｓ W4,4) （31） Ｂ−Ｙ＝α３(ＳYe2,4 -2/3Ｓ W2,4)+β３(ＳCy4,4 -2/3Ｓ W4,4) （32） ここで、Ｓ Wy,x，ＳYey,x，ＳCyy,xはシフト後の等価配列における水平アドレ
   ス(ｘ)，垂直アドレス（ｙ）の出力信号を表す。 【００９７】 このように垂直アドレス（ｙ）がＮラインの時はそのラインと（Ｎ−２）ライ
   ンのデータであり、かつ同じ水平アドレス（ｘ）のデータを用いて演算が行われ
   る。こうすることにより水平方向には、１／２Ｐｘピッチで輝度信号が生成でき
   、通常のものの２倍以上の解像度が得られる。また、垂直方向の解像度は、無彩
   色時の被写体はその垂直ラインの信号のみに置き変わるため通常のものの２倍の
   解像度が得られる。 【００９８】 また、有彩色被写体の場合、赤色(Ｒ)，緑色（Ｇ）及び青色（Ｂ）の全成分を
   含んでいる白色（Ｗ）を全ラインに配置しているので、原色フィルタ配列よりも
   色偽信号の発生が少ない。 【００９９】 図２１に示されるフィルタ要素配列の色フィルタが図２４に示されるシフトパ
   ターンに従って移動されると、図２５Ａ及び図２５Ｂに示される等価配列が得ら
   れる。この等価配列は図２０の色フィルタと全く同じ配列になるため図２０の色
   フィルタと同様に高精細なカラー画像が得られる。 【０１００】 図２２に示される色フィルタ要素配列の場合、図２７に示されたシフトパター
   ンに従って垂直方向にＰｙ、斜め方向に（１／２Ｐｘ−１／２Ｐｙ）及び（１／
   ２Ｐｘ＋１／２Ｐｙ）にシフトがなされる。このシフトにより得られる等価配列
   は図２８Ａ及び図２８Ｂに示されている。この配列は、色フィルタ要素Ｆ１が水
   平及び垂直に１／２画素ピッチで市松状に配置され、フィルタ要素Ｆ２及びＦ３
   が垂直方向には１／２画素ピッチで全ラインに、また水平方向に２列毎に交互に
   配置された形となる。すなわち、この配列は図２５Ａ及び図２５Ｂに示された配
   列を横にした時の配列と同じである。従って、信号処理は水平及び垂直を入れ換
   えて演算すれば、図２５Ａ及び図２ ５Ｂと同様なマトリックスで高精細なカラー画像を得ることができる。なお、図
   ２４に示されたシフトパターンは図２１の色フィルタ要素配列にも適用できる。 【０１０１】 上記の説明では、Ｗ，Ｙｅ，Ｃｙの色フィルタ要素配列について述べられてい
   るが、この配列に限らず補色フィルタを含む配列として次のような配列の色フィ
   ルタにこの発明は適用できる。 【０１０２】 すなわち、図２９に示されるような（Ｆ１：Ｇ(緑色)、Ｆ２：Ｒ(赤色)、Ｆ３
   ：Ｃｙ(シアン色)）の色フィルタ、図３０に示すような（Ｆ１：Ｇ(緑色)、Ｆ２
   ：Ｙｅ(黄色)、Ｆ３：Ｃｙ(シアン色)）の色フィルタ及び図３１に示すような（
   Ｆ１：Ｙ(輝度)、Ｆ２：Ｒ(赤色)、Ｆ３：Ｂ(青色)）の色フィルタにこの発明は
   適用できる。 【０１０３】 なお、Ｙ（輝度）は輝度の分光透過特性を持つフィルタ要素を示す。 【０１０４】 上記のような補色フィルタを含む配列でも、シフトパターンの最適化により高
   精細のカラー画像を得ることができる。 【０１０５】 他の実施例として、図３２に示す４色（Ｙｅ(黄色)、Ｃｙ(シアン色)、Ｍｇ(
   マゼンタ色)、Ｇ(緑色)）の色フィルタ要素を用いた場合の高精細化について説
   明する。まず、通常モード時の輝度信号(Ｙ)、色差信号（Ｒ−Ｙ，Ｂ−Ｙ）は例
   えば以下のような演算に基づいて生成される。 【０１０６】 すなわち、画素Ｍg2(Y),3(X)は次式に基づいて生成される。 【０１０７】 Ｙ＝(２Ｓ G2,2 ＋ＳMg2,3)／４＝0.25Ｒ＋0.5 Ｇ＋0.25Ｂ （33） Ｒ−Ｙ＝α１(Ｓcy1,2 −ＳYe1,3)＋β１(ＳMg2,3 −２Ｓ G2,2) （34） Ｂ−Ｙ＝α２(ＳCy1,2 −ＳYe1,3)＋β２(ＳMg2,3 −２Ｓ G2,2) （35） また、画素Ｙｅ3(Y),3(X)は次式に基づいて生成される。 【０１０８】 Ｙ＝(ＳYe3,3 ＋ＳCy3,2)／４＝0.25Ｒ＋0.5 Ｇ＋0.25Ｂ （36） Ｒ−Ｙ＝α１(ＳCy3,2 −ＳYe3,3)＋β１(ＳMg2,3 −２Ｓ G2,2) （37） Ｂ−Ｙ＝α２(ＳCy3,2 −ＳYe3,3)＋β２(ＳMg2,3 −２Ｓ G2,2) （38） ＳYeY,X、ＳCyY,X、ＳMgY,X及びＳGY,Xは水平アドレス（Ｘ）及び垂直アドレス
   （Ｙ）に対応する出力信号を表し、ＳYe＝Ｒ＋Ｇ、Ｓcy＝Ｇ＋Ｂ、ＳMg＝Ｒ＋Ｂ
   とみなし、Ｒ，Ｇ，Ｂを１に正規化して示されている。また、α１、α２、β１
   及びβ２はマト リックス係数である。 【０１０９】 次に、ＨＤ記録モードを説明する。 【０１１０】 図３３はＨＤ記録モード時のカラー固体撮像素子１のシフト状態を示している
   。まず、モード切り替え部１０によりＨＤモードが選択されると、同期信号発生
   器３から４フレーム分の同期信号パルスが出力される。最初に通常状態（シフト
   しない状態(１)）にてカラーＣＣＤ１から画像信号が読み出され、バッファメモ
   リ６へ書き込まれる。１フレーム分の画像信号がバッファメモリ６に書き込まれ
   たとき、（２）の位置(水平方向にＰｘ)、（３）の位置（−１／２Ｐｘ＋１／２
   Ｐｙ）及び（４）の位置（１／２Ｐｘ＋１／２Ｐｙ）へのシフトにおいて、それ
   ぞれの位置で画像信号が読み出され、バッファメモリ６に書き込まれる。 【０１１１】 上記の４つの位置において得られた画像信号は等価的には図３４に示すように
   配置された画素から得られた信号となる。ここで、図３４において、ＦａはＹｅ
   （黄色）及びＣｙ（シアン色）の色フィルタ要素に相当し、ＦｂはＧ（緑色）及
   びＭｇ（マゼンタ色）の色フィルタ要素に相当する。図からわかるように水平方
   向にはすべての色フィルタ要素が１／２Ｐｘの画素ピッチで配列されており、垂
   直方向には１／２Ｐｙの画素ピッチでＹｅ及びＣｙのラインとＧ及びＭｇのライ
   ンが２ラインおきに交互に配列される。Ｒ，Ｇ，Ｂの成分で考えると、Ｆａ及び
   Ｆｂとも全成分が含まれているので、すべての成分が水平及び垂直とも１／２画
   素ピッチで配列されることになる。従って、高精細化が図れる。 【０１１２】 次に、上記配列における信号処理の一例を説明する。 【０１１３】 ｙナンバー１、３、５、…の垂直方向アドレスにおいては、ｘナンバー１、３
   、５、…の水平方向アドレスにおける画素信号の処理が行われ、ｙナンバー２、
   ４、６、…の垂直方向アドレスにおいてはｘナンバー２、４、６、…の水平方向
   アドレスにおける画素信号の処理が行われる。 【０１１４】 画素Ｆa5(Y),3(X)の演算は次のように行われる。 【０１１５】 Ｙ＝(ＳYe5,3 ＋ＳCy5,3)／４＝0.25Ｒ＋0.5 Ｇ＋0.25Ｂ （39） Ｒ−Ｙ＝α１(Ｓcy5,3 −ＳYe5,3)＋β１(ＳMg3,3 −２Ｓ G3,3) （40） Ｂ−Ｙ＝α２(ＳCy5,3 −ＳYe5,3)＋β２(ＳMg3,3 −２Ｓ G3,3) （41） また、画素Ｆb4(Y),4(X)の演算は次式に基づいて行われる。 【０１１６】 Ｙ＝（２Ｓ G4.4 ＋ＳMg4.4）／４＝0.25Ｒ＋0.5 Ｇ＋0.25B （42） Ｒ−Ｙ＝α１（ＳCy2,4 −ＳYe2,4）＋β１（ＳMg4,4 −２Ｓ G4,4）（43） Ｂ−Ｙ＝α２（ＳCy2,4 −ＳYe2,4）＋β２（ＳMg4,4 −２Ｓ G4,4）（44） 上記のように輝度信号生成においては、１ラインで、かつ１／２Ｐｘピッチでの
   生成が可能であるため水平及び垂直の解像度が通常の解像度の２倍程度に向上す
   る。ただし、式を見ると解るように垂直低域成分においては（ＳCy＋ＳYe）と（
   ２ＳG＋ＳMg）が等しくなければ、輝度信号のラインクロールの発生が考えられ
   るので、補正が必要となる。この補正は次のように行われる。すなわち、撮像素
   子から読み出される信号（ＳYe、ＳCy、２ＳG、ＳMg）のホワイトバランスをと
   った場合、無彩色被写体の時は輝度信号の演算式である式（３９）及び式（４２
   ）が等しいためラインクロールは発生しない。輝度信号のラインクロールの発生
   が考えられるのは、有彩色被写体を写した場合、すなわち（Ｒ−Ｙ≠０またはＢ
   −Ｙ≠０）の場合である。従って、例えば、補正テーブルを設け、この色差信号
   （Ｒ−Ｙ，Ｂ−Ｙ）の信号の大きさによって輝度信号のライン間の補正量を決め
   、輝度信号に補正をかけることによりラインスクロールの発生が抑制される。 【０１１７】 次に、図３５に示すようなシフトを行った場合の実施例を説明する。 【０１１８】 先の実施例と同様な方法で水平方向にＰｘだけシフト(２)、斜め方向に−１／
   ２Ｐｘ＋Ｐｙだけシフト（３）そして１／２Ｐｘ＋Ｐｙのシフト（４）が行われ
   る。その時の等価色フィルタ要素配列が図３６に示されている。水平方向に１／
   ２画素ピッチ、垂直方向に１画素ピッチでＣｙとＹｅの画素並びにＧとＭｇの画
   素が市松状に配列される。この場合の信号処理、すなわち低域輝度信号ＹL ，高
   域輝度信号ＹH 及び色差信号Ｒ−Ｙ並びにＢ−Ｙの生成が例えば次のように行わ
   れる。 【０１１９】 画素Ｆa5(Y),3(X)の演算は次のように行われる。 【０１２０】 ＹL =(ＳYe5,3 + ＳCy5,3 + ＳMg5,2 +2SG 5,2)/8=0.25R+0.5G+0.25B（45） ＹH =(ＳYe5,3 + ＳCy5,3 + ＳMg3,3 +2SG 3,3)/8=0.25R+0.5G+0.25B（46） Ｒ−Ｙ＝α１（ＳCy5,3 −ＳYe5,3）＋β１（ＳMg3,3 −２Ｓ G3,3）（47） Ｂ−Ｙ＝α２（ＳCy5,3 −ＳYe5,3）＋β２（ＳMg3,3 −２Ｓ G3,3）（48） また、画素Ｆb5(Y),4(X)の演算は次式に基づいて行われる。 【０１２１】 ＹL =(ＳYe5,3 + ＳCy5,3 + ＳMg5,4 +2SG 5,4)/8=0.25R+0.5G+0.25B（49） ＹH =(ＳYe3,4 + ＳCy3,4 + ＳMg5,4 +2SG 5,4)/8=0.25R+0.5G+0.25B（50） Ｒ−Ｙ＝α１（ＳCy3,4 −ＳYe3,4）＋β１（ＳMg5,4 −２Ｓ G5,4）（51） Ｂ−Ｙ＝α２（ＳCy3,4 −ＳYe3,4）＋β２（ＳMg5,4 −２Ｓ G5,4）（52） 上式より水平方向の高域輝度信号はYHとなり、１／２Ｐｘピッチで輝度信号が生
   成できるので、通常の解像度の２倍程度の解像度が得られる。垂直方向の低域輝
   度信号はＹL の式で表され、１ラインで生成されるが、等価配列が図３６に示さ
   れるようにＰｙピッチであるため水平方向ほどの解像度の改善効果はない。ただ
   し、ラインクロールが発生しないためライン間の輝度信号を補正する必要がない
   。 【０１２２】 このように単板補色方式においてもシフトパターンの最適化により高精細化が
   可能となる。 【０１２３】 上記実施例の説明では、図３２に示す色フィルタ要素配列について説明したが
   、この配列に限らず、図３７ないし図３９に示された配列においても先の実施例
   のシフトによって得られる等価配列と全く同じ等価配列が得られる。 【０１２４】 これまでの実施例では、４つの位置でのデータが取り込まれることにより高精
   細化が図られているが、さらなる高精細化を図るシステムの実施例を以下に説明
   する。 【０１２５】 先の実施例で述べた方法では、例えば図２５Ａ及び２５Ｂに示す等価配列のよ
   うに４画素につき２画素を割り当てている色フィルタ要素Ｆ１は水平及び垂直に
   １／２画素ピッチで市松状に配列できるが、１画素を割り当てている色フィルタ
   要素Ｆ２及びＦ３は垂直方向に２ライン（シフト後のライン）置きに配置される
   ため、それぞれに不感画素（ｉｎｓｅｎｓｉｂｌｅ ｐｉｘｅｌ ？）のライン
   が発生する。これにより、色偽信号（ｆａｌｓｅ ｃｏｌｏｒ ｓｉｇｎａｌ）
   が発生する問題が生じる。このような問題を解決するためにこの実施例は図４０
   に示すようなパターンのシフトを行う。図４０において、位置(１)、(２)、(３)
   及び(４)での画像信号の取り込みは先の実施例における４つの位置での信号取り
   込みと同じである。この場合、シフトの軸は水平方向にＰｘだけのシフト位置（
   (２)の位置）と斜め方向に−１／２Ｐｘ＋１／２Ｐｙだけのシフト位置（(３)の
   位置）の２軸で４つの位置のシフトが実現できる。(４)の位置は上記２軸の合成
   で実現できる。この実施例は上記２つの軸にさらに１軸が追加される。この実施
   例では、垂直方向にＰｙだけシフトする位置、すなわち（５）の位置のためのシ
   フト軸が追加される。この軸の追加により追加のシフトパターン（５）Ｐｙ，（
   ６）Ｐｙ＋(Ｐｘ)，(７)Ｐｙ＋（−１／２Ｐｘ＋１／２Ｐｙ）及び（８）Ｐｙ＋
   （１／２Ｐｘ＋１／２Ｐｙ）が実現できる。このように８つの位置でシフトを行
   った場合に得られる等価配列が図４２に示されている。この等価配列の色フィル
   タＦはＦ１，Ｆ２及びＦ３の全ての色フィルタ要素を表している。色フィル タ要素Ｆ１に関しては重複する画素が発生するが、重複するデータは取り込んで
   も、取り込まなくてもよい。図から解るように３色（Ｆ１，Ｆ２及びＦ３）全て
   が水平及び垂直に１／２画素ピッチで市松模様に配列されているため、カラー生
   成のための演算を画素単位で実現でき、処理が簡単で４ポジションのスイングに
   より色偽信号の発生が少ない高精細のカラー画像が得られる。図４２に示される
   等価配列は図２０及び図２１に示される色フィルタ要素の配列を図４０のシフト
   パターンに従ってフィルタ要素をシフトしたときに得られる配列と同じであるが
   、これらの配列に限らず、図４２に示される配列（Ｆ１をＧ(緑色)、Ｆ２をＲ（
   赤色）及びＦ３をＢ（青色）とすると、電子スチルカメラで最も画質が良いとさ
   れているＧストライプ−Ｒ／Ｇ完全市松模様配列のように２行４列を基本単位と
   する配列全てにこの実施例は適用できる。 【０１２６】 同様に図２２（図２１）に示される配列は図４１に示すように８つの位置にフ
   ィルタ要素をスイングすることにより、図４２に示される等価配列が得られる。
   この場合もこの配列に限らず、図４４に示すように４行２列を基本単位とする全
   ての配列にこの実施例が適用できる。また、３色で構成されている色フィルタ配
   列に限らず、図３２に示すＹｅ、Ｃｙ、Ｍｇ、Ｇモザイク配列にもこの実施例は
   適用できる。 【０１２７】 上記の説明のように、画像データの取り込み時間の制約が少ければ、８ポジシ
   ョンへのシフトによってさらに高精細化が実現できる。 【０１２８】 図４５に示す実施例は、文字などの白黒被写体を高解像度で色モアレが発生し
   ない高画質の画像が得られる電子スチルカメラである。この実施例によると、カ
   ラー固体撮像素子（ＣＣＤ）３１が駆動回路３２に接続され、ＣＣＤ３１の出力
   端子は前処理回路３４及びＡ／Ｄ変換器３５を介して信号処理回路３６Ａ及び３
   ６Ｂに選択的に接続される。信号処理回路３６Ａ及び３６Ｂの出力端子は半導体
   メモリ等の記録媒体３７に結合される。水晶光学フィルタ３８Ａ及び３８Ｂは駆
   動回路３２により駆動され、ＣＣＤ３１の前部に選択的に配置される。同期信号
   発生回路（ＳＧ）３３はモード切り替え部３９からのモード選択信号を受け、駆
   動回路３２、前処理回路３４及びＡ／Ｄ変換器３５に同期信号を供給する。 【０１２９】 まず、図４５の電子スチルカメラの通常の処理について説明する。モード切り
   替え部３９により通常撮影モードが選択されると、色フィルタ配列に起因する色
   モワレを減少させるためのフィルタである水晶光学フィルタ３８ＡがカラーＣＣ
   Ｄ３１の前面にセットされる。カラーＣＣＤ３１より読み出された信号は前処理
   回路３４により前置増幅、ホワイトバランス、ガンマ補正等の所定の処理が施さ
   れた後、Ａ／Ｄ変換器３５によりディジタル信号に変換され、信号処理回路３６
   Ａに入力される。この信号 処理回路３６Ａは画像信号から輝度色差信号を生成し、データ圧縮を行い、圧縮
   データをメモリカード等の記録媒体３７に送る。 【０１３０】 次に、白黒撮影モードについて説明する。モード切り替えにより白黒撮影モー
   ドが選択されると、カラー固体撮像素子３１を白黒撮像素子とみなしたとき、画
   素のサンプリングによる折り返し雑音を抑圧するためのフィルタである水晶光学
   フィルタ３８ＢがカラーＣＣＤ３１の前面にセットされる。 【０１３１】 カラー固体撮像素子３１より読み出された信号は前処理回路３４により、所定
   の処理が施された後、Ａ／Ｄ変換器３５によりディジタル信号に変換され、信号
   処理回路３６Ｂに入力される。ここでは二値化処理を行う。いま、カラーＣＣＤ
   １の色フィルタ配列が図４６に示す配列Ｅであるとする。このカラーＣＣＤ１を
   白黒モードで使う場合の等価配列を図４７に示されている。ここで、ＷG，ＷR，
   ＷBは色フィルタＲ，Ｇ，Ｂをホワイトの画素とみなしていることを意味する。
   被写体が白黒で前処理回路３４でのホワイトバランスがとれていれば、ＷG，ＷR
   ，ＷBの信号レベルはＡ／Ｄ変換される前で等しいので、信号処理回路３６Ｂで
   の二値化処理の閾値レベルはＲ，Ｇ，Ｂとも同じ値で良い。 【０１３２】 次に、Ｒ，Ｇ，Ｂのホワイトバランスがとれていない場合、またはホワイトバ
   ランスをとらない状態で二値化する場合、Ｒ，Ｇ，Ｂそれぞれの値を調べ二値化
   処理の閾値レベルが別々に設定される。 【０１３３】 次に、図４８を参照して図４５に関連する他の実施例を説明する。この実施例
   によると、光学レンズ４０、水晶光学フィルタ４１及びカラー固体撮像素子４２
   からなる第１撮像モジュールから出力される撮像信号は前処理回路３４により前
   置増幅、ホワイトバランス、ガンマ補正等の処理が行なわれた後、Ａ／Ｄ変換器
   ３５によりディジタル値に変換され、信号処理回路３６Ａにより輝度信号、色差
   信号の生成及びデータ圧縮が行われ、半導体メモリ等の記録媒体３７に記録され
   る。 【０１３４】 ここで、第１撮像モジュールは電子スチルカメラに着脱可能であり、第２撮像
   モジュールとの交換ができる。例えば画像は白黒で良く、解像度を重視したいよ
   うな撮影の場合に第２撮像モジュールを用いる。この第２撮像モジュールは光学
   レンズ４３、水晶光学フィルタ４４及び白黒固体撮像素子４５からなり、この第
   ２撮像モジュールから出力される画像信号は前処理回路３４により所定の処理が
   施された後にＡ／Ｄ変換器３５によりディジタル値に変換され、信号処理回路３
   ６Ｂにより白黒用の処理がなされ、記録媒体３７に記録される。この第１撮像モ
   ジュールのカラー固体撮像素子 ４２の画素数と第２撮像モジュールの白黒固体撮像素子４５の画素数を同じにす
   れば、駆動回路３２及び同期信号発生器３３は全く同じ回路で良い。 【０１３５】 このように撮像モジュールを電子スチルカメラから取り外しできるようにする
   ことにより、目的にあった撮像が可能になる。また、駆動回路３２及び信号発生
   器３３も撮像モジュールに含ませることにより、撮影モジュールは画素数が異な
   る固体撮像素子（例えばＨＤ用固体撮像素子）の撮像モジュールとの交換も可能
   になる。 【０１３６】 次に、図４９を参照して、再生画像の出画範囲を標準ＴＶモニタより広く再生
   できる電子スチルカメラシステムの使用方法とシステムの概念を以下に説明する
   。 【０１３７】 同図には、メモリカード５１を記録媒体として使用する再生機能を持つディジ
   タル電子スチルカメラ５０及び撮影した被写体が通常のＴＶモニタ５４に再生さ
   れている様子が示されている。従来の電子カメラシステムの出画範囲は固定であ
   ったが、本発明のシステムでは点線の部分が出画可能な再生画像の範囲である。
   操作者は再生ボタン５２と方向指示ボタン５３を操作し、この出画可能範囲内に
   おいて、水平方向に出画範囲を変えることができる。以下、この出画方法をパノ
   ラマモードと呼ぶ。 【０１３８】 次に、パノラマの再生が可能にならしめる撮影方法について説明する。図１あ
   るいは図２で示した様な方法を用いて被写体の結像画像が垂直方向画素ピッチの
   １／２の位置で信号を読み込むことにより垂直方向は見かけ上、通常のカメラの
   画素数の２倍の画素数となる。 【０１３９】 このときの撮影画像の例が図５１に示されている。通常、ＴＶモニタ５４の有
   効垂直画素数がＮｖであるとして、図５１は２Ｎｖの垂直画素数を持つ。この図
   ５１の任意の垂直方向の半分を有効画像として信号処理を行い、記録媒体、例え
   ばメモリカード５１に記録する。図５１の例では、斜線ではない部分が選択され
   ている。このようにして、図４９のような水平方向に出画範囲の広がる領域を持
   つ記録画像を得ることができる。 【０１４０】 次に、再生手段について説明する。図５３は電子カメラ５０の再生部７０のブ
   ロック図である。メモリカード５１内に記録された静止画データは、カードとカ
   メラとのインターフェース（ＩＦ）７１を介して電子カメラ５０の静止画再生部
   へ転送される。データは、ディジタルの再生信号処理回路７２を経て、出画メモ
   リ回路７３へ記録される。出画メモリ回路７３の出力データはＤ／Ａコンバータ
   ７４でアナログ信号となり、アナログ信号処理部７５を経てモニタ５４に出力さ
   れる。 【０１４１】 ここで、通常モニタ画像を出力する際の出力レートをｆｓ、このときの水平方
   向の出画画素数を図５４のようにＮｈとする。パノラマモード画像に必要な水平
   有効画豫はＮｈの２倍となる。パノラマ撮影時の水平入力画素はＮｈであり、こ
   れをｆｓのレートで出力してしまうと、正しい出力画像が得られない。アスペク
   トのあった正しい画像出力のためには、ｆｓ／２のレートで出力再生するか、あ
   るいは図５５の出画メモリ回路７３に示すように、出画メモリ７８の後段に水平
   補間回路７９を設け、有効データを補間により補って、ｆｓのレートで出力する
   。図５９はこのときの出画メモリ７８のアドレス空間の一例を表しており、出画
   メモリ７８は横Ｎｈ×縦Ｎｖの画素分の容量を必要とする。図５９の斜線部は、
   選択されて出画しているメモリ部分の例を示している。 【０１４２】 この例では、出画可能範囲のほぼ真ん中の画像部が選択されており、操作者は
   、図４９に示される方向指示ボタン５３の左右方向を選択して、出画像範囲を移
   動させることができる。操作者の出画方向の選択は、図５５の出画メモリ回路７
   ３のアドレスを発生する水平アドレスカウンタ７６に伝わり、出画メモリ７８の
   水平アドレスのスタートアドレスを変えることで可能となる。る。 【０１４３】 図５６は、出画メモリ７８の前に水平補間回路７９を置いた例である。このと
   き出画メモリ７８のメモリ容量は図６０のように水平方向が通常の２倍必要にな
   る。 【０１４４】 以上、垂直方向の画素数を倍に増やした実施例を説明した。 【０１４５】 次に、垂直方向と同様にして、水平方向の画素数も増やした場合について説明
   する。これにはＨＤ記録モードを用いれば良い。図５１の例では、縦は２Ｎｖ画
   素そして横はＮｈ画素の入力であったが、本実施例では、縦が２Ｎｖ画素そして
   横が２Ｎｈ画素の入力となる。このうち、縦の半分の画素を選択し、信号処理を
   経た上で記録媒体に記憶する。記録媒体上の画像データは、図５７の出画メモリ
   回路７３を持つ再生部で再生される。このときの出画メモリ７８のアドレス空間
   は図６０と同じである。 【０１４６】 次に、出画メモリ７８の容量を減じることができる別の出画メモリアドレス空
   間の例を図６１に示す。出画メモリ７８は縦がＮｖ画素、横がＮｈ＋Ｎａ画素分
   のメモリ空間を持つ。ここで０≦Ｎａ＜Ｈｈである。出画選択されている横がＮ
   ｈ画素分の他に、横がＮａ画素分のメモリが設けられ、このＮａ画素分に指示さ
   れた方向の画像データが新たに記録媒体より信号処理回路を通った上、補充記録
   され、その後に、水平方向のアドレススタート位置を移動させて出画像が移動さ
   れる。このため水平アドレ スカウンタは、水平方向の最終アドレスの次は先頭アドレスを選択しアドレスが
   続くようにする。このときの出画メモリ回路７３のブロック図が図５８に示され
   ている。 【０１４７】 この様に必要に応じて再生画像データを補充することで、出画メモリ７８の量
   を削減することができる。信号処理に静止画コサイン変換などのブロック符号化
   技術を使用する場合、Ｎａを水平方向ブロック化の長さ、あるいはその倍数に合
   わせておけば、より効率よくメモリを利用できる。 【０１４８】 以上では、撮像素子６３上の被写体結像位置を移動させ、信号読み込みを複数
   回行う実施例について述べた。次に、結像位置の移動を行わない別の実施例につ
   いて述べる。 【０１４９】 図６２は、水平方向の画角が広い撮像素子を使用する例である。通常撮影時の
   使用画素は中央斜線部であり、パノラマモードの時は全体を使用する。水平方向
   の画素数Ｎｂは、特に限定はなく、Ｎｂ＞Ｎｈであればよい。 【０１５０】 図６３は、再生画面が通常の撮影画像か、パノラマモードで撮影された画像か
   の区別をつけるため、パノラマ再生画像にマークを入れた画像を示している。再
   生画像右上の「Ｐ.」がパノラマ画像であることを表している。電子カメラの再
   生部は、メモリカードからのデータを読み込みの際に、そのデータが通常画像か
   パノラマ画像であるかをメモリカードないに記録されている画像制御データより
   、読み込んでおり、それぞれに応じた信号処理を選択する。この１処理として、
   出画像がパノラマ画像である場合には、これを示すマークを再生画像内に示す。 【０１５１】 また、図６４は、出画可能方向を示したものであり、この場合は、両方向の出
   画が可能であることを示している。図６５では右方向にはもう画像がなく、左方
   向にのみ移動できることを画面上の方向マークで表している。パノラママークや
   方向マークは、図６６のようにディジタル回路からなるマーク発生回路８１で発
   生させてディジタル混合回路８２で混合させるか、図６７のようにアナログ回路
   からなるマーク発生回路８３で発生させアナログ混合回路８４で混合させる。図
   ６８は電子カメラの操作部に出画可能方向を操作者に示す表示部を設けた例であ
   る。この例では、方向指示ボタン５３ａ及び５３ｂに発光部が設けられ、その発
   光によって操作者は出画可能方向を知る。この図では、左方向のみ光っており、
   左方向の移動のみ可能であることがわかる。 【０１５２】 また、撮影時に通常撮影モードかパノラマモードかの表示を行って撮影者に知
   らせるために、カメラ本体の液晶表示パネルで表示するか、図６９のようにファ
   インダ内 で表示を行う。図６９のファインダ内表示の右上の「Ｐ」は、パノラマモードを
   示している。「Ｐ」はファインダ画像表示内に位置してもよい。通常撮影時には
   、ファインダ全体が有効画像であり、パノラマモードの時には上下の斜線部を除
   く中央部が有効画像範囲となる。斜線部の区別手段としては、実像ファインダで
   は遮蔽カバーが考えられる。電子ファインダでは、輝度信号レベルを上げるかあ
   るいは落とすことで、または一部色信号たとえばＲＧＢ信号のいずれか、あるい
   は２種類の信号レベルを上げるかあるいは落とすことで、中央部と区別すること
   ができる。図７０は、図６２の水平画角の広い撮像素子を使用したときのファイ
   ンダ内の表示で、通常撮影時は中央部、パノラマ撮影時は全体が有効画像範囲と
   なる。 【０１５３】 以上の説明では、水平方向のパノラマ機能について述べたが、上下方向の出画
   、上下左右への拡張も可能である。上下左右の例では、図５１で半分の垂直有効
   範囲としていたところを、全体有効とすれば良い。縦がＮｖ画素、横がＮｈ画素
   の撮像素子を縦横それぞれに２箇所、結像位置を変えて見かけ上の画素数を４倍
   とした実施例の出画メモリ部７３のブロック図を図７１に、出画例を図７２に示
   す。図７１に示すように、垂直アドレスカウンタ７７にも、水平アドレスカウン
   タ７６のように方向情報が入力されている。図７２の例では、上下左右どの方向
   にも移動可能であることを示している。この場合、水平方向が長く、通常ＴＶ用
   撮像素子より画素数の多い素子を使用すれば良い。 【０１５４】 このような素子としては、例えば垂直画素数が通常の約２倍多いハイビジョン
   用撮像素子が考えられる。 【０１５５】 図７３に示す実施例は、撮影条件データに撮影場所を示す位置情報を付加する
   ことができる電子スチルカメラである。この電子スチルカメラは、固体撮像素子
   （ＣＣＤ）９１、撮像信号処理回路９２、ディジタル信号処理回路９３、位置情
   報を含む撮影条件データ記録回路９４、メモリカードインタフェース９５及びメ
   モリカード９６により構成されている。 【０１５６】 カメラ内部で撮影場所を示す位置データを発生、あるいは外部より位置データ
   を入力し、これを撮影条件データ記録回路９４を通して、記録媒体に画像データ
   とともに記録する。図７３の実施例は、ディジタルで画像信号を記録するディジ
   タル電子カメラシステムの例である。記録媒体としては、メモリカード９６を使
   用している。以下の例も、ディジタル電子スチルカメラを例に説明していく。 【０１５７】 位置データの発生手段としては、全地球測位システム（グローバル・ポジショ
   ニン グ・システム、ＧＰＳ）の位置データを使用したり、携帯電話中継局の使用局の
   位置データを利用したり、撮影場所で受信可能なＦＭ放送、ＡＭ放送等のラジオ
   放送やＴＶ放送の識別による方法、キーボード入力やペン入力ボードによる方法
   が考えられる。 【０１５８】 図７４は、ＧＰＳ装置と電子カメラを接続し、位置データを入力している状態
   を示している。撮影を行ったと同時か、あるいは撮影後に位置データをＧＰＳ装
   置より読み込み、メモリカード内に画像データとリンクさせて記録する。図７５
   は、電子カメラの再生部、あるいは電子カメラによって撮影された画像データを
   大量に蓄積保存する媒体を持つ電子アルバムの再生部のブロック図であり、画像
   データ蓄積部１０１、画像データ蓄積部インタフェース１０２、再生信号処理回
   路１０３、画像表示部１０４、ＣＰＵ１０５、入力部１０６、検索設問表示部１
   ０７及び検索用データ蓄積部１０８からなる。 【０１５９】 大量保存する媒体には、光ディスク、光磁気ディスク、ハードディスク、磁気
   テープ、バブルメモリなどが考えられる。この再生部において、画像を検索する
   者は、撮影場所の名称を入力手段により入力し、その場所の位置データを記録し
   た検索用データ蓄積部より位置データを引き出し、その位置データと各記録画像
   の位置データを比較した上、誤差の少ないものを可能性の高いものとして出画す
   る。この出画方法により、効率の高い画像検索が可能となる。 【０１６０】 図７６は、携帯電話機と電子スチルカメラを接続し、位置データを入力する方
   式を示している。携帯電話機より近接の中継局と回線を接続し、その中継局の識
   別用データを入力する。再生部にその識別データ局の位置情報を持つことにより
   、おおよその撮影場所がわかるものである。複数の中継局の識別データを利用す
   れば、撮影場所がより特定できる。 【０１６１】 図７４と図７６の例では、電子スチルカメラは外部のシステムより位置データ
   を入力していたが、カメラ内にこの機能を持たせてもよい。 【０１６２】 図７７は、位置データの入力手段としてラジオ波あるいはテレビ波あるいはそ
   の両方を利用する例である。内部あるいは外部のチューナ９８の同調周波数を周
   波数データメモリ９７内の予め決められた複数の周波数の中から選択し、同調出
   力が発生した場合はその出力周波数をデータ化して撮影条件データ回路９４を通
   したメモリカード９６へ記録する。 【０１６３】 再生部の検索用データ蓄積部には、放送局や中継局の周波数データが記録され
   てお り、メモリカード９６内の同調周波数のデータと比較することで、撮影した場所
   を推察することができる。 【０１６４】 本発明は、既出願の特願平２−２３４４９２「ディジタル電子スチルカメラシ
   ステム」で述べた数々の撮影条件データを利用する方法と併用することも可能で
   ある。図７８は、再生部における検索用画面の一例であり、位置データを他の撮
   影条件データとともに利用している例である。検索者は画面の設問に回答し、再
   生部はその回答をもとに各画像の可能性数値を計算し、これら数値を比較した上
   、一番可能性の高い数値から出画していく。計算を行うＣＰＵ１０５の様子を図
   ７９に示す。設問に応じて、演算に必要となる各画像の撮影条件データを読み出
   し、予め定めた演算式に代入していく。各計算結果は、総合演算でまとめられ、
   各画像の可能性数値となる。この数値が、比較用の数値となる。 【０１６５】 以上の実施例では、ディジタルシステムについて説明してきたが、アナログシ
   ステムについても同様に適用することができる。 【０１６６】 図８０の実施例は、拡大機能及び圧縮機能を備えた電子カメラシステムであり
   、このシステムの制御の流れが図８１のフローチャートにより示されている。図
   ８０において、撮像部２０１は、レンズ、シャッタなどを含む光学系とこの光学
   系によって結像された画像を光電変換するＣＣＤなどの光電変換素子を含んでい
   る。撮像素子２０１から出力された画像信号は信号処理部２０２に入力され、γ
   補正やホワイトバランス調整などに掛けられる。この信号処理回路２０２の出力
   は、Ａ／Ｄ変換器２０３によってアナログ−ディジタル変換されて、ディジタル
   画像情報として補間処理部を含むディジタル信号処理回路２０４に入力される。 【０１６７】 撮影時に撮影者によって拡大撮像モードが選択された時には、補間処理部にお
   いて線形補間等の補間処理によって電子的に映像を拡大する。拡大された画像圧
   縮回路２０５に入力される。圧縮の方式としては、ブロック符号化の一種である
   カラー静止画用符号化方式、例えばＪＰＥＧなどが考えられる。本方式によって
   圧縮された映像が、電子カメラ本体に脱着・交換可能に収納・接続されているメ
   モリーパック、例えばＩＣカードなどの映像記録媒体２０６に記録される。 【０１６８】 上記した様に、本電子ズーム方式においては補間処理を行った後に画像圧縮を
   行うことにより、ブロック符号化によるブロック歪を拡大してしまうことによる
   画質劣化をなくし、また補間処理が画像の高域成分を抑圧するので、画像圧縮に
   よるブロック歪の発生を抑えている。 【０１６９】 ここで、ブロック化データ圧縮方式であるＪＰＥＧを例として、図８２、図８
   ３Ａないし図８３Ｆを参照しながら説明する。ＪＰＥＧにおいては、図８３Ａに
   示す原画像を図８３Ｂのように８×８画素ブロックに分け、そのブロック内にお
   いて離散コサイン変換（ＤＣＴ）を行う。ＤＣＴによるＤＣＴ係数を高域周波数
   を粗く量子化する量子化テーブルを用いて高域成分を削減することにより、高能
   率圧縮を実現している。しかし、このために復号された画像は図８３Ｃ及び図８
   ３Ｄのようにブロックの境界に周波数成分の非連続性が生じ、ブロック歪ができ
   る。このため、圧縮後に補間処理を行うと、ブロック符号化によるブロック歪が
   図８３Ｅないし図８３Ｆのように拡大されて、人間の目に付き易いものになり、
   画質の劣化が顕著である。 【０１７０】 一方、補間処理は図８４に示すように低域通過型特性（ｌｏｗ ｐａｓｓ ｃ
   ｈａｒａｃｔｅｒｉｓｔｉｃ）を持っており、このため画像圧縮を行う時点で周
   波数の高い領域の情報量が減っている。また、前記のようにブロック化データ圧
   縮方式は周波数の高い領域の情報を減らすことによって実現される。既に補間処
   理によって既に高域周波数の情報量が減っているため、圧縮処理での高域周波数
   成分の削減の影響をほとんど受けないため、ブロック歪の発生が抑制される。 【０１７１】 以上により本発明の方式によれば、ブロック符号化によるブロック歪の影響を
   受け難く、また画質の劣化を抑えることができる。 【０１７２】 また、当然のことながらズームに関しては、光学系によるズームと電子的なズ
   ームの併用も考えられる。 【０１７３】 図８５は、ズーム倍率によって圧縮率を変える機能及び取り込んだ画像を確認
   する機能を設けた実施例を示す。本実施例の電子スチルカメラはユーザーインタ
   ーフェースとしてコントローラ２１０を持ち、撮影者はこれにてカメラシステム
   が持つ機能、例えばズーム機能や画像確認機能などを選択できる。選択された処
   理内容は表示部２１１に表示され、撮影者が確認できるようになっている。 【０１７４】 このコントローラ２１０にてズーム倍率が撮影者によって選択されるが、ズー
   ム倍率を上げていくと電子ズームの場合、空間周波数上に於ける高周波数成分の
   情報が少なくなる。したがって高周波数成分を粗く量子化するブロック符号化の
   圧縮率を上げても、画質に対する影響は少ない。圧縮率選択器２１２には撮影時
   のズーム倍率が入力され、ズーム倍率が高くなるとそれに従い、高い圧縮率が選
   択される。これにより画質を劣化させることなく、蓄積メモリを節約することが
   できる。 【０１７５】 また、コントローラ２１０に取り込まれた画像の確認機能が選択された時、圧
   縮部処理回路２０５あるいは記録媒体２０６からデコーダ２１３に画像情報が渡
   され、デコードされた画像はフレームメモリ２１４に蓄積される。この画像情報
   は本撮像装置に備わっている出画モニター２１５あるいは外部モニタ端子２１６
   に出力される。これによって、撮影された画像の良否を光ディスク・磁気ディス
   ク・ディジタルテープ媒体等に記録保存や、プリントアウトする前に確認するこ
   とができる。 【０１７６】 また、本実施例はディジタルな静止画像を扱う電子カメラにおいての例であっ
   たが、ディジタル化された動画像用カメラにおいてブロック符号化による劣化を
   伴う圧縮を用いるならば、有効な方式であると言える。 【０１７７】 図８６は拡大撮像モードに、低倍率時、高倍率時にそれぞれに適した処理を選
   択する機能及びそれぞれに適した処理を有する実施例に係る撮像装置であり、図
   ８７は図８６の撮影装置を制御するフローチャートである。 【０１７８】 撮影時に撮影者が拡大撮像モードを選択した時、圧縮・切り出し処理選択部２
   ２１が圧縮をするかどうかを判断し、高倍率になった時には圧縮処理回路２０５
   による圧縮処理を行わず、画像切り出し処理回路２２２の出力を選択する。この
   処理選択部２２１は、圧縮処理部の圧縮率とズーム倍率とから処理を適応的に選
   択している。 【０１７９】 ズーム倍率を上げていくと、ズーム画像の領域内にある実画素数が非常に少な
   くなるため、この領域のみを記録するならばデータ量は少なくてすみ、蓄積メモ
   リを節約することができる。また圧縮を行うことによって生じる画像上の歪によ
   る補間画像の劣化が生じないことになる。上記した方式によれば蓄積メモリを節
   約できると共に、ズーム画像の画質を向上させる。 【０１８０】 図８９には、圧縮・切り出し処理選択部２２１の動作原理を示す。圧縮率、ズ
   ーム倍率によってユーザからの入力が処理選択部２２１に入力される。この処理
   選択部２２１は内部に関数ｆ（ｘ）を持ち、圧縮率をｘ、ズーム倍率をｙとした
   時、ｙ≦ｆ（ｘ）であるならば、圧縮率に対してズーム倍率が低いので圧縮処理
   を選び、ｙ＞ｆ（ｘ）であるならば、圧縮率に対して、ズーム倍率が高いので切
   り出し処理を選択する。内部関数ｆ（ｘ）の例としては、ｆ（ｘ）＝１／２など
   であり、この関数を予めシステムに与える。この装置により適応的な処理が行え
   、常に選択された条件の内で最良の画像が得られる。 【０１８１】 また、画像のフォーマットの１例を図８８に示す。ヘッダ部分には画像のサイ
   ズや撮影日時のような付加情報を持たせると共に、圧縮されているのか、切り出
   されていてズームが必要なのかというフラグを持っている。 【０１８２】 一方、図９０に示すように再生処理部２２３の処理選択部２２４は、このフラ
   グによって再生処理を選択する。圧縮されているならばデコーダ２１３でデコー
   ドして結果をフレームメモリ２１４に蓄え、モニタ２１５等に出画する。切り出
   されているならば、電子ズーム処理回路２２５にて記録媒体に蓄積されている画
   像データに対して、前述の二点補間あるいは高次補間などの補間処理によるズー
   ムを行うこととする。 【０１８３】 図５３ないし図５９の実施例は発明を静止画システムへの応用について述べて
   きたが、以下に動画システムへの応用を示す。 【０１８４】 図９１は、前記電子ズーム方式を用いた動画像をディジタル記録する実施例に
   係るディジタルカメラシステムの概略構成を示すブロック図である。図９１にお
   いて、撮像部２０１はレンズなどを含む光学系によって結像された画像を光電変
   換するＣＣＤなどの光電変換素子を含んでいる。撮像素子２０１から出力された
   画像信号は信号処理回路２０２に渡され、γ補正やホワイトバランス調整などが
   行われる。この信号処理回路２０２の出力は、Ａ／Ｄ変換器２０３によってアナ
   ログ−ディジタル変換されて、ディジタル画像情報として補間処理部を含むディ
   ジタル信号処理回路２０４に入力される。撮影時に撮影者によって拡大撮像モー
   ドが選択された時には、電子ズーム処理回路２０７において、線形補間等の補間
   処理によって電子的に映像を拡大する。拡大された映像は画像圧縮回路２０５に
   入力される。 【０１８５】 圧縮の方式としてはブロック符号化の１種である動画像用符号化方式であるＭ
   ＰＥＧなどか考えられる。本方式によって圧縮された映像が記録用信号処理回路
   ３０１、アンプ３０２を経て、カメラシステム本体に脱着・交換可能に収納・接
   続されているディジタルテープ３０３または光ディスクなどの映像記録媒体に記
   録される。 【０１８６】 上記した様に、本電子ズーム方式においては電子ズーム処理回路２０７による
   補間処理を行った後に画像圧縮を行っているため、ブロック符号化によるブロッ
   ク歪を拡大してしまうことによる画質劣化をなくし、また補間処理が画像の高域
   成分を抑圧するので、画像圧縮によるブロック歪の発生を抑えている。 【０１８７】 また、本カメラシステムは図９２のように、通信用インタフェース３０９を設
   けることによってコーデック３１０から通信路３１１、コーデック３１２、通信
   用インタ フェース３１３を経て遠隔地に設置されているＴＶモニタ３１４に映像を出画す
   るＴＶ会議システム・ＴＶ電話に利用できる。 【０１８８】 以上の様に本電子ズーム方式を動画像システムに用いた場合、ブロック符号化
   による画質劣化を抑えると共に、圧縮処理によって、蓄積に於いては蓄積メモリ
   を節約し、通信に於いては通信量を減らすことができる。 【０１８９】 【発明の効果】 （１）以上詳述してきた様に、本発明の電子スチルカメラによれば、従来の電
   子スチルカメラと比較して、付加機能として移動手段による詳細モード（ＨＤモ
   ードという）を設けているため、ＨＤモニタに出力できる画質が得られ、さらに
   高画質なハードコピーを得ることが可能となる。また、高解像度の静止画入力装
   置と比較して小型化が実現できる。 【０１９０】 （２）本発明の電子スチルカメラによれば、従来の電子スチルカメラと比較し
   て、付加機能として二値化モードを設けているため、文字の撮影等二値データし
   か必要でない場合、少ないデータ量で高解像度の二値画像が得られる。 【０１９１】 また、撮像モジュールの交換が可能な電子スチルカメラとすることにより目的
   にあった撮像が可能となる。 【０１９２】 （３）本発明によれば、静止画を入力する電子カメラの再生機能に新しい機能
   を加えることができ、電子カメラの楽しみかた、利用の方法が広がるものである
   。 【０１９３】 （４）本発明によれば、記録媒体に記録される多数の画像ごとにタイトルやキ
   ーホワードをつけなくても、所望の画像を容易に効率よく出画することかできる
   。 【０１９４】 （５）本発明によれば画質劣化の少ない補間処理と画像圧縮が行える撮像装置
   が実現できる。また、本発明によれば画質劣化が生せず、蓄積メモリを節約でき
   る撮像装置が実現できる。