JP3604480B2 - 静止画像の構成と記録のための２モードを備える電子カメラ - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は静止画像を構成、記録するための電子スチルカメラに関し、特に場面を下見するための「動」モードと場面の特定の画像を撮影するための「静止」モードを備える電子カメラに関する。
【０００２】
【従来の技術】
消費者用カムコーダは、アナログ動画像、静止画像の少なくも一方を８ｍｍまたはＶＨＳビデオテープに記録することが可能で、多数の会社によって開発されてきた。動画像は、どの標準的なカムコーダでも同一の方法によって記録される。これらのカメラは単一チップの電荷結合素子（ＣＣＤ）センサを具備し、センサは色フィルタ配列を備え、これによって空間的に色サンプルされた（ｃｏｌｏｒ−ｓａｍｐｌｅｄ ）画像が作成される。静止画像を記録するためには、使用者が所望の時点で「静止画記録」押しボタンを押せばよい。ＣＣＤセンサから得られる画像は、一時的にデジタル記憶素子に記憶される。次いで、画像は記憶素子から読みとられてビデオテープ上に記録される。カムコーダにはカラー液晶ディスプレイ（ＬＣＤ）を具備するものもあるが、ＬＣＤも空間的に色サンプルされた画像を提供する装置である。比較的大きなものもあり、たとえば対角線で大体２．５インチから４インチまでの範囲である。通常の接眼鏡ビューファインダの代わりに、こうしたディスプレイを使用することによって、使用者は主題を適切に枠に入れて、記録される通りの画像を見ることができる。また、これはビデオテープを再生するとき、記録画像を見るためにも使用される。
【０００３】
図１（Ａ）は典型的なカラー液晶ディスプレイを示し、液晶物質は上部ガラス板１と下部ガラス板２との間に封入される。上部ガラス板１は、通常の透明電極３と黒色マスク５で取り巻かれた色フィルタ配列４を備える。下部板２は、色フィルタ配列４の下部に並列された透明画素電極の配列６を具備する。個々の画素電極は薄膜トランジスタ（ＴＦＴ）７経由で起動され、薄膜トランジスタは電源回線８のビデオ信号とゲート回線９の走査信号によって制御される。液晶ディスプレイは、通常の偏光子層（図示してない）をガラス板１と２上に備えるので、選択された透明画素電極が起動されると光が対応する色フィルタを通過してファインダーに反映されて、カラー画像が生成される。一般的な液晶ディスプレイ、たとえば日本のセイコーエプソン製のＥＰＳＯＮ ＬＢ ２Ｆ−ＢＣ００には、約２４０本の画素線があり、また画素線当たり約３００個の画素があり、画像の横縦比は４：３である。このような横縦比であるので、４：３の横縦比のＮＴＳＣ形式のＣＣＤセンサから得られた画像の全領域を液晶表示画面上に表示することができ、したがって、ＬＣＤ表示画面構成は、カムコーダのＮＴＳＣ形式記録器により記録された後ＮＴＳＣ形式のテレビジョンデジィスプレイに表示される画像と同一となる。ＬＣＤには画素線が２４０本しかないので、インタレースされたＮＴＳＣ信号はフィールド反復技術を使用して表示され、その結果ＮＴＳＣセンサからの奇数と偶数のフィールドの両方がＬＣＤ上の同一画素線を使用して表示される。このＬＣＤは、市場で入手可能なほとんどのＬＣＤと同様に、正方形画素群ではなく「長方形」画素群を備え、水平方向の画素間の距離は垂直方向の画素間の距離のたとえば２／３である。ＬＣＤ画素は、図１（Ｂ）に示す通りＲＧＢが斜め縞模様状に配置されている。
【０００４】
【発明が解決しようとする課題】
カムコーダでは、静止画像と動画像に対する処理は同一である。この処理は、一般にハードウエアに組み込まれたアナログ集積回路によって実行されるが、デジタル画像処理集積回路を使用するカムコーダも生産されるようになった。このようなカムコーダでは、ＣＣＤセンサからの信号がＮＴＳＣコンポジット形式信号またはＮＴＳＣ成分形式信号に転換されて、ビデオ記録サブシステムまたはビデオ出力ジャックに供給される。カラー液晶ディスプレイは、ＮＴＳＣコンポジット信号またはＮＴＳＣ成分信号をデコードして、空間的にサブサンプルしたＲＧＢ信号に復元し、ＬＣＤセンサ上の個々のＲＧＢ画素を駆動させる。
【０００５】
スチル写真を目的とするシステム、特にデジタル静止システムにおいては、必要とされる電子回路の複雑性を減少させるために、ＮＴＳＣ形式信号を生成する必要を回避できれば望ましい。完全なデジタルシステム、すなわち記録と表示の両装置がデジタルであるシステムでは、両装置間の非互換性を最小化することが一層望まれる。本発明の課題は、これらの目的を費用と複雑さが最小であり、使用者の最も操作しやすい方式で達成することである。
【０００６】
【課題を解決するための手段】
この課題は、本発明の多数の特性によって解決される。本発明は、ディスプレイ上で動画像を下見する一方、静止画像の撮影を行う電子カメラであって、（ａ）場面の画像を撮影する撮像センサであって、複数の列に配置された光電素子の二次元配列を有し、それぞれの列は、第一の色パターンに配列されたカラーフィルタのモザイクパターンにより覆われている所定の数の光電素子を有し、前記第一のパターンは、少なくとも３つの異なる色を含む撮像センサと、（ｂ）前記撮像センサによって撮影された画像の読み出しを制御するためのタイミング発生器であって、前記撮像センサから全ての前記光電素子の列が読み出され、静止画像を与える静止モードと、２つ以上の連続した光電素子の列は、前記撮像センサから読み出される光電素子の 1 つの列おきにまたはそれ以上の列おきにスキップされて一連の動画像を与え、それぞれの動画像はそれぞれの列において所定のカラー画素の数を有する、ラインスキップモードと、を与えるタイミング発生器と、（ｃ）前記一連の動画像を処理して、対応する一連の処理された動画像を生成するための動画プロセッサであって、それぞれの処理された動画像は、前記所定の数より少ない、列あたりのカラー画素数を有し、前記第一の色パターンとは異なる第二の色パターンとして与えられる動画プロセッサと、（ｄ）前記処理された動画像の少なくともいくつかを表示するカラーディスプレイであって、前記第一の色パターンとは異なるパターンにおいて少なくとも３つの異なる色を含むカラーディスプレイ画素の配置を有するカラーディスプレイと、（ｅ）前記カラーディスプレイ上の前記処理された動画像を下見する一方で、静止画像の撮影を開始するための撮影ボタンと、（ｆ）前記撮像センサによって与えられる前記静止画像を処理し、処理された静止画像を与えるための静止画プロセッサと、（ｇ）前記処理された静止画像を保存するためのデジタルメモリと、を含む。また、前記電子カメラにおいて、前記処理された動画像は、デジタル形式で前記カラーディスプレイに転送されることが好ましい。本発明の一態様によれば、電子カメラは静止画像モードでは比較的複雑なデジタル画像処理技術に従って操作され高品位の静止画像を生成することができ、また動画下見モードでは比較的簡単なデジタル画像技術に従って操作され静止画像モードの開始前に適切な品質の下見画像を生成することができる。こうした方式は、センサからのカラー画像画素配列を、撮像センサ画素より数が少ない個別液晶ディスプレイ画素よりなるＬＣＤ上のカラー表示画素配列に対応付けする場合に特に適合している。その場合は、比較的簡単なデジタル処理技術により同一色の画像画素信号が結合されて比較的少数の中間画素となり、この中間画素がカラーディスプレイ画素配列に対応する。
【０００７】
本発明の利点は、２モードを相対的に低品質の「動」モードと相対的に非常に高品質の「静止」モードに合わせることができることである。ＣＣＤセンサからの動モード画像は、ハードウエアに組み込まれたデジタル信号処理回路によって処理されて、低解像度の空間的にサブサンプルしたデジタル画像データを生成し、このデータによって相対的に低解像度の液晶ディスプレイが直接駆動される。一般に先行技術において実施されるのと同様に、これにより、ＮＴＳＣ形式信号を生成する場合と比較して、必要回路の複雑性とクロック周波数が削減される。ＣＣＤセンサからの静止モード画像は、画像処理ソフトウエアプログラムを実行する汎用プロセッサ（ＣＰＵ）によって処理され、高品質の静止デジタル画像を生成する。
【０００８】
【発明の実施の形態】
本発明に従って、２重モード処理を組み込んだカメラのブロック図を図２に示す。本カメラは、たとえば図１（Ａ）に示すパターンのカラー液晶ディスプレイ（ＬＣＤ）１０などの電子カラーディスプレイ、および使用者制御部１２を具備し、使用者制御部はズーム用押しボタン１４、下見用押しボタン１５、記録用押しボタン１６などの多数の使用者制御用押しボタンを備える。静止画を撮影するために、使用者はカメラを作動させる（電源開閉器（図示してない）を使用して作動させるが、これは使用者がズーム用押しボタン１４または下見用押しボタン１５を押した場合、または特に記録用押しボタン１６を押した場合は自動的に実施される）。使用者はディスプレイの画像を観察しながら、「ズームイン」または「ズームアウト」押しボタン１４を押し、またカメラの位置を調節して、画像を構成する。使用者の満足する構成がカラー液晶ディスプレイ１０上に得られたとき、使用者は記録用押しボタン１６を押す。そこでカメラは、１枚の静止画像を記録し、その際周辺の照度が低いときは必要によりフラッシュ１８を使う。静止画像は、モータ駆動ズームレンズ２２によって撮像センサ２０上に焦点を合わせられる。センサ２０上の画像光の強度は、モータ駆動、可変、機械的アパーチャー（絞り）２４によって制御され、一方、露光時間はセンサ２０の適切なクロッキングによって制御される。撮像センサ２０からの静止画像は、処理後、取り外し可能なメモリカード２６にデジタルで記憶される。
【０００９】
センサの制御は、タイミングおよび制御部分２７によって行われる。この部分は、記録操作モードと下見操作モードの両者に関して、処理機能とタイミング機能を有する特定用途向け集積回路（ＡＳＩＣ）である。たとえば、タイミングおよび制御部分２７は、撮像センサ機能を制御するためのセンサタイミング回路２８を備える。センサタイミング回路２８によって、信号が提供されセンサドライバ３０が作動されて、センサドライバ３０は水平クロック（Ｈ１、Ｈ２）、垂直クロック（Ｖ１、Ｖ２）を提供し、またセンサ２０上のドレイン構造を始動するための信号ＦＤＧを提供する。撮像センサ２０の出力は、アナログゲインと標本化（相関２重標本化（ＣＤＳ））回路３２によって増幅され、処理されて、Ａ／Ｄ変換器手段３４でデジタルパターンに変換される。Ａ／Ｄ出力信号はプロセッサ部分３５に供給され、この部分に具備されるデジタルプロセッサ３６によって静止画像がＤＲＡＭメモリ３８に一時的に記憶される。次に、デジタルプロセッサ３６は静止画像の画像処理を実行し、処理済画像を標準インターフェースＰＣＭＣＩＡ２．０などのメモリカードインターフェース回路４０を経由して、最終的に取り外し可能メモリカード２６に記憶する。ＥＰＲＯＭメモリ４２を使用して、プロセッサ３６を作動させるファームウェアを記憶させる。プロセッサ３５の成分は、データバス４３を通じて相互に連結され、またデータバス４３はタイミングおよび制御部分２７とカードインターフェース４０にも連結している。
【００１０】
モータ駆動ズームレンズ２２は、ズームモータ４４、焦点調節モータ４６、およびアパーチャーモータ４８（すべてレンズモータドライバ５０によって制御される）。タイミングおよび制御部分２７は、さらに制御インターフェース５２を具備し、このインターフェースは光学系インターフェースブロック５４を経由して、レンズモータドライバ５０およびフラッシュ制御回路５３と連結され、フラッシュ制御回路５３はズームレンズ２２とフラッシュ１８の作動を制御する。レンズのズーム位置は、ズーム制御押しボタン１４から使用者状態および制御部分５５を経由した位置入力に基づいて、光学系インターフェースブロック５４によって制御される。焦点合わせ、露光制御、および白バランスは、一般的な消費者用カムコーダと同様に、自動的に実行される。これは、下見画像が連続的に撮像センサ２０から読み出されているときに、リアルタイムＡＳＩＣ（タイミングおよび制御部分２７）内の画像統計プロセッサ６０により「画像統計」を計算して実施される。次に計算値を使用して、デジタルプロッセサ３６に備えられたプログラムによって、タイミングおよび制御部分２７のＡＳＩＣ上の制御インターフェース５２と光学系インターフェース５４を経由して、焦点調節モータ、アパーチャー、アナログゲイン制御、およびアナログ白バランス制御を調整する方法が決定される。デジタルプロセッサ３６と制御インターフェース５２は、二つの別々の部分内に示されているが、同一の部品を使用してこの両機能を実施する装置もある（他の列挙した機能についても同様である）。センサ画像データは、タイミングおよび制御部分２７の高速インターフェース５６を通じてプロセッサ部分３５に送られる。また、センサ画像データは、下見モード処理回路５８を通じてカラー液晶ディスプレイ１０に伝達される。
【００１１】
タイミングおよび制御部分（ＡＳＩＣ）２７は、２モード、すなわち相対的に低品質の「動」モードと相対的に非常に高品質の「静止」モードとで操作できる。動モードでは、センサ２０からの画像は下見モード処理回路５８によって処理され、一方、静止モードでは、センサ２０からの画像はプロセッサ３５によって処理される。プロセッサ３５は、ソフトウェア駆動のデジタル処理システムであり、ＡＳＩＣ２７より処理速度が遅い。下見モード処理回路５８はハードウェアに組み込まれたデジタル処理回路（ＡＳＩＣ２７の一部）であり、低解像度の、空間的にサブサンプルされたデジタル画像データを生成し、このデータによって比較的低解像度のカラー液晶ディスプレイ１０を直接駆動できる。これによって、ＮＴＳＣ形式信号を生成するのと比較して、必要電子回路構成の複雑性とそのクロック周波数が削減され、このことは先行技術においても同様に一般的に認められる。下見モード処理回路は画素リマッパ６２を具備し、これによってセンサ２０からの相対的に多数の画像画素をカラー液晶ディスプレイ１０の相対的に少数の画素（すなわち、図１の透明画素電極配列６に相当する）に対応付けする。次に、再対応付けされた画素の色の飽和度が色調整回路６３によって調整され、その出力がマルチプレクサ６４にかけられる。マルチプレクサ６４は、画像データを下見モード処理回路５８から選択して下見画像を生成するか、または画像データを高速インターフェース５６から選択して記憶画像の適切に事前処理された場面を準備する。
【００１２】
本カメラにおいては、下見モードを創生するための画像処理はタイミングおよび制御ＡＳＩＣ２７で実施されるが、これは処理を迅速に実施する必要があるためである。下見モードでは、毎秒約６０画像が処理される。しかし、表示される画像の画像品質は液晶カラーディスプレイのＬＣＤスクリーンの解像度と色域によって制約されるので、精巧な画像処理は必要ない。したがって、簡単な「下見モード」画像処理が（ＡＳＩＣの一部である）下見モード処理回路５８に埋め込まれた固定デジタル回路で実行される。静止モード画像はコンピュータにダウンロードされるものであり、また高解像度ＣＲＴディスプレイに表示されることもあり、また高品質感熱式プリンタにより焼き付けられることもあるので、静止モードに対する品質要求は非常に厳しい。したがって、デジタル画像処理は一層精巧であることが必要とされる。デジタルプロセッサ３６を使用して、ファームウェアメモリ４２に記憶されたソフトウェア手順を実行することによって、複雑な手順を実行できる。リアルタイム動作は要求されないので、これらの手順は数秒間で完了する。ファームウェアに記憶されたソフトウェアを使用することによって、新しいＡＳＩＣ設計を必要とすることなく、静止モード画像処理の質を向上させ得る。実際には、相対的に複雑度の低いデジタル処理技術を比較的高いデータ転送速度で動画下見モードに使用し、また相対的に非常に複雑なデジタル処理技術を比較的低いデータ転送速度で静止モードに使用する。
【００１３】
更新速度、すなわち単位時間当たり供給する必要のある画像数は、静止モードと動モードでは異なるので、異なる作動モードに対して異なるクロック周波数を使用することは有益である。たとえば、図１２に示すように、システム発振器１００は動モードで比較的高い毎秒当たりの更新数（たとえば、毎秒６０画像）を得るために使用する１２ｍＨｚを生成し、一方、分周器１０２はこれを２分の１にして静止モードに使用する６ｍＨｚを供給する。周波数が低いほど、クランプを正確に正しい位置に置き、パルスを標本化してＣＣＤ出力信号変位を避けるために多くの時間をとれる。これによって、静止モードの雑音免疫が増加する。マルチプレクサ１０４は、制御インターフェース５２によって作動し、センサタイミング回路２８に適用するクロック周波数を決定する。特に示してないが、タイミングの変更もＡ／Ｄ手段３４などのタイミングおよび制御回路に伝達される。
【００１４】
センサ２０は、順次走査インタライン撮像センサであり、図３（Ａ）に詳細に示すようにノンインタレース技術を有する。センサは、ホトダイオードなどの光電素子６６の二次元配列、光電素子の縦の並びに隣接した複数の垂直レジスタ６８、および電荷ドレイン（特に、高速ダンプ構造７２）より構成され、光電素子６６の二次元配列は画像画素が横の並びと縦の並びに配列されたものであり、複数の垂直レジスタ６８は画像画素電荷の横の並びを光電素子６６から水平レジスタ７０に移動させ、センサドライバ３０からのクロック信号に反応して読み出し、電荷ドレインは垂直レジスタ６８の出力端と水平レジスタ７０の間に挿入され、画像画素の完全な横の並びを一度に撮像センサ２０から排除する。好ましい撮像センサは、コダックモデルＣＣＤ ＫＡＩ−０４００ＣＭ撮像センサであり、このセンサはおよそ５１２本の走査線（アクティブ・ライン）を備え、各線当たりおよそ７６８個の能動画素があり、また画像の横縦比は３対２である。このセンサは、イーストマンコダック社（ニューヨーク州ロチェスター）から入手できる性能仕様書文書に記載されている。各画素は一辺が９ミクロンの「正方形」であり、これは隣接する画素の中心間の距離が垂直方向も水平方向も９ミクロンであることによる。ＣＣＤセンサの３対２の画像横縦比は、ディスプレイの横縦比４対３より幅が広いが、標準３５ｍｍフィルムパターンと標準４Ｒ（４インチ×６インチ）焼き付けも３対２の画像横縦比であるので、静止写真に対しては好ましい横縦比であると考えられる。センサには、「バイエル（Ｂａｙｅｒ ）チェッカーボード」パターンとして公知の色フィルタ配列パターンが使用されており、このパターンは米国特許３，９７１，０６５に記載されており、図４に示す。この色フィルタ配列は、モザイクパターンが特徴であり、フィルタ色は横と縦の両方向で交替する。通常の作動モードでは、センサ上のすべての画像画素はカラー画像画素として水平レジスタ７０に伝達され、水平レジスタによって色画素信号の流れがアナログゲインとＣＣＤ回路３２（図２参照）に伝えられる。次いで、色画素信号はＡ／Ｄ変換器３４によって、デジタル画素信号に変換される。
【００１５】
センサ２０は順次走査読み出し法を使用しているので、一度の走査によって完全な画像を読み出すことができる。画素６６を構成する光ダイオードに蓄積または集積された電荷は、位相１の垂直クロック（Ｖ１）に正の高電圧をかけることによって、光電素子から遮光垂直（平行）レジスタ６８に移送される。こうして、ことごとくの横の並び、またはラインが垂直レジスタ６８に読み出される。次に、画像画素電荷は、垂直クロックの２相クロッキング（Ｖ１、Ｖ２）によって、垂直レジスタ６８から水平レジスタ７０に移送される。垂直レジスタと水平レジスタの間に高速ダンプ機構７２があるが、これについてはＫＡＩ−０４００ＣＭの性能仕様書に詳細に記載されている。適切な正の電圧を高速ダンプゲートラインＦＤＧに設定することによって、高速ダンプ構造７２に一般に隣接する画素値の横の並びからの電荷は、水平レジスタ７０に移転するよりもむしろＣＣＤから直接センサ基板７４に移転する。このダンプ、または回線蓄積エネルギー消去は、垂直から水平への移転時間中に完成される。センサタイミング回路２８によって適切に制御する場合は、高速ダンプ構造７２を回線の電荷を排除した状態に保時することができる。
【００１６】
タイミングおよび制御部分２７によって、図２に示す電子カメラは前述の２モードで操作され、第１の「静止」モードにおいては各ラインに対応するすべての横の並びの画像画素電荷は水平レジスタ７０によって１回の走査中に順次に読み取られ、また第２の「動」モードにおいては幾つかのラインに対応する幾つかの横の並びの画像画素電荷は読み出し以前に高速ダンプ構造７２を通じて除去される。図２の実施態様に適用されたように、第１モードは高品質の静止撮像モードに対応し、一方、第２モードはカラー液晶ディスプレイ１０を駆動するための特殊な「ラインスキップ」モードに対応する。第２モードにおいては、タイミングおよび制御部分２７は高速ダンプ構造７２を制御して、読み出しのために水平レジスタ７０に移動された１本以上の画像電荷のどのラインについても、２本以上の連続したラインの画像電荷を撮像センサ２０から排除するので、液晶ディスプレイをフィールド反復モードで駆動するのに適したラインパターン（図７に示す）を生成する。横縦比３対２の完全なセンサ画像を横縦比４対３のＬＣＤ上に、幾何学的ゆがみなく表示するための適切なビデオ信号は、水平レジスタ７０に移転される画像電荷の対のラインのそれぞれについて、交互に２または４本の連続的な画像電荷のラインを排除することによって生成される。
【００１７】
センサタイミング回路２８は、制御インターフェース５２によって制御され、２モードの操作に従って、クロック信号Ｖ１、Ｖ２、Ｈ１、Ｈ２およびゲート信号ＦＤＧを供給する。第１モードに対するタイミング信号を図５に示し、第２モードに対するタイミング信号を図６（Ａ）と（Ｂ）に示す。信号Ｖ１とＶ２の２相サイクリングによって、画像画素電荷の垂直レジスタ６８から水平レジスタ７０への画像画素電荷の移転が制御される。信号Ｈ１とＨ２の２相サイクリングによって、水平レジスタ７０からカメラ内の二次回路へのカラー画素信号の流れの移転が制御される。信号ＦＤＧのレベルによって、画像電荷が基板７４にダンプされるか、または水平レジスタ７０に移転されるかが決まる。センサ２０が、センサのすべてのラインに対して図５に示す第１タイミングモードを使用してクロックされているときは、センサのすべてのラインは水平レジスタ７０を通じて次々とクロックを完了し、カメラの二次電子回路構成によって処理され、取り外し可能メモリ２６に記憶される。このタイミングモードによって、高品質順次走査静止画像が得られるが、静止画像を読み出すために１／３０秒以上要する可能性がある。しかし、このようなタイミングは、静止画像を使用する場合には許容されるので、また、前述の通り、高速度部品を必要としないので、実際は、低速度クロックにより利益を得ることができる。
【００１８】
画像をカラー液晶ディスプレイ１０に供給するためには、低解像度の画像が適しているが、更新速度は十分大きく良好な運動表現ができ、かつディスプレイのちらつきを排除できることが必要である。さらに、センサ２０は、特にモザイク色パターンに配列された前述の色フィルタ配列（たとえば、図３のチェッカーボード バイエル パターン）を具備しており、また、水平レジスタ７０に移転された画像電荷のラインは、その特定の色パターンをライン−スキップ読み出しのために生成されるラインのパターン中に保持する必要がある。この種の画像を供給するために、図６（Ａ）と（Ｂ）に示すタイミングを使用して、センサは図７に示す第２モードによって読み出される。図６（Ａ）に示すように、最初の２ライン（１と２）は通常のモードで読み出される。これらは緑−赤と青−緑のラインを提供する。次の２ライン（３と４）は、これらのラインが高速ダンプ構造７２を通過して移転する時間中に高速ダンプ構造７２を作動させて排除される。次に図６（Ｂ）に示すように、ライン５と６が通常どおりに読み取られてから、ライン７、８、９、および１０が排除される。次に図６（Ａ）のタイミングが使用されて、ライン１１と１２が読み取られるが、ライン１３と１４は排除され、そこで図６（Ｂ）のタイミングが使用されてライン１５と１６が読み取られるが、ライン１７−２０は排除される。この過程が、全画像読み出し期間にわたって継続し、その間に１０２対のラインが読み出され、また１５４対のラインが排除される。
【００１９】
図７に示すように、この特殊な「ラインスキップ」読み出し法を使用することによって、センサの３対２の横縦比画像を４対３の横縦比のＬＣＤ上に、「幾何学的ゆがみ」なしに、すなわち、垂直方向に画像を引き延ばすことなく、また撮像センサからの画像の水平方向の両端を切り落とすことなく、完全に表示することができる。こうすることによって、センサによって記録された３対２の横縦比の完全な画像をＬＣＤ上に適切に表示することができ、したがって、画像を適切に構成することができる。
【００２０】
ＣＣＤイメージャの５１２本のラインは特殊な「ラインスキップ」法を使用して読み出されるので、約２４０本の画素のＬＣＤラインのうち２０４本だけを使用して表示される。残りの３６本のラインは、いずれも溝縁の背後に隠すことができ、そうした場合は見えないが、これらを利用して時刻、画像番号などの状態情報を表示するか、または使用者用押しボタンについての「押しボタン使用法」を表示することが好ましい。図１１は、こうした転換の有用な利用法を示す。３対２の横縦比を有するセンサは、４対３の横縦比を有する液晶ディスプレイ表示画面９２の画像領域９０に写像されて示される。比例的に再対応付けすることによって、状態領域９４が余り、他の目的、特に制御部分１２にある構成変更可能な一組の制御用押しボタン９６の機能説明文の表示に利用できる。押しボタンの機能は、使用者の状態と制御部分５５（図２）によって特定される。この状態情報グラフィックスデータは、デジタルプロセッサによって高速インターフェース５６を経由してＬＣＤ１０に供給可能であり、これはマルチプレクサ（ＭＵＸ）６４が回路５８からのデータではなくインターフェース５６からのデジタルデータを使用するように制御されているときに、データを最終的にディスプレイ１０の約３２本のラインに供給するために実施される。
【００２１】
「ラインスキップ」読み出しによって、幾つかの微小な垂直標本化の人為的結果が発生するが、これらは小型の液晶ディスプレイでは目立たない。ラインスキップモードにおけるセンサ２０に対する画素出力は、バイエル型の色フィルタ反復パターンを維持し続けるので、バイエルパターン用に設計された処理技術を用いて処理できる。
【００２２】
図２のカメラの処理の複雑性は、ＲＧＢセンサ画素６６をディスプレイ１０のＲＧＢ画素と直接対応付けすることによって、かなり簡素化される。これを実施する最も簡単な方法は、撮像センサ２０（５１２本×７６８画素で横縦比３：２）と同一の５１２×７６８画素を有し、同一の横縦比で同一の色フィルタパターンを有する液晶ディスプレイを備えることである。しかし、これは実施できても特注の高価なＬＣＤとなる。実際は、ＬＣＤは、表示画素が撮像センサの画像画素より少なく、通常４：３の画像横縦比であり、また図１（Ｂ）に示す斜め縞のＲＧＢ配列を使用している。本説明では、約２４０本×１本当たり３１２画素のＬＣＤ画素配列を仮定した。
【００２３】
したがって、センサ画素は、ＬＣＤ画素リマッパ６２などの「画素対応付け回路」で処理される。この回路のブロック図を図８に示す。センサでは、走査線１本当たり７６８／２＝３８４の緑または赤／青画素があることに注意されたい （図４参照）。ＬＣＤでは、走査線１本当たり約３００／３＝１００の緑、赤、または青の画素がある（図１（Ｂ）参照）。このように、ＬＣＤの１本当たりの画素数は、センサの１本当たりの画素数の約１／４である。したがって、基本的計画は、同一色の画像画素を結合して相対的に少数の中間体、複合画素信号としてから、カラーディスプレイ画素に対応付けすることである。たとえば、簡単な「画素対応付け」回路は、１走査線毎に緑のセンサ画素信号４個を緑のＬＣＤ画素１個に対応付けするが、これは４ＣＣＤ画素位置だけずれて位置する緑のセンサ値２個を緑画素合計器７６によって合計してからビットシフト回線によって２分割することによって実施される。必要な遅延は、画素速度の１／４でクロッキングされるレジスタ８２によって与えられ、さらに１画素クロックだけ遅延させられる。また同一方法によって、赤センサ画素４個を１個のＬＣＤ画素に対応付けして（赤／青合計器７８を使用して）、同様にこの値を１００画素ＦＩＦＯ ８０に記憶する。ＦＩＦＯ ８０によって、赤のセンサラインには青の画素が供給され、青のセンサラインには赤の画素が供給されて、センサが線状に連続した赤と青の画素を有する事実が補償される。４画素遅延は、レジスタ８２’が画素速度の１／４（ＣＬＫ／４）でクロッキングすることによって実施される。したがって、最も簡単なパターンの対応付け過程は、本質的に信号を平均化して入力色画素より少数の出力色画素を生成する過程である。（これに対して、図１０に関して検討するＣＦＡ補間算法では、入力色画素より多数の「出力」色画素を生成する。）「ラインスキップ」モードに関連して説明したように、センサ値の２または４本の代替群は、図３（Ａ）に示す高速ダンプゲートを使用して、下見モード中は廃棄される。これによって、下見モード期間のセンサ読み出し時間を１／２以上削減できる。
【００２４】
本設計のもうひとつの特性は、ＮＴＳＣ速度駆動回路構成をカラー液晶ディスプレイ１０から排除することによって、アクチブマトリックスＬＣＤを通常使用される周波数よりも低周波数で更新できる。これによって、ＬＣＤ駆動回路（図示してない）の費用と電力消費が軽減される。たとえば、このＬＣＤは、６０Ｈｚではなく３０Ｈｚで更新できる（ただし液晶アクチブマトリックスディスプレイがこの更新速度で顕著なちらつきを示さないように設計されている場合である）。
【００２５】
ＬＣＤ画素値が求められると、ＬＣＤ色調節回路６３により画像の色飽和度が向上させられる。これは、Ｒ−ＧとＢ−Ｇの色差信号を形成すること、および表示される画像の色飽和度を向上させるために、加算器と減算器の配列８４によってこの信号の一部を当初のＲＧＢ信号に加算または減算することによって実施される。この回路は、３×３色マトリックスと類似の機能を果たすが、ハードウェアが少なくて済み、色精度は劣る。しかし、液晶ディスプレイの場合は、ディスプレイの色再生品質の制約があるので、色精度は重要ではない。静止画像の色再生は遥かに重要であり、ＥＰＲＯＭ４２に記憶させたファームウェアを使用して、一層複雑で精密な色補正法によって実施される。
【００２６】
図９（Ａ）と（Ｂ）は、画像統計処理器６０における処理を示し、本器は下見モードの全期間にわたり、静止画像と動画像の両者についてのリアルタイム値を計算する。これらの値は、白バランスと露出の設定に使用される２４のＲ，Ｇ，およびＢ平均、ならびに焦点設定に使用される６平均高周波数「詳細」値などである。色バランス用の２４ＲＧＢ平均は、４×６長方形画像領域について、Ｒ，Ｇ，およびＢのそれぞれについて求める。１色についての計算のブロック図を図９（Ａ）に示す。焦点調整用の６平均「詳細」値は、緑画素のみについて、隣接緑値間の差の絶対値を累積して計算する。この計算のブロック図を図９（Ｂ）に示す。これらの値は、各下見画像について計算されて、プロセッサ３６にダウンロードされる。プロセッサ３６は、ファームウェアに記憶された方法を実行して、最適露出媒介変数（露出時間、焦点距離／アパーチャー、およびアナログゲイン）、白バランス設定、レンズ焦点設定を決定する。静止モードの場合は、さらにプロセッサ３６は、最終下見画像に基づいて、同様にフラッシュの点火の要否を決定し、静止画像に対する最適露出媒介変数、白バランス設定、およびレンズ焦点設定を決定する。
【００２７】
静止画像が捕らえられると、デジタルプロセッサ３６は、記憶されたファームウェア方法を実行して、静止画像を処理し記憶する。図１０に、静止画像の可能性のある一処理方法を示す。ＣＦＡ補間方法の図形は、本出願と同一譲受人名義の米国特許出願第０８５，５２０号（１９９３年６月３０日出願）に記載されている緑補間方法、および米国特許第４，６４２，６７８号に記載のクロミナンス補間方法を含み得る。色マトリックス、色調補正、および縁部強調手段は、米国特許第５，１８９，５１１号の記載と類似である。画像圧縮方法は、ＪＰＥＧ標準圧縮技術を使用し得る。
【００２８】
前述の説明は、動画下見モードに続いて単一の静止画を撮る場合を想定している。さらに、カメラは、「静止」モード中に「連続」高品質静止画像を選択的にＤＲＡＭメモリに記録後、図１０に示す方法で処理することもできる。フラッシュ再充電時間などの「連続」モードの制約のために、「連続」モードは動画モードまたは単一静止画モードとは異なる露出媒介変数（露出時間、アパーチャー、アナログゲイン、フラッシュ、およびデジタル処理）を使用することもできる。
【００２９】
以上、本発明を好ましい実施態様に関して説明した。しかし、通常の当業者が、本発明の範囲から離脱することなく、変化または変形を実施し得ることを理解されたい。たとえば、図３（Ｂ）は、２個の読み出しレジスタ８６と８８（これは、コダックＫＡＩ−０３１ＣＭに関する性能仕様書文書に対応する）を備える順次走査センサを示すが、図３（Ａ）の好適な実施態様は１個のレジスタのみを使用している。目的は、ＬＣＤ画素リマッパ６２のＦＩＦＯ回線遅延８０を排除することである。対のレジスタによるライン読み出しには、緑／赤ラインと青／緑ラインの両者が含まれる。したがって、２チャネルの出力とアナログゲインおよびＣＤＳ区画３２との間にアナログマルチプレクサを追加してセンサ水平クロック速度の１／２で切り替えることによって、Ａ／Ｄ手段３４の出力においてセンサデータ値のＧＲＢＧシーケンスを得ることができる。次いで、ＬＣＤ画素リマッパ６２の設計を、回線遅延を使用することなく、ＣＣＤセンサの色画素パターンを必要とされるＲＧＢＲＧＢ ＬＣＤ画素パターンに対応付けするようにできる。各ＬＣＤラインについて、２本のＣＣＤラインが平行して読み出されるので、図３（Ａ）に示す単一レジスタセンサより少ないラインが高速ダンプゲートから排除される。
【００３０】
特に、図３（Ｂ）の２重レジスタＣＣＤが横縦比３：２の５１２×７６８長方形画素を備え、またＬＣＤが約２４０表示ラインを備え４：３の横縦比である場合は、ＣＣＤ読み出しはＣＣＤセンサから読み出される４対のライン毎に１対のラインの高速ダンピングを含むことになる。次に、水平レジスタの画素読み出し方法は、操作モードによって異なり、両レジスタを動画撮像モードに使用し、またひとつのレジスタを静止画撮像モードに使用する。さらに、バイエルパターンを説明したが、他のモザイク型のフィルタパターンを使用する場合は、たとえば、シアン、マゼンタ、黄、および緑フィルタなどの補足パターンとして有用である。ＬＣＤ画素リマッパ６２とＬＣＤ色調節回路６３に関する処理は、色配列が異なる場合は結果的に変更されることになる。
【００３１】
【発明の効果】
前述のように、本発明によって、画像構成と記録のための２重モードを有する電子カメラにおいて、静止モードでは相対的に複雑なデジタル画像処理技術を使用して高品質静止画像を生成し、静止モードに先行する画面形成のための動モードでは相対的に簡単なデジタル処理技術を使用して許容し得る品質の画像を生成することによって、ＮＳＴＣ形式信号を生成する必要がなくなり、電子回路が簡素化されて、安価で操作の容易な電子カメラが供給される。本方式は、カラー電子カメラにも適用し得る。
【図面の簡単な説明】
【図１】（Ａ）と（Ｂ）は、公知のカラー液晶ディスプレイ（ＬＣＤ）の構造と色フィルタパターンを示す図である。
【図２】本発明に従う静止画像の構成と記録のための２重モードを組み込んだ電子カメラのブロック図である。
【図３】（Ａ）と（Ｂ）は、図２のカメラに関して有用な順次走査撮像センサの図である。
【図４】図１のカメラに使用されるバイエルカラーフィルタの幾何図形的配列図である。
【図５】静止モード操作に対するラインタイミングを示す図である。
【図６】（Ａ）と（Ｂ）は、下見モード操作に対するラインタイミングを示す図である。
【図７】下見モードで使用される特殊なラインスキップパターンを示す図である。
【図８】図２に示した下見モード処理回路のさらに細部を示す図である。
【図９】（Ａ）と（Ｂ）は、図に示した画像統計プロセッサのさらに細部を示す図である。
【図１０】静止モード画像処理の一例を示す図である。
【図１１】互いに異なる横縦比を有するセンサから液晶ディスプレイへの画素対応付け効果を示す図である。
【図１２】図２のブロック図の一部の詳細図であり、２重モードのそれぞれに異なるクロック周波数が使用されている。
【符号の説明】
１ 上部板、２ 下部板、３ 通常の透明電極、４ 色フィルタ配列、５ 黒色マスク、６ 透明画素電極の配列、７ 薄膜トランジスタ、８ 電源回線、９ゲート回線、１０ カラー液晶ディスプレイ、１２ 制御部、１４ ズーム用押しボタン、１５ 下見用押しボタン、１６ 記録用押しボタン、１８ フラッシュ、２０ 順次走査インタライン、２２ ズームレンズ、２４ 機械的アパーチャー、２６ メモリカード、２７ タイミングおよび制御部分、２８ センサタイミング回路、３０ センサドライバ、３２ アナログゲインとＣＤＳ 、３４ Ａ／Ｄ変換器、３６ デジタル画像プロセッサ、３８ ＤＲＡＭメモリ、４０ カードインターフェース、４２ ＥＰＲＯＭメモリ、４３ データバス、４４ ズームモータ、４６ 焦点調節モータ、４８ 可変アパーチャー、５０ レンズモータドライバ、５２ 制御インターフェース、５３ フラッシュ制御回路、５４ 光学系インターフェース、５５ 使用者状態および制御部分、５６ 高速インターフェース、５８ 下見モード処理回路、６０ 画像統計プロッセサ、６２画素リマッパ、６３ 色調整回路、６４、１０４ マルチプレクサ、６６ 画素（ 光電素子） 、６８ 垂直読み出しレジスタ、７０ 水平レジスタ、７２ 高速ダンプ構造、７４ センサ基板、７６ 緑画素合計器、７８ 赤／青画素合計器、８０ ＦＩＦＯ（先入れ先出し素子）、８２ ２画素遅延レジスタ、８４ 配列、８６ 第１水平レジスタ、８８ 第２水平レジスタ、９０ 画像領域、９２ 液晶ディスプレイスクリーン、９４ 状態領域、９６ 構成変更可能押しボタン、１００ システム発振器、１０２ 分周器。

Claims (2)

1. ディスプレイ上で動画像を下見する一方、静止画像の撮影を行う電子カメラであって、
   （ａ）場面の画像を撮影する撮像センサであって、
   複数の列に配置された光電素子の二次元配列を有し、それぞれの列は、第一の色パターンに配列されたカラーフィルタのモザイクパターンにより覆われている所定の数の光電素子を有し、前記第一のパターンは、少なくとも３つの異なる色を含む撮像センサと、
   （ｂ）前記撮像センサによって撮影された画像の読み出しを制御するためのタイミング発生器であって、
   前記撮像センサから全ての前記光電素子の列が読み出され、静止画像を与える静止モードと、
   ２つ以上の連続した光電素子の列は、前記撮像センサから読み出される光電素子の1つの列おきにまたはそれ以上の列おきにスキップされて一連の動画像を与え、それぞれの動画像はそれぞれの列において所定のカラー画素の数を有する、ラインスキップモードと、
   を与えるタイミング発生器と、
   （ｃ）前記一連の動画像を処理して、対応する一連の処理された動画像を生成するための動画プロセッサであって、
   それぞれの処理された動画像は、前記所定の数より少ない、列あたりのカラー画素数を有し、前記第一の色パターンとは異なる第二の色パターンとして与えられる動画プロセッサと、
   （ｄ）前記処理された動画像の少なくともいくつかを表示するカラーディスプレイであって、
   前記第一の色パターンとは異なるパターンにおいて少なくとも３つの異なる色を含むカラーディスプレイ画素の配置を有するカラーディスプレイと、
   （ｅ）前記カラーディスプレイ上の前記処理された動画像を下見する一方で、静止画像の撮影を開始するための撮影ボタンと、
   （ｆ）前記撮像センサによって与えられる前記静止画像を処理し、処理された静止画像を与えるための静止画プロセッサと、
   （ｇ）前記処理された静止画像を保存するためのデジタルメモリと、
   を含むことを特徴とする電子カメラ。
2. 請求項1に記載の電子カメラであって、
   前記処理された動画像は、デジタル形式で前記カラーディスプレイに転送されることを特徴とする電子カメラ。

Images