JP3652122B2

JP3652122B2 - Image input device, image input method, and memory medium

Info

Publication number: JP3652122B2
Application number: JP18303098A
Authority: JP
Inventors: 雄一郎服部
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-06-29
Filing date: 1998-06-29
Publication date: 2005-05-25
Anticipated expiration: 2018-06-29
Also published as: JP2000023007A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像入力装置及び画像入力方法並びにメモリ媒体に係り、特に、撮像素子を用いて被写体の画像を電気信号として取り込む画像入力装置及び画像入力方法並びに該装置の制御に供するメモリ媒体に関する。
【０００２】
【従来の技術】
近年ディジタル信号処理技術や半導体技術の進歩により、標準テレビ方式、例えばＮＴＳＣ方式やＰＡＬ方式の動画像信号をディジタル記録する民生用ディジタルビデオ規格が提案されている。また、その応用として、ディジタルビデオ記録再生装置とデジタルカメラとを一体化したビデオカメラが製品化されている。
【０００３】
このようなビデオカメラの中には、ディジタル記録という特徴を生かして、静止画の記録機能を備えるものや、コンピュータ等と接続するためのディジタルＩ／Ｆを具備し、撮影した画像をコンピュータ等に転送する機能を有するものもある。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来例においては次のような欠点がある。即ち、従来例に係るビデオカメラでは、撮影した画像をテレビジョンの画面上に再生する場合は、その画素数（画像サイズ）は、ディジタルビデオ規格で定められた画素数（例えば、７２０×４８０画素）であれば十分であるが、ディジタルＩ／Ｆ又は記録媒体（例えば、ビデオテープ）を介して他の装置に画像を提供する場合は、当該他の装置の仕様に応じて、より多くの画素数の画像を提供することが望まれる。本発明は、上記の背景に鑑みてなされたものであり、例えば、画像を再生する装置の仕様に応じた品位の画像を得ることを目的とする。
【０００５】
【課題を解決するための手段】
本発明の第１の側面に係る画像入力装置は、被写体の画像を電気信号として取り込む画像入力装置であって、撮像素子と、動作モードを選択する選択手段と、前記撮像素子の出力を利用して、前記選択手段により選択された動作モードに対応する画素数の画像を生成する画像処理手段と、前記画像処理手段により生成された画像を出力する出力手段とを備えることを特徴とする。
【０００６】
上記の画像入力装置において、例えば、前記出力手段は、前記画像処理手段により生成された画像を記録媒体に記録する記録手段を有することが好ましい。
【０００７】
上記の画像入力装置において、例えば、前記動作モードは、第１及び第２モードを含み、前記画像処理手段は、前記第１モードでは、所定の記録フォーマットで規定される画素数の画像を生成し、前記第２モードでは、前記第１モードにおいて生成される画像の画素数よりも多い画素数の画像を生成することが好ましい。
【０００８】
上記の画像入力装置において、例えば、前記出力手段は、前記第１モード及び前記第２モードの双方において、所定の記録フォーマットに合致するように、前記画像処理手段により生成された画像を変換して出力することが好ましい。
【０００９】
上記の画像入力装置において、例えば、前記撮像素子は、所定の記録フォーマットにより規定される画素数よりも多い画素数を有し、前記画像処理手段は、前記第１モードでは、前記撮像素子により撮像される画像の一部を切り出すことによって、前記所定の記録フォーマットで規定される画素数の画像を生成し、前記第２のモードでは、前記撮像素子の出力を利用して、所定の記録フォーマットで規定される画素数よりも多い画素数の画像を生成することが好ましい。
【００１０】
上記の画像入力装置において、例えば、前記画像処理手段は、前記第２モードでは、前記第１モードにおける垂直走査期間のｎ（自然数）×ｍ（自然数）倍の垂直走査期間で前記撮像素子から１枚の画像を読み出して、該画像を前記第１モードにおいて生成する画像と比較して水平方向にｎ倍、垂直方向にｍ倍の画素数を有する画像に変換することが好ましい。
【００１１】
上記の画像入力装置において、例えば、前記画像処理手段は、前記第２モードでは、前記撮像素子から全画素を読み出すことが好ましい。
【００１２】
上記の画像入力装置において、例えば、前記画像処理手段は、前記第２モードでは、前記第１モードにおける主直走査期間のｎ（自然数）×ｍ（自然数）倍の垂直走査期間で前記撮像素子から１枚の画像を読み出して、該画像を前記第１モードにおいて生成する画像と比較して水平方向に（ｎ−１）倍乃至ｎ倍、垂直方向に（ｍ−１）倍乃至ｍ倍の画素数を有する画像に変換することが好ましい。
【００１３】
上記の画像入力装置において、例えば、前記画像処理手段は、前記第２モードでは、前記撮像素子から全画素を読み出すことが好ましい。
【００１４】
上記の画像入力装置において、例えば、前記撮像素子は、１つの垂直走査期間内に全画素を読み出すことができる撮像素子であることが好ましい。
【００１５】
上記の画像入力装置において、例えば、前記動作モードに拘らず、前記撮像素子の駆動周波数及び水平走査周波数は同一であることが好ましい。
【００１６】
上記の画像入力装置において、例えば、前記第１モード及び前記第２モードの双方において、前記撮像素子の駆動周波数及び水平走査周波数は同一であり、前記画像処理手段は、前記第１モードでは、前記撮像素子から走査線単位で画素を連続的に読み出し、前記第２モードでは、前記撮像素子から走査線単位で間欠的に画素を読み出すことが好ましい。
【００１７】
上記の画像入力装置において、例えば、前記画像処理手段は、前記第１モードでは、ブランキング期間内において、前記撮像素子における不要な走査線の画素を高速に転送することにより、該不要な走査線の画素を廃棄することが好ましい。
【００１８】
上記の画像入力装置において、例えば、前記画像処理手段は、前記撮像素子から出力される画像を一時的に格納する画像バッファを有し、前記第１モードでは、前記撮像素子から連続的に出力される画素のうち必要な領域に属する画素のみを前記画像バッファに書込み、前記画像バッファに書込んだ画素を処理対象とすることにより、前記撮像素子により撮像される画像の一部を切り出すことが好ましい。
【００１９】
上記の画像入力装置において、例えば、前記画像バッファの書込み動作の周波数は、前記撮像素子の駆動周波数と同一であり、前記画像バッファの読み出し動作の周波数は、前記出力手段の出力動作の周波数と同一であることが好ましい。
【００２０】
上記の画像入力装置において、例えば、前記出力手段は、前記画像処理手段により生成された画像をベースバンド成分と高域成分とに分離する分離手段を有し、前記ベースバンド成分を画像情報として出力すると共に高域成分を前記付加情報として出力することが好ましい。
【００２１】
上記の画像入力装置において、例えば、前記出力手段は、前記画像処理手段により生成された画像をベースバンド成分と高域成分とに分離する分離手段を更に有し、前記記録手段は、前記ベースバンド成分を画像情報として前記記録媒体に記録する共に前記高域成分を付加情報として前記記録媒体に記録することが好ましい。
【００２２】
上記の画像入力装置において、例えば、記録媒体に記録された画像を読み取る読取手段を更に備えることが好ましい。
【００２３】
上記の画像入力装置において、例えば、前記出力手段は、前記読取手段によって記録媒体から読み取った画像を外部機器に転送する転送手段を更に有することが好ましい。
【００２４】
本発明の第２の側面に係る画像入力方法は、撮像素子を用いて被写体の画像を電気信号として取り込む画像入力方法であって、動作モードを選択する選択工程と、前記撮像素子の出力を利用して、前記選択工程において選択された動作モードに対応する画素数の画像を生成する画像処理工程と、前記画像処理工程において生成された画像を出力する出力工程とを含むことを特徴とする。
【００２５】
本発明の第３の側面に係るメモリ媒体は、撮像素子を用いて被写体の画像を電気信号として取り込む画像入力装置を制御するための制御プログラムを格納したメモリ媒体であって、該制御プログラムは、動作モードを選択する選択工程と、前記撮像素子の出力を利用して、前記選択工程において選択された動作モードに対応する画素数の画像を生成する画像処理工程と、前記画像処理工程において生成された画像を出力する出力工程とを含むことを特徴とする。
【００２６】
【発明の実施の形態】
以下、図面を参照しながら本発明の好適な実施の形態を説明する。
【００２７】
［第１の実施の形態］
図１は、本発明の好適な実施の形態に係る単板ビデオカメラ（画像入力装置）の構成を概略的に示す図である。図１に示すように、本発明の好適な実施の形態に係るビデオカメラは、結像光学系１、ＣＣＤ素子２、ＣＣＤ駆動パルス発生器３、ＣＤＳ／ＡＧＣ回路４、ＡＤ変換器５、ＦＩＦＯメモリ６、モードスイッチ７、カメラ信号処理部８、記録再生信号処理部９、記録ヘッド１０、再生ヘッド１１及びデジタルインターフェース１２を備える。
【００２８】
結像光学系１は、被写体像をＣＣＤ素子２の受光面上に結像させる。ＣＣＤ４は、受光面上に入射する光学像を電気信号に変換する撮像素子である。ＣＣＤ駆動パルス発生部３は、ＣＣＤ素子２を駆動するためのパルス信号を発生する。ＣＤＳ／ＡＧＣ回路４は、ＣＣＤ素子２から出力されるＲＧＢの画像信号に含まれる雑音を低減し適正なレベルまで増幅する。ＡＤ変換器５は、ＣＤＳ／ＡＧＣ部４から出力されるＲＧＢの画像信号をデジタル信号に変換する。ＦＩＦＯメモリ６は、画像バッファとして使用されるメモリである。
【００２９】
モードスイッチ７は、ビデオカメラの動作モードを切り換えるためのスイッチである。カメラ信号処理部８は、ＦＩＦＯメモリ６から供給されるＲＧＢの画像信号に基づいて記録又は転送用の画像信号を生成する。記録再生信号処理回路９は、記録媒体１３に記録するための画像信号又は記録媒体１３から読出した画像信号を処理する。記録ヘッド１０は、記録媒体１３に画像情報を記録するためのヘッドであり、再生ヘッド１１は、記録媒体１３に記録された画像情報を読み取るためのヘッドである。デジタルインターフェース１２は、再生ヘッド１１により記録媒体１３から読み取った画像情報又はカメラ信号処理部８から供給される画像情報を外部機器に転送するために使用される。
【００３０】
以下、図１に示すデジタルカメラの動作例を説明する。なお、以下の動作例は、テレビジョン方式として標準テレビジョン方式であるＮＴＳＣ方式を採用した場合に関するが、これは一例であって、本発明の適用範囲を限定するものではない。
【００３１】
結像光学系１によりＣＣＤ素子２の受光面上に結像する被写体像は、ＣＣＤ素子２により電気信号に変換される。ＣＣＤ素子２の受光面には、カラー画像の撮像のための色フィルタアレイが配置されている。この色フィルタアレイは、例えば、図２に示すように、ＲＧＢの色フィルタが周期的に配列されてなる。
【００３２】
ＣＣＤ素子２は、標準テレビジョンフォーマットにより定められる１フレームの画素数よりも多い画素数を有する。具体的には次の通りである。この実施の形態では、ＮＴＳＣ方式を採用している。ＮＴＳＣ方式では、動作周波数は１３．５ＭＨｚであり、１フレームの画像は水平方向が７２０画素、垂直方向が４８０画素で構成される。ＣＣＤ素子２は、水平方向、垂直方向共にＮＴＳＣ方式の１フレームの画像の１．５倍の画素数を有する。即ち、ＣＣＤ素子２は、水平方向の画素数が１０８０、垂直方向の画素数が７２０である。
【００３３】
また、この実施の形態では、ＣＣＤ素子２として、一般にビデオカメラ用に用いられる２：１インターレース対応の読出し方式のＣＣＤ素子ではなく、１フィールド期間内に全走査線の情報を読み出す方式（所謂「全画素読み出し方式」）のＣＣＤ素子を採用している。
【００３４】
ＣＣＤ素子２は、ＣＣＤ駆動パルス発生器３から供給される駆動パルスにより駆動され、駆動パルスに同期して電気信号を出力する。また、ＣＣＤ素子２は、モードスイッチ７の設定状態、即ち動作モードに応じたタイミングで駆動される。この動作モードには、通常モード（第１モード）と低速高解像度モード（第２モード）とが含まれる。
【００３５】
通常モード（第１モード）では、ＣＣＤ素子２は、ＮＴＳＣ方式と同一のフィールド周波数で駆動される。ただし、ＣＣＤ素子２が有する全画素を１フィールド期間内に読み出す場合、動作周波数が非常に高くなり、消費電力が増大するという問題がある。即ち、７２０×４８０の画素を２：１インタレース方式で読み出す場合の動作周波数が１３．５ＭＨｚであるのに対して、全画素を１フィールド期間内に読み出す場合は、水平、垂直共に１．５倍の画素数を１フィールド期間で読み出すことになるため、動作周波数は、
１３.５(MHz)×１.５(水平)×１.５(垂直)×２(全画素読み出し)
＝６０.７５MHz
となり、上記のような問題が発生する。
【００３６】
そこで、この実施の形態では、図４に示すように、ＣＣＤ素子２（画面）の上部及び下部を構成する画素（ＣＣＤ信号）を垂直ブランキング期間内において高速に転送し、ＣＣＤ素子２（画面）の中央部の４８０ラインのみを読み出すように、ＣＣＤ素子２を駆動することにより、動作周波数が高くなることを防ぐ。この場合の動作周波数は、
１３.５(MHz)×１.５(水平)×２(全画素読み出し)＝４０.５MHz
となる。また、ＣＣＤ素子２の駆動信号の水平走査周波数は、ＮＴＳＣ方式の２倍になる。
【００３７】
図３（ａ）は、通常モード（第１モード）におけるＣＣＤ素子２の駆動タイミングを示しており、図３（ｂ）は、同モードにおけるＣＣＤ素子２の駆動タイミングを示している。なお、ＶＤは、垂直同期信号、ＨＤは、水平同期信号、ＨＤＸ２は、ＣＣＤ素子２の駆動を制御する水平同期信号（水平同期信号ＨＤの１／２の周期）、ＣＣＤ信号は、ＣＣＤ素子２から読み出される電気信号である。
【００３８】
図３（ａ）及び（ｂ）において、フィールド期間は、１／５９．９４ｓｅｃ（＝１６．７ｍｓｅｃ）、水平走査期間は１／（５９．９４×２６２．５）（＝６３．６μｓｅｃ）であって、共にＮＴＳＣ方式と一致している。
【００３９】
図３（ａ）に示すように、フィールド期間のうち、ブランキング期間と称されるテレビジョン画面上に表示されない期間内に、ＣＣＤ素子２の全画素のうち上部及び下部の合計２４０ラインを高速転送により読み捨て、有効映像期間内に１フレーム分の４８０ラインを読み出すように、ＣＣＤ素子２は駆動される。また、この実施の形態では、２：１インターレース方式の標準テレビジョン方式における１フィールド期間内に１フレーム分の画素（２フィールド分の画素）を読み出すため、図３（ｂ）に示すように、ＣＣＤ素子２を駆動するための水平同期信号ＨＤＸ２の水平走査周波数は、ＮＴＳＣ方式の水平走査周波数の２倍になる（水平走査期間が１／２）。
【００４０】
一方、低速高解像度モード(第２モード）では、通常モード（第１モード）において記録媒体１３に記録する画像の画素数（画像サイズ）よりも多い画素数の画像を記録媒体１３に記録する。ここで、低速高解像度モードにおいて記録媒体１３に記録する画像の画素数は、通常モードにおける画像の画素数を水平方向にｎ倍、垂直方向にｍ倍した画素数である。ｎ，ｍは、例えば、２以上の自然数であること、或いは、ｎ×ｍが２以上の自然数であることが好ましい。また、通常モード（第１モード）において記録媒体１３に記録する画像の水平方向及び垂直方向の画素比が、低速高解像度モードにおいて記録媒体１３に記録する画像の水平方向及び垂直方向の画素比と一致する場合は、ｎ＝ｍである。
【００４１】
低速高解像度モード（第２モード）では、ＣＣＤ素子２は、ＮＴＳＣ方式のフィールド周波数（通常モードにおけるフィールド周波数と等しい）の１／（ｎ×ｍ）倍のフィールド周波数で駆動される。本実施の形態は、ｎ＝ｍ＝２の場合の例である。
【００４２】
低速高解像度モード（第２モード）では、ＣＣＤ素子２の全画素をＮＴＳＣ方式のフィールド期間の（ｎ×ｍ）倍の期間（１／５９．９４＝１６．７ｍｓｅｃ）内に読み出すようにＣＣＤ素子２が駆動される。即ち、ｎ＝ｍ＝２の場合、ＣＣＤ素子２の全画面が４／５９．９４ｓｅｃ（＝６６．７ｍｓｅｃ）の期間内に読み出される。
【００４３】
この場合、ＣＣＤ素子２を駆動する周波数を通常モード（第１モード）の周波数（ＮＴＳＣ方式の周波数の２倍の周波数）よりも低くすることができる。しかしながら、通常モードにおけるＣＣＤ素子２の駆動周波数と低速高解像度モード（第２モード）におけるＣＣＤ素子２の駆動周波数とが異なることはシステムの構成上好ましくない。従って、この実施の形態では、両モードにおける駆動周波数を一致させている。
【００４４】
具体的には、この実施の形態では、１ラインを読み出しの単位として間欠的にＣＣＤ素子２を駆動して、４（＝ｎ×ｍ）フィールド期間でＣＣＤ素子２の全画素を読み出す。より具体的には、この実施の形態では、ＮＴＳＣ方式における４水平走査期間内にライン単位で３ライン分の信号を読み出すように、ＣＣＤ素子２をライン単位で間欠的に駆動する。従って、ＣＣＤ素子２の全画素を読み出すには、ＮＴＳＣ方式における４フィールド期間を要する。
【００４５】
このように、低速高解像度モード（第２モード）において、ＮＴＳＣ方式におけるフィールド期間（通常モードにおけるフィールド期間と同一）の４（＝ｎ×ｍ）倍の期間でＣＣＤ素子２の全画素を読み出すのは、読み出した画素に基づいて通常モードにおける画素数の（ｎ×ｍ）倍の画素で構成される画像を記録媒体１３に記録することに起因する。即ち、通常モードと低速高解像度モードとにおいて、記録媒体１３に同一形式（記録密度）で画像を記録するには、低速高解像度モードでは、通常モード（第１モード）におけるフィールド期間の（ｎ×ｍ）倍の期間で記録を行うことが好ましいからである。
【００４６】
図５（ａ）は、低速高解像度モード（第２モード）におけるＣＣＤ素子２の駆動タイミングを示しており、図５（ｂ）は、同モードにおけるＣＣＤ素子２の駆動タイミングを示している。図３（ａ）及び（ｂ）と同様に、フィールド期間は、１／５９．９４ｓｅｃ（＝１６．７ｍｓｅｃ）、水平走査期間は、１／（５９．９４×２６２．５）（＝６３．６μｓｅｃ）であって、ＮＴＳＣ方式と一致している。
【００４７】
図５（ａ）に示すように、低速高解像度モード（第２モード）では、４（＝ｎ×ｍ）フィールド期間でＣＣＤ素子２の全画素が読み出される。ここで、図５（ｂ）に示すように、ＣＣＤ素子２の駆動を制御する水平同期信号ＨＤＸ２の水平走査周波数は、通常モードの場合と同様に、ＮＴＳＣ方式の２倍であり、４倍の水平走査期間内に３ライン分の信号が読み出されるように走査線単位で間欠的にＣＣＤ２を駆動する。
【００４８】
ここで、上記のように、低速高解像度モードにおいて、通常モードにおけるフィールド期間の（ｎ×ｍ）倍の期間でＣＣＤ素子２から画素を読み出す場合、通常モードと比較して水平方向に（ｎ−１）倍〜ｎ倍、垂直方向に（ｍ−１）倍〜ｍ倍の画素数（通常モードにおける画素数の整数倍ではない画素数）の画像を生成して記録媒体１３に記録することもできる。
【００４９】
ＣＣＤ素子２から読み出されたＣＣＤ信号は、ＣＤＳ／ＡＧＣ回路４を経由してＡＤ変換器５に入力され、デジタル信号に変換され、次いで、ＦＩＦＯメモリ６に供給される。
【００５０】
ＦＩＦＯメモリ６は、モードスイッチ７により設定される動作モードに応じて異なるタイミング動作する。
【００５１】
通常モード（第１モード）では、ＦＩＦＯメモリ６は、ＣＣＤ素子２から供給される横長の画像のうち、テレビジョン画面上に表示される部分（中央部）を切り出すように動作する。ここで、ＦＩＦＯメモリ６から画像信号を読み出す周波数を、書込み周波数（＝ＣＣＤ素子２を駆動する周波数）の２／３、即ち、２７．０ＭＨｚに設定することにより、ＦＩＦＯメモリ６の前後の系において、水平及び垂直周波数を一致させることができる。
【００５２】
図６は、通常モードにおけるＦＩＦＯメモリ６の制御タイミングを示す図である。ＷＥは、書込みを許可するイネーブル信号、ＷＲＳＴは、ＦＩＦＯメモリ６の書込みアドレスをリセットするリセット信号、ｗｒｉｔｅ信号は書き込み信号（画像信号）、ｒｅａｄ信号は読み出し信号（画像信号）、ＲＲＳＴは、ＦＩＦＯメモリ６の読み出しアドレスをリセットすリセット信号である。図６に示すように、通常モード（第１モード）では、有効映像領域の１０８０画素のうち中心部の２／３の画素、即ち中心部の７２０画素のみをＦＩＦＯメモリ６に書き込み、この７２０画素を書き込み周波数の２／３の周波数で読み出すことにより、ＦＩＦＯメモリ６の前後の系において、水平及び垂直周波数を一致させた状態で、有効画像領域の中心部を切り出すことができる。
【００５３】
一方、低速高解像度モード（第２モード）では、ＣＣＤ素子２より間欠的に読み出し、ＣＤＳ／ＡＧＣ回路４及びＡＤ変換器を経由してＦＩＦＯメモリ６に供給される全画素の信号をＦＩＦＯメモリ６に書込む。そして、ＦＩＦＯメモリ６に書き込まれた信号は、通常モードと同一の読み出し周波数である２７．０ＭＨｚでＦＩＦＯメモリ６より読み出される。また、読み出しの際の水平走査周波数は、ＣＣＤ素子２を駆動する信号の水平走査周波数の２倍、即ち、ＮＴＳＣ方式の水平走査周波数と同一である。
【００５４】
図７は、低速高解像度モードにおけるＦＩＦＯメモリ６の制御タイミングを示す図である。各信号の意味は図６と同様である。ＣＣＤ素子２より間欠的に読み出し、ＣＤＳ／ＡＧＣ回路４及びＡＤ変換器を経由してＦＩＦＯメモリ６に供給される信号は、ＷＥ及びＷＲＳＴに従って有効映像期間においてのみＦＩＦＯメモリ６に書き込まれる。この書き込みの周波数は、当然に、ＣＣＤ素子２を駆動する信号の駆動周波数と同一の４０．５ＭＨｚである。
【００５５】
また、ＦＩＦＯメモリ６に書込まれた各ラインの信号は、夫々ＮＴＳＣ方式における１水平走査期間内に、通常モードと同様の２７．０ＭＨｚで読み出される。ここで、書込み動作と無関係に、例えば図７に示すように、ＮＴＳＣ方式における水平走査期間と同一の周期で読み出しアドレスをリセットすることにより、各ラインの画素を連続的に読み出すことができる。
【００５６】
ＦＩＦＯメモリ６から読み出された映像信号Ｓｉは、カメラ信号処理回路９に供給される。図８は、カメラ信号処理回路９の構成例を示す図である。ＦＩＦＯメモリ６から供給される信号Ｓｉは、ＯＢクランプ回路８０１、ホワイトバランス回路８０２を経て、直列に連結された４つの１Ｈメモリ８０３〜８０６の初段の１Ｈメモリ８０３に入力される。この４つの１Ｈメモリ８０３〜８０６により５ライン分の映像信号（０Ｈ〜４Ｈ）を得ることができる。
【００５７】
ホワイトバランス回路８０２及び１Ｈメモリ８０３〜８０６から並列に出力される５ライン分の映像信号は、輪郭補正信号生成回路８０７及び色分離回路８０８に供給される。輪郭補正信号生成回路８０７では、映像信号の高域成分を抽出することにより輪郭補正信号を生成する。一方、色分離回路８０８では、ＣＣＤ素子２の色フィルタの配列に従って点順次で得られるＲＧＢの各信号を振り分け、５ライン分の信号を使って内挿補間することによりＲＧＢの各信号を生成する。色分離回路８０８で生成されたＲＧＢの各信号Ｇ，Ｂ，Ｒは、ＬＰＦ８０９，８１０，８１１において不要な周波数成分を除去された後に、加算器８１２，８１３，８１４において、輪郭補正信号生成回路８０７から出力される輪郭補正信号と加算される。これにより、ＲＧＢの各信号に係る画像は、輪郭が補正される。
【００５８】
加算器８１２，８１３，８１４から出力されたＲＧＢの各信号は、ガンマ補正回路８１５，８１６，８１７において、ガンマ補正が施され、その後、マトリクス回路８１８において、輝度信号Ｙ、色差信号Ｂ−Ｙ及びＲ−Ｙに変換される。マトリクス回路８１８により生成される２種類の色差信号Ｂ−Ｙ，Ｒ−Ｙは、多重化回路８１９において、１クロック毎に間引かれて多重化された色差信号Ｃに変換された後に、直列に連結された２つの１Ｈメモリ８２２及び８２３の初段の１Ｈメモリ８２２に入力される。また、同時に輝度信号Ｙは、直列に連結された２つの１Ｈメモリ８２０の８２１の初段の１Ｈメモリ８２０に入力される。
【００５９】
１Ｈメモリ８２０及び８２１並びに８２２及び８２３では、夫々垂直方向の内挿補間を行うために２ライン分の信号を同時化すると共に水平方向の補間のためのデータホールドを行う。なお、この処理は、低速高解像度モードにおいてのみ実行される。これは、通常モードにおいては、ＣＣＤ素子２から信号を読み出すことにより、必要な全画素を得ることができるからである。従って、通常モードにおいては、マトリクス回路８１９から出力される輝度信号Ｙ及び多重化回路８１９から出力される色差信号Ｃは、輝度信号Ｙｏ及び色差信号Ｃｏとして、カメラ信号処理部８から出力される。
【００６０】
図９は、１Ｈメモリ８２０及び８２１並びに８２２及び８２３における水平方向のデータホールド動作を示す図である。水平走査周波数がＮＴＳＣ方式と同一の１５．７ｋＨｚである場合において、上記のように動作周波数を２７．０ＭＨｚとすると、水平方向の画素数は７２０の２倍の１４４０になる。
【００６１】
しかしながら、本実施の形態の低速高解像度モードでは、ＣＣＤ素子２の水平方向の画素数は１０８０であるため、１Ｈメモリ８２０〜８２３により処理される前においては有効映像期間が１０８０画素分である。そこで、各４クロック期間内に、連続する３画素を連続して読み出し、該３画素の末尾の画素を再度読み出すことにより、見掛け上、各４クロック期間内に４画素を連続的に読み出す。これは、１Ｈメモリ８２０〜８２３に与える読み出しアドレスのインクリメントを４クロックに１回の割合で停止することにより実現することができる。
【００６２】
１Ｈメモリ８２０〜８２３により同時化された２ライン分の輝度信号、色差信号は、夫々垂直補間回路８２４，８２５に供給され、垂直方向の線形内挿による補間が行われた後、水平補間回路８２６，８２７に供給され、水平方向の線形内挿補間が施されることにより、所望の画素数（画像サイズ）への変換がなされる。即ち、低速高解像度モードでは、ｎ＝ｍ＝２の場合、通常モードの画素数と比較して、水平方向に２倍、垂直方向に２倍の画素数の画像、即ち、水平１４４０画素×垂直９６０画素の画像が生成される。
【００６３】
図１１は、水平補完回路８２６の構成例を示す図である。図１０は、水平補完回路８２６における補間前の画素（○）と補間後の画素（△）との幾何学的な位置関係及び線形内挿における係数を示す図である。図１２は、水平補間回路８２６における各信号のタイミングを示す図である。
【００６４】
水平補間回路８２６に入力された輝度信号ＹＩは、第１の係数器１１０３に供給され、また、１クロック遅延器１１０１により１クロック分遅延され、遅延信号Ｙｄとして第２の係数器１１０４に供給される。
【００６５】
第１、第２の係数器１１０３、１１０４には、補間により生成される画素の幾何学的位置に応じて係数発生器１１０２が発生する第１、第２の係数Ｋ１、Ｋ２が夫々供給される。そして、第１、第２の係数器１１０３、１１０４により係数が乗ぜられた後に、加算器１１０５は、その２つの乗算結果を加算して、その加算結果を補間信号Ｙｏとして出力する、
色差信号についても上記と同様にして水平方向の補間が施される。また、ここでは水平方向の補間処理に関してのみ説明したが、垂直方向の補間処理も同様の手法を適用して実行することができる。
【００６６】
カメラ信号処理回路８で生成された輝度信号Ｙｏと色差信号Ｃｏは、記録再生信号処理回路９に供給され、記録のための圧縮符号化、エラー訂正符号付加、変調等の処理を受けた後に、記録ヘッド１０を経由して記録媒体１３に記録される。記録再生信号処理回路９では、例えば民生用ディジタルビデオ規格に則ったフォーマットで記録及び再生を行う。また、記録再生信号処理回路９に入力される画像は、水平７２０画素、垂直４８０画素、６０field/secの画像である。
【００６７】
従って、記録再生信号処理回路９は、通常モード（第１モード）の場合は、カメラ信号処理回路８で生成される水平７２０画素、垂直４８０画素の６０frame/secの信号から２：１インターレース走査に適合した間引きを行って標準テレビ信号を生成し記録媒体１３に記録する。一方、記録再生信号処理回路９は、低速高解像度モード（第２モード）の場合は、水平１４４０画素、垂直９６０画素、１５frame/secの画像を、図１３（ａ）及び（ｂ）に示すように、水平７２０×垂直４８０の４枚の画像Ａ，Ｂ，Ｃ，Ｄに分割し、これを８枚のフィールド画像Aodd,Aeven,Bodd,Beven,Codd,Ceven,Dodd,Devenとして記録媒体１３に記録する。
【００６８】
また、図１３（ａ）及び（ｂ）に示す方式の代わりに、例えば、図１３（ｃ）に示すように、水平１４４０画素、垂直９６０画素の画像を水平２画素、垂直２画素毎にサブサンプルした４枚のフレーム画像に分割して記録媒体１３に記録する方式を採用することもできる。
【００６９】
以上のように、動作モードとして通常モード（第１モード）と低速高解像度モード（第２モード）とを設けることにより、画像を利用する機器の仕様に応じた高解像度の画像を当該機器に提供することが可能になる。
【００７０】
また、撮像素子で撮像した画像を通常モード（第１モード）における画素数のｎ（水平方向）×ｍ（垂直方向）倍の画素数の画像を記録する低速高解像度モード（第２モード）において、（ｎ×ｍ）倍の垂直走査期間で撮像素子より信号を読み出し、画素数を変換（変倍）することにより、撮像素子の水平走査周波数及び駆動周波数を通常モードと同一にしたまま、高解像度の画像を記録することができる。
【００７１】
［第２の実施の形態］
図１４は、本発明に第２の実施の形態に係る単板ビデオカメラの構成を概略的に示す図である。この実施の形態に係る単板ビデオカメラは、結像光学系１、ＣＣＤ素子２、ＣＣＤ駆動パルス発生器３、ＣＤＳ／ＡＧＣ回路４、ＡＤ変換器５、ＦＩＦＯメモリ６、モードスイッチ７及びカメラ信号処理部８に関しては、第１の実施の形態と同様の構成を有する。以下では、第１の実施の形態との相違部分を説明する。
【００７２】
図１５は、記録再生信号処理回路９の構成例を示す図である。通常モード（第１モード）では、選択器１３０３，１３０８は、共にＢ端子側の入力を選択して、カメラ信号処理部８から供給される輝度信号Ｙｏ、色差信号Ｃｏを圧縮符号化回路１３０５，１３１０に夫々供給する。
【００７３】
圧縮符号化回路１３０５，１３１０において圧縮符号化された輝度信号、色差信号は多重化回路１３１１に供給され、該多重化回路１３１１において記録フォーマットに従ったフォーマッティングがなされ、エラー訂正符号付加回路１３１２において、伝送路誤りを訂正するためのパリティが付加された後に、記録変調回路１３１３を介して記録ヘッド１０に供給される。
【００７４】
一方、低速高解像度モード（第２モード）では、カメラ信号処理回路８から供給される輝度信号Ｙｏ、色差信号Ｃｏは、帯域制限回路（２次元ローパスフィルタ）１３０１，１３０６において、通常モード（第１モード）と同一サイズのベースバンド成分が抽出される。また、減算器１３０２，１３０７では、輝度信号Ｙｏ、色差信号Ｃｏと、帯域制限回路１３０１，１３０６から出力されるベースバンド成分との差分を演算して、輝度信号Ｙｏ、色差信号Ｃｏの高域成分を夫々抽出する。
【００７５】
低速高解像度モード（第２モード）では、選択器１３０３，１３０８は、共にＡ端子側を選択し、圧縮符号化回路１３０５，１３１０には、帯域制限回路１３０１，１３０６により抽出されたベースバンド成分が夫々供給されて、通常モード（第１モード）における場合と同様に圧縮符号化される。一方、減算器１３０２，１３０７により抽出された高域成分は、第２の圧縮符号化回路１３０４，１３０９に夫々供給され、圧縮符号化される。そして、圧縮符号化された輝度及び色差信号のベースバンド成分と高域成分は、多重化回路１３１１においてフォーマティングされる。
【００７６】
図１６は、記録再生信号処理回路１０１が記録媒体１３に記録する記録データのブロック構造を示す図である。記録データの１つのブロックは、図１６に示すように、同期（sync）キャラクタ領域２０１、画像情報領域２０２、付加情報領域２０３、パリティ領域２０４で構成される。画像情報領域２０２には、通常モードにおける画像情報又は低速高解像度モードにおけるベースバンド成分が記録される。また、低速解像度モードにおいては、付加情報領域２０３に、高域成分を記録するための高域成分領域２０３ａが設けられる。
【００７７】
多重化部１３１１により、同期（sync）キャラクタ領域２０１、画像情報領域２０２、付加情報領域２０３からなるブロック構造にフォーマティングされた記録データは、エラー訂正符号付加回路１３１２において、パリティ領域２０４に伝送路誤りを訂正するためのパリティが付加された後に、記録変調回路１３１３を介して記録ヘッド１０に供給される。
【００７８】
また、再生時において、記録媒体１３より再生ヘッド１１を介して読み取られた再生信号は、記録復調回路１３２２及びエラー訂正回路１３２１を介して、データ分離回路１３２０に供給される。データ分離回路１３２０は、図１６に示すブロック構造を有する再生信号より、圧縮符号化された輝度及び色差信号のベースバンド成分（又は通常モードにおける画像情報）と高域成分（低速度高解像度モードの場合のみ）を抽出する。そして、データ分離回路１３２０は、輝度信号の高域成分を伸張回路１３１５に、輝度信号のベースバンド成分を伸張回路１３１６に、色差信号の高域成分を伸張回路１３１８に、色差信号のベースバンド成分を伸張回路１３１９に供給する。
【００７９】
伸張回路１３１６，１３１７により伸張された輝度信号及び色差信号のベースバンド成分Ｙｎ，Ｃｎは、ＮＴＳＣエンコーダ１０２により標準テレビジョン信号に変換されてライン出力として出力される。
【００８０】
更に、低速高解像度モード（第２モード）で記録された画像に関しては、伸長の後に合成回路１３１４，１３１７によりベースバンド成分と高域成分を合成することにより、通常モードの４（＝ｎ×ｍ）倍の画素数（画像サイズ）の高解像度の画像に復元される。復元された高解像度の画像の輝度信号Ｙｗ、色差信号Ｃｎは、ディジタルＩ／Ｆ回路１０３を介して、外部に接続されたディジタル機器（例えば、パーソナルコンピュータやプリンタ等）に転送される。
【００８１】
この実施の形態によれば、デジタルビデオ装置のフォーマットに従って、解像度及びフレームレート（秒間コマ数）の異なる２つのモードにおいて、撮像、記録、再生を行うことができる。従って、目的に応じて所望の画像品質を得ることができる。
【００８２】
なお、上記の実施の形態では、ディジタルＩ／Ｆ回路１０３を介して輝度信号Ｙｗ及び色差信号Ｃｎを外部に転送するが、その代わりに、例えば、エラー訂正回路１３２１によるエラー訂正後のデータ等をそのままディジタルＩ／Ｆ回路１０３を介して外部に転送してもよい。
【００８３】
［その他］
なお、本発明は、複数の機器（例えば、撮像装置，コンピュータ，インタフェイス機器，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルビデオカメラなど）に適用してもよい。
【００８４】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００８５】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８６】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００８７】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８８】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８９】
以上のように、所定の記録フォーマットで規定される画素数より多い画素を有する撮像素子を用い、撮像素子の有する全画素情報のうち、記録フォーマットにより規定される画像サイズに等しいサイズの画像を切り出して記録媒体に記録する第１モードと、撮像素子の有する全画素情報を通常モードの垂直走査期間の（ｎ×ｍ）倍の期間で読み出し、記録フォーマットにより規定される画像数を水平にｎ倍、垂直にｍ倍した画素数の画像に変換して記録媒体に記録する第２モードとを備えることにより、例えば、通常の画質（解像度）の動画の記録と、高精細（高解像度）な準動画（又は静止画）の記録とを目的に応じて切り換えることができる。
【００９０】
また、高精細画像を、通常の画像の記録フォーマットと互換性のあるベースバンド成分と、高域成分とに分離し、ベースバンド成分を画像情報として記録し、高域成分を付加情報として記録媒体に記録することにより、接続する外部機器の仕様に応じた画像を再生して出力することができ、また、高精細画像を再生するための他の再生装置に該記録媒体を提供して画像を再生することができる。
【００９１】
【発明の効果】
本発明によれば、例えば、画像を再生する装置の仕様に応じた品位の画像を得ることができる。
【００９２】
【図面の簡単な説明】
【図１】本発明の好適な実施の形態に係る単板ビデオカメラ（画像入力装置）の構成を概略的に示す図である。
【図２】ＣＣＤ素子の色フィルタの配列を示す図である。
【図３】通常モード（第１モード）におけるＣＣＤ素子の駆動タイミングを示す図である。
【図４】通常モード（第１モード）においてＣＣＤ素子から画素を読み出す領域を示す図である。
【図５】低速高解像度モード（第２モード）におけるＣＣＤ素子の駆動タイミングを示す図である。
【図６】通常モード（第１モード）におけるＦＩＦＯメモリの制御タイミングを示す図である。
【図７】低速高解像度モード（第２モード）におけるＦＩＦＯメモリの制御タイミングを示す図である。
【図８】カメラ信号処理回路の構成例を示す図である。
【図９】水平方向のデータホールド動作を示す図である。
【図１０】水平補完回路における補間前の画素（○）と補間後の画素（△）との幾何学的な位置関係及び線形内挿における係数を示す図である。
【図１１】水平補完回路の構成例を示す図である。
【図１２】水平補間回路における各信号のタイミングを示す図である。
【図１３】低速高解像度モード（第２モード）で生成した画像の記録方法（分割方法）を示す図である。
【図１４】本発明に第２の実施の形態に係る単板ビデオカメラの構成を概略的に示す図である。
【図１５】記録再生信号処理回路の構成例を示す図である。
【図１６】記録再生信号処理回路が記録媒体に記録する記録データのブロック構造を示す図である。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image input apparatus, an image input method, and a memory medium, and more particularly, to an image input apparatus and an image input method for capturing an image of a subject as an electric signal using an image sensor and a memory medium used for controlling the apparatus.
[0002]
[Prior art]
In recent years, with the progress of digital signal processing technology and semiconductor technology, consumer digital video standards for digitally recording moving picture signals of standard television systems, for example, NTSC system and PAL system, have been proposed. As an application, a video camera in which a digital video recording / reproducing apparatus and a digital camera are integrated has been commercialized.
[0003]
Some of these video cameras have a digital image recording function by taking advantage of the characteristics of digital recording, or have a digital I / F for connecting to a computer or the like. Some have a transfer function.
[0004]
[Problems to be solved by the invention]
However, the conventional example has the following drawbacks. That is, in the video camera according to the conventional example, when a captured image is reproduced on a television screen, the number of pixels (image size) is the number of pixels defined by the digital video standard (for example, 720 × 480 pixels). ) Is sufficient, but when an image is provided to another device via a digital I / F or a recording medium (for example, video tape), more pixels are used depending on the specifications of the other device. It is desirable to provide a number of images. The present invention has been made in view of the above-described background, and an object of the present invention is to obtain, for example, an image having a quality according to the specifications of an apparatus that reproduces an image.
[0005]
[Means for Solving the Problems]
An image input apparatus according to a first aspect of the present invention is an image input apparatus that captures an image of a subject as an electrical signal, and uses an image sensor, a selection unit that selects an operation mode, and an output of the image sensor. And an image processing means for generating an image having the number of pixels corresponding to the operation mode selected by the selection means, and an output means for outputting the image generated by the image processing means.
[0006]
In the image input apparatus, for example, the output unit preferably includes a recording unit that records an image generated by the image processing unit on a recording medium.
[0007]
In the image input device, for example, the operation mode includes a first mode and a second mode, and the image processing unit generates an image having a number of pixels defined in a predetermined recording format in the first mode. In the second mode, it is preferable to generate an image having a larger number of pixels than the number of pixels of the image generated in the first mode.
[0008]
In the image input device, for example, the output unit converts the image generated by the image processing unit so as to match a predetermined recording format in both the first mode and the second mode. It is preferable to output.
[0009]
In the above-described image input device, for example, the image sensor has a number of pixels larger than the number of pixels defined by a predetermined recording format, and the image processing means captures an image with the image sensor in the first mode. The image having the number of pixels defined in the predetermined recording format is generated by cutting out a part of the image to be recorded. In the second mode, the output of the image sensor is used to generate the image in the predetermined recording format. It is preferable to generate an image having a larger number of pixels than the prescribed number of pixels.
[0010]
In the above-described image input device, for example, in the second mode, the image processing unit is configured so that 1 from the image sensor in a vertical scanning period that is n (natural number) × m (natural number) times the vertical scanning period in the first mode. It is preferable to read out one image and convert the image into an image having a pixel number n times in the horizontal direction and m times in the vertical direction as compared with the image generated in the first mode.
[0011]
In the above-described image input device, for example, it is preferable that the image processing unit reads all pixels from the image sensor in the second mode.
[0012]
In the above-described image input device, for example, in the second mode, the image processing unit is connected to the imaging element in a vertical scanning period that is n (natural number) × m (natural number) times the main direct scanning period in the first mode. One image is read out, and the image is (n−1) times to n times in the horizontal direction and (m−1) times to m times in the vertical direction compared to the image generated in the first mode. It is preferable to convert to an image having a number.
[0013]
In the above-described image input device, for example, it is preferable that the image processing unit reads all pixels from the image sensor in the second mode.
[0014]
In the above image input device, for example, the image sensor is preferably an image sensor that can read out all pixels within one vertical scanning period.
[0015]
In the above-described image input device, for example, it is preferable that the drive frequency and the horizontal scanning frequency of the image sensor are the same regardless of the operation mode.
[0016]
In the above image input device, for example, in both the first mode and the second mode, the drive frequency and the horizontal scanning frequency of the imaging element are the same, and the image processing means is It is preferable that pixels are continuously read from the image sensor in units of scanning lines, and in the second mode, pixels are intermittently read from the image sensor in units of scanning lines.
[0017]
In the above-described image input device, for example, in the first mode, the image processing unit transfers the unnecessary scanning line pixels in the image sensor at a high speed during the blanking period, thereby the unnecessary scanning line. It is preferable to discard the pixels.
[0018]
In the above-described image input device, for example, the image processing unit includes an image buffer that temporarily stores an image output from the image sensor, and is continuously output from the image sensor in the first mode. It is preferable to cut out a part of an image picked up by the image pickup device by writing only pixels belonging to a necessary area among the pixels to be processed into the image buffer and setting the pixel written in the image buffer as a processing target. .
[0019]
In the above image input device, for example, the frequency of the image buffer write operation is the same as the drive frequency of the image sensor, and the frequency of the image buffer read operation is the same as the frequency of the output operation of the output means. It is preferable that
[0020]
In the above-described image input device, for example, the output unit includes a separation unit that separates an image generated by the image processing unit into a baseband component and a high frequency component, and outputs the baseband component as image information. In addition, it is preferable to output a high frequency component as the additional information.
[0021]
In the above image input apparatus, for example, the output unit further includes a separation unit that separates an image generated by the image processing unit into a baseband component and a high-frequency component, and the recording unit includes the baseband Preferably, the component is recorded on the recording medium as image information, and the high frequency component is recorded on the recording medium as additional information.
[0022]
In the image input device, for example, it is preferable that the image input device further includes a reading unit that reads an image recorded on a recording medium.
[0023]
In the image input apparatus, for example, the output unit preferably further includes a transfer unit that transfers an image read from a recording medium by the reading unit to an external device.
[0024]
An image input method according to a second aspect of the present invention is an image input method for capturing an image of a subject as an electrical signal using an image sensor, and uses a selection step of selecting an operation mode and an output of the image sensor. The image processing step includes generating an image having the number of pixels corresponding to the operation mode selected in the selection step, and an output step outputting the image generated in the image processing step.
[0025]
A memory medium according to a third aspect of the present invention is a memory medium that stores a control program for controlling an image input device that captures an image of a subject as an electrical signal using an imaging device, and the control program includes: A selection step for selecting an operation mode, an image processing step for generating an image with the number of pixels corresponding to the operation mode selected in the selection step by using the output of the imaging device, and an image processing step. And an output step of outputting the image.
[0026]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
[0027]
[First Embodiment]
FIG. 1 is a diagram schematically showing a configuration of a single-panel video camera (image input device) according to a preferred embodiment of the present invention. As shown in FIG. 1, a video camera according to a preferred embodiment of the present invention includes an imaging optical system 1, a CCD element 2, a CCD drive pulse generator 3, a CDS / AGC circuit 4, an AD converter 5, and a FIFO. A memory 6, a mode switch 7, a camera signal processing unit 8, a recording / reproducing signal processing unit 9, a recording head 10, a reproducing head 11, and a digital interface 12 are provided.
[0028]
The imaging optical system 1 forms an object image on the light receiving surface of the CCD element 2. The CCD 4 is an image sensor that converts an optical image incident on the light receiving surface into an electrical signal. The CCD drive pulse generator 3 generates a pulse signal for driving the CCD element 2. The CDS / AGC circuit 4 reduces noise contained in the RGB image signal output from the CCD element 2 and amplifies it to an appropriate level. The AD converter 5 converts the RGB image signal output from the CDS / AGC unit 4 into a digital signal. The FIFO memory 6 is a memory used as an image buffer.
[0029]
The mode switch 7 is a switch for switching the operation mode of the video camera. The camera signal processing unit 8 generates an image signal for recording or transfer based on the RGB image signal supplied from the FIFO memory 6. The recording / reproducing signal processing circuit 9 processes an image signal to be recorded on the recording medium 13 or an image signal read from the recording medium 13. The recording head 10 is a head for recording image information on the recording medium 13, and the reproducing head 11 is a head for reading the image information recorded on the recording medium 13. The digital interface 12 is used to transfer image information read from the recording medium 13 by the reproducing head 11 or image information supplied from the camera signal processing unit 8 to an external device.
[0030]
Hereinafter, an operation example of the digital camera shown in FIG. 1 will be described. The following operation example relates to the case where the NTSC system, which is a standard television system, is adopted as the television system, but this is an example and does not limit the scope of application of the present invention.
[0031]
A subject image formed on the light receiving surface of the CCD element 2 by the imaging optical system 1 is converted into an electrical signal by the CCD element 2. On the light receiving surface of the CCD element 2, a color filter array for capturing a color image is arranged. For example, as shown in FIG. 2, the color filter array is formed by periodically arranging RGB color filters.
[0032]
The CCD element 2 has a larger number of pixels than the number of pixels in one frame determined by the standard television format. Specifically, it is as follows. In this embodiment, the NTSC system is adopted. In the NTSC system, the operating frequency is 13.5 MHz, and one frame image is composed of 720 pixels in the horizontal direction and 480 pixels in the vertical direction. The CCD element 2 has 1.5 times as many pixels as one frame image of the NTSC system in both the horizontal and vertical directions. That is, the CCD element 2 has 1080 pixels in the horizontal direction and 720 pixels in the vertical direction.
[0033]
In this embodiment, the CCD element 2 is not a CCD element of a reading method compatible with 2: 1 interlace generally used for video cameras, but a method of reading out information on all scanning lines within one field period (so-called “ An all-pixel readout method ") CCD element is employed.
[0034]
The CCD element 2 is driven by the drive pulse supplied from the CCD drive pulse generator 3 and outputs an electrical signal in synchronization with the drive pulse. The CCD element 2 is driven at a timing according to the setting state of the mode switch 7, that is, the operation mode. This operation mode includes a normal mode (first mode) and a low-speed high-resolution mode (second mode).
[0035]
In the normal mode (first mode), the CCD element 2 is driven at the same field frequency as in the NTSC system. However, when all the pixels of the CCD element 2 are read out within one field period, there is a problem that the operating frequency becomes very high and the power consumption increases. That is, the operating frequency when reading 720 × 480 pixels by the 2: 1 interlace method is 13.5 MHz, whereas when reading all pixels within one field period, both horizontal and vertical are 1.5. Since the double number of pixels is read out in one field period, the operating frequency is
13.5 (MHz) x 1.5 (horizontal) x 1.5 (vertical) x 2 (all pixel readout)
= 60.75MHz
Thus, the above problem occurs.
[0036]
Therefore, in this embodiment, as shown in FIG. 4, the pixels (CCD signals) constituting the upper and lower portions of the CCD element 2 (screen) are transferred at high speed within the vertical blanking period, and the CCD element 2 (screen) is displayed. The driving frequency is prevented from being increased by driving the CCD element 2 so as to read out only the 480 lines in the central portion of (). The operating frequency in this case is
13.5 (MHz) x 1.5 (horizontal) x 2 (all pixel readout) = 40.5 MHz
It becomes. Further, the horizontal scanning frequency of the drive signal of the CCD element 2 is twice that of the NTSC system.
[0037]
FIG. 3A shows the drive timing of the CCD element 2 in the normal mode (first mode), and FIG. 3B shows the drive timing of the CCD element 2 in the same mode. Note that VD is a vertical synchronization signal, HD is a horizontal synchronization signal, HDX2 is a horizontal synchronization signal (1/2 period of the horizontal synchronization signal HD) for controlling the driving of the CCD element 2, and the CCD signal is the CCD element 2 It is an electric signal read out from.
[0038]
3A and 3B, the field period is 1 / 59.94 sec (= 16.7 msec), and the horizontal scanning period is 1 / (59.94 × 262.5) (= 63.6 μsec). Both are consistent with the NTSC system.
[0039]
As shown in FIG. 3 (a), a total of 240 lines at the top and bottom of all the pixels of the CCD element 2 are high-speeded during a period not displayed on the television screen called a blanking period in the field period. The CCD element 2 is driven so that it is discarded by transfer and 480 lines for one frame are read out within the effective video period. Further, in this embodiment, since pixels for one frame (pixels for two fields) are read out in one field period in the standard television system of 2: 1 interlace method, as shown in FIG. The horizontal scanning frequency of the horizontal synchronizing signal HDX2 for driving the CCD element 2 is twice the horizontal scanning frequency of the NTSC system (the horizontal scanning period is ½).
[0040]
On the other hand, in the low-speed high-resolution mode (second mode), an image having a larger number of pixels than the number of pixels (image size) of the image recorded on the recording medium 13 in the normal mode (first mode) is recorded on the recording medium 13. Here, the number of pixels of the image recorded on the recording medium 13 in the low speed and high resolution mode is the number of pixels obtained by multiplying the number of pixels of the image in the normal mode by n times in the horizontal direction and m times in the vertical direction. For example, n and m are preferably natural numbers of 2 or more, or n × m is preferably a natural number of 2 or more. Further, the pixel ratio in the horizontal direction and the vertical direction of the image recorded on the recording medium 13 in the normal mode (first mode) is the pixel ratio in the horizontal direction and the vertical direction of the image recorded on the recording medium 13 in the low speed and high resolution mode. If they match, n = m.
[0041]
In the low-speed and high-resolution mode (second mode), the CCD element 2 is driven at a field frequency that is 1 / (n × m) times the NTSC field frequency (equal to the field frequency in the normal mode). The present embodiment is an example in the case of n = m = 2.
[0042]
In the low-speed high-resolution mode (second mode), the CCD element 2 reads out all the pixels of the CCD element 2 within a period (1 / 59.94 = 16.7 msec) times (n × m) times the NTSC field period. 2 is driven. That is, when n = m = 2, the entire screen of the CCD element 2 is read out within a period of 4 / 59.94 sec (= 66.7 msec).
[0043]
In this case, the frequency for driving the CCD element 2 can be made lower than the frequency in the normal mode (first mode) (the frequency twice the frequency of the NTSC system). However, the drive frequency of the CCD element 2 in the normal mode and the drive frequency of the CCD element 2 in the low speed and high resolution mode (second mode) are not preferable in terms of the system configuration. Therefore, in this embodiment, the drive frequencies in both modes are matched.
[0044]
Specifically, in this embodiment, the CCD element 2 is driven intermittently with one line as a unit of reading, and all the pixels of the CCD element 2 are read out in 4 (= n × m) field periods. More specifically, in this embodiment, the CCD element 2 is intermittently driven in units of lines so that signals for three lines are read out in units of lines within four horizontal scanning periods in the NTSC system. Therefore, reading out all pixels of the CCD element 2 requires four field periods in the NTSC system.
[0045]
As described above, in the low-speed and high-resolution mode (second mode), all pixels of the CCD element 2 are read out in a period 4 (= n × m) times the field period in the NTSC system (same as the field period in the normal mode). Is caused by recording on the recording medium 13 an image composed of pixels (n × m) times the number of pixels in the normal mode based on the read pixels. That is, in order to record an image in the same format (recording density) on the recording medium 13 in the normal mode and the low-speed high-resolution mode, in the low-speed high-resolution mode, the field period (n ×) in the normal mode (first mode) is recorded. This is because recording is preferably performed in a period of m) times.
[0046]
FIG. 5A shows the drive timing of the CCD element 2 in the low-speed and high-resolution mode (second mode), and FIG. 5B shows the drive timing of the CCD element 2 in the same mode. Similar to FIGS. 3A and 3B, the field period is 1 / 59.94 sec (= 16.7 msec), and the horizontal scanning period is 1 / (59.94 × 262.5) (= 63.6 μsec). ), Which is consistent with the NTSC system.
[0047]
As shown in FIG. 5A, in the low-speed and high-resolution mode (second mode), all pixels of the CCD element 2 are read out in 4 (= n × m) field periods. Here, as shown in FIG. 5 (b), the horizontal scanning frequency of the horizontal synchronizing signal HDX2 for controlling the driving of the CCD element 2 is twice that of the NTSC system and four times as in the normal mode. The CCD 2 is intermittently driven in units of scanning lines so that signals for three lines are read out during the horizontal scanning period.
[0048]
Here, as described above, in the case of reading out pixels from the CCD element 2 in the period of (n × m) times the field period in the normal mode in the low-speed and high-resolution mode, the horizontal direction (n− It is also possible to generate an image with 1) times to n times and (m−1) times to m times in the vertical direction (number of pixels that is not an integer multiple of the number of pixels in the normal mode) and record it on the recording medium 13. it can.
[0049]
The CCD signal read from the CCD element 2 is input to the AD converter 5 via the CDS / AGC circuit 4, converted into a digital signal, and then supplied to the FIFO memory 6.
[0050]
The FIFO memory 6 operates at different timings depending on the operation mode set by the mode switch 7.
[0051]
In the normal mode (first mode), the FIFO memory 6 operates to cut out a portion (center portion) displayed on the television screen from the horizontally long image supplied from the CCD element 2. Here, by setting the frequency at which the image signal is read from the FIFO memory 6 to 2/3 of the writing frequency (= the frequency for driving the CCD element 2), that is, 27.0 MHz, the system before and after the FIFO memory 6 is set. The horizontal and vertical frequencies can be matched.
[0052]
FIG. 6 is a diagram showing the control timing of the FIFO memory 6 in the normal mode. WE is an enable signal that permits writing, WRST is a reset signal that resets the write address of the FIFO memory 6, a write signal is a write signal (image signal), a read signal is a read signal (image signal), and RRST is a FIFO memory 6 is a reset signal for resetting the read address 6. As shown in FIG. 6, in the normal mode (first mode), out of the 1080 pixels in the effective image area, 2/3 of the central portion, that is, only 720 pixels in the central portion is written into the FIFO memory 6, and the 720 pixels Is read out at a frequency that is 2/3 of the writing frequency, the center portion of the effective image area can be cut out with the horizontal and vertical frequencies matched in the system before and after the FIFO memory 6.
[0053]
On the other hand, in the low-speed and high-resolution mode (second mode), the signals of all the pixels are intermittently read from the CCD element 2 and supplied to the FIFO memory 6 via the CDS / AGC circuit 4 and the AD converter. Write to. The signal written to the FIFO memory 6 is read from the FIFO memory 6 at 27.0 MHz, which is the same read frequency as in the normal mode. The horizontal scanning frequency at the time of reading is twice the horizontal scanning frequency of the signal for driving the CCD element 2, that is, the same as the horizontal scanning frequency of the NTSC system.
[0054]
FIG. 7 is a diagram showing the control timing of the FIFO memory 6 in the low speed and high resolution mode. The meaning of each signal is the same as in FIG. A signal intermittently read from the CCD element 2 and supplied to the FIFO memory 6 via the CDS / AGC circuit 4 and the AD converter is written to the FIFO memory 6 only in the effective video period according to WE and WRST. Naturally, the writing frequency is 40.5 MHz which is the same as the driving frequency of the signal for driving the CCD element 2.
[0055]
Further, the signal of each line written in the FIFO memory 6 is read out at 27.0 MHz, which is the same as in the normal mode, within one horizontal scanning period in the NTSC system. Here, regardless of the writing operation, for example, as shown in FIG. 7, pixels in each line can be continuously read out by resetting the read address at the same cycle as the horizontal scanning period in the NTSC system.
[0056]
The video signal Si read from the FIFO memory 6 is supplied to the camera signal processing circuit 9. FIG. 8 is a diagram illustrating a configuration example of the camera signal processing circuit 9. The signal Si supplied from the FIFO memory 6 is input to the first 1H memory 803 of the four 1H memories 803 to 806 connected in series via the OB clamp circuit 801 and the white balance circuit 802. The four 1H memories 803 to 806 can obtain video signals (0H to 4H) for five lines.
[0057]
Video signals for five lines output in parallel from the white balance circuit 802 and the 1H memories 803 to 806 are supplied to a contour correction signal generation circuit 807 and a color separation circuit 808. The contour correction signal generation circuit 807 generates a contour correction signal by extracting a high frequency component of the video signal. On the other hand, the color separation circuit 808 distributes RGB signals obtained dot-sequentially according to the arrangement of the color filters of the CCD element 2, and generates RGB signals by interpolating using signals for five lines. . The RGB signals G, B, and R generated by the color separation circuit 808 are removed unnecessary frequency components by the LPFs 809, 810, and 811, and then added by the adders 812, 813, and 814 at the contour correction signal generation circuit 807. Is added to the contour correction signal output from. Thereby, the outline of the image related to each signal of RGB is corrected.
[0058]
The RGB signals output from the adders 812, 813, and 814 are subjected to gamma correction in gamma correction circuits 815, 816, and 817, and then in the matrix circuit 818, the luminance signal Y, the color difference signal BY, and Converted to RY. Two types of color difference signals BY and RY generated by the matrix circuit 818 are converted into a color difference signal C which is thinned out and multiplexed every clock in the multiplexing circuit 819 and then serially connected. The data is input to the first 1H memory 822 of the two connected 1H memories 822 and 823. At the same time, the luminance signal Y is input to the first 1H memory 820 of the 821 of the two 1H memories 820 connected in series.
[0059]
In the 1H memories 820 and 821, and 822 and 823, signals for two lines are synchronized in order to perform interpolation in the vertical direction, and data hold for interpolation in the horizontal direction is performed. This process is executed only in the low speed and high resolution mode. This is because all the necessary pixels can be obtained by reading signals from the CCD element 2 in the normal mode. Accordingly, in the normal mode, the luminance signal Y output from the matrix circuit 819 and the color difference signal C output from the multiplexing circuit 819 are output from the camera signal processing unit 8 as the luminance signal Yo and the color difference signal Co.
[0060]
FIG. 9 is a diagram illustrating a data hold operation in the horizontal direction in the 1H memories 820 and 821 and 822 and 823. In the case where the horizontal scanning frequency is 15.7 kHz, which is the same as that of the NTSC system, if the operating frequency is 27.0 MHz as described above, the number of pixels in the horizontal direction is 1440, which is twice 720.
[0061]
However, in the low-speed and high-resolution mode of the present embodiment, the number of pixels in the horizontal direction of the CCD element 2 is 1080. Therefore, before being processed by the 1H memories 820 to 823, the effective video period is 1080 pixels. Therefore, by continuously reading out three consecutive pixels within each four clock period and reading out the last pixel of the three pixels again, apparently four pixels are continuously read out within each four clock period. This can be realized by stopping the increment of the read address given to the 1H memories 820 to 823 at a rate of once every 4 clocks.
[0062]
The luminance signal and color difference signal for two lines synchronized by the 1H memories 820 to 823 are supplied to the vertical interpolation circuits 824 and 825, respectively, and after interpolation by linear interpolation in the vertical direction, the horizontal interpolation circuit 826 is performed. , 827 and is subjected to horizontal linear interpolation, whereby conversion to a desired number of pixels (image size) is performed. That is, in the low-speed and high-resolution mode, when n = m = 2, an image having twice the number of pixels in the horizontal direction and twice in the vertical direction compared to the number of pixels in the normal mode, that is, horizontal 1440 pixels × vertical. An image of 960 pixels is generated.
[0063]
FIG. 11 is a diagram illustrating a configuration example of the horizontal interpolation circuit 826. FIG. 10 is a diagram illustrating a geometric positional relationship between a pixel (◯) before interpolation and a pixel (Δ) after interpolation in the horizontal interpolation circuit 826 and coefficients in linear interpolation. FIG. 12 is a diagram illustrating the timing of each signal in the horizontal interpolation circuit 826.
[0064]
The luminance signal YI input to the horizontal interpolation circuit 826 is supplied to the first coefficient unit 1103, delayed by one clock by the one clock delay unit 1101, and supplied to the second coefficient unit 1104 as the delayed signal Yd. The
[0065]
The first and second coefficient units 1103 and 1104 are respectively supplied with the first and second coefficients K1 and K2 generated by the coefficient generator 1102 in accordance with the geometric position of the pixel generated by the interpolation. . Then, after the coefficients are multiplied by the first and second coefficient units 1103 and 1104, the adder 1105 adds the two multiplication results and outputs the addition result as an interpolation signal Yo.
The color difference signal is also subjected to horizontal interpolation in the same manner as described above. Although only the horizontal interpolation process has been described here, the vertical interpolation process can also be executed by applying the same method.
[0066]
The luminance signal Yo and the color difference signal Co generated by the camera signal processing circuit 8 are supplied to the recording / reproducing signal processing circuit 9, and after undergoing processing such as compression encoding, error correction code addition, modulation for recording, etc. Recording is performed on the recording medium 13 via the recording head 10. The recording / reproducing signal processing circuit 9 performs recording and reproduction in a format conforming to, for example, a consumer digital video standard. The image input to the recording / playback signal processing circuit 9 is a horizontal 720 pixel, vertical 480 pixel, 60 field / sec image.
[0067]
Accordingly, in the normal mode (first mode), the recording / reproducing signal processing circuit 9 performs the 2: 1 interlace scanning from the 60 frame / sec signal of 720 pixels horizontal and 480 pixels generated by the camera signal processing circuit 8. A standard television signal is generated by performing thinning that is adapted, and is recorded on the recording medium 13. On the other hand, in the low-speed and high-resolution mode (second mode), the recording / reproducing signal processing circuit 9 displays an image of horizontal 1440 pixels, vertical 960 pixels, and 15 frames / sec as shown in FIGS. Are divided into four images A, B, C, and D of horizontal 720 × vertical 480, and these are divided into eight field images Aodd, Aeven, Bodd, Beven, Codd, Ceven, Dodd, and Deven on the recording medium 13. Record.
[0068]
Further, instead of the method shown in FIGS. 13A and 13B, for example, as shown in FIG. 13C, an image of horizontal 1440 pixels and vertical 960 pixels is sub-divided for every two horizontal pixels and two vertical pixels. It is also possible to adopt a method of dividing into four sampled frame images and recording them on the recording medium 13.
[0069]
As described above, by providing the normal mode (first mode) and the low-speed high-resolution mode (second mode) as operation modes, a high-resolution image according to the specifications of the device that uses the image is provided to the device. It becomes possible to do.
[0070]
Further, in the low-speed and high-resolution mode (second mode) in which an image picked up by the image sensor is recorded with a pixel number n (horizontal direction) × m (vertical direction) times the number of pixels in the normal mode (first mode). By reading out signals from the image sensor in the vertical scanning period of (n × m) times and converting (magnifying) the number of pixels, the horizontal scanning frequency and drive frequency of the image sensor are kept high as in the normal mode. A resolution image can be recorded.
[0071]
[Second Embodiment]
FIG. 14 is a diagram schematically showing a configuration of a single-panel video camera according to the second embodiment of the present invention. A single-plate video camera according to this embodiment includes an imaging optical system 1, a CCD element 2, a CCD drive pulse generator 3, a CDS / AGC circuit 4, an AD converter 5, a FIFO memory 6, a mode switch 7 and a camera signal. The processing unit 8 has the same configuration as that of the first embodiment. Below, a different part from 1st Embodiment is demonstrated.
[0072]
FIG. 15 is a diagram illustrating a configuration example of the recording / reproducing signal processing circuit 9. In the normal mode (first mode), the selectors 1303 and 1308 both select the input on the B terminal side and compress the luminance signal Yo and the color difference signal Co supplied from the camera signal processing unit 8 into the compression encoding circuit 1305. 1310 respectively.
[0073]
The luminance signal and the color difference signal compression-encoded in the compression-encoding circuits 1305 and 1310 are supplied to the multiplexing circuit 1311. The multiplexing circuit 1311 performs formatting according to the recording format. In the error-correcting code adding circuit 1312, After the parity for correcting the transmission path error is added, the parity is supplied to the recording head 10 via the recording modulation circuit 1313.
[0074]
On the other hand, in the low-speed and high-resolution mode (second mode), the luminance signal Yo and the color difference signal Co supplied from the camera signal processing circuit 8 are transmitted in the normal mode (first mode) in the band limiting circuits (two-dimensional low-pass filters) 1301 and 1306. Baseband component having the same size as that of the mode) is extracted. Further, the subtracters 1302 and 1307 calculate the difference between the luminance signal Yo and the color difference signal Co and the baseband components output from the band limiting circuits 1301 and 1306, and the high frequency components of the luminance signal Yo and the color difference signal Co. Respectively.
[0075]
In the low-speed and high-resolution mode (second mode), the selectors 1303 and 1308 both select the A terminal side, and the baseband components extracted by the band limiting circuits 1301 and 1306 are stored in the compression encoding circuits 1305 and 1310. Each is supplied and is compressed and encoded as in the normal mode (first mode). On the other hand, the high frequency components extracted by the subtracters 1302 and 1307 are supplied to the second compression encoding circuits 1304 and 1309, respectively, and are compression encoded. The baseband component and high-frequency component of the luminance and color difference signals that have been compression-encoded are formatted in the multiplexing circuit 1311.
[0076]
FIG. 16 is a diagram showing a block structure of recording data recorded on the recording medium 13 by the recording / reproducing signal processing circuit 101. As shown in FIG. 16, one block of the recording data includes a sync character area 201, an image information area 202, an additional information area 203, and a parity area 204. In the image information area 202, image information in the normal mode or a baseband component in the low speed and high resolution mode is recorded. In the low-speed resolution mode, a high frequency component area 203a for recording a high frequency component is provided in the additional information area 203.
[0077]
The recording data formatted by the multiplexing unit 1311 into a block structure including the sync (sync) character area 201, the image information area 202, and the additional information area 203 is transferred to the parity area 204 in the error correction code adding circuit 1312. After the parity for correcting the error is added, it is supplied to the recording head 10 via the recording modulation circuit 1313.
[0078]
Further, during reproduction, a reproduction signal read from the recording medium 13 via the reproduction head 11 is supplied to the data separation circuit 1320 via the recording demodulation circuit 1322 and the error correction circuit 1321. The data separation circuit 1320 has a baseband component (or image information in the normal mode) and a high-frequency component (low-speed high-resolution mode) of the compression-coded luminance and color-difference signals from the reproduction signal having the block structure shown in FIG. Extract only if). The data separation circuit 1320 then applies the high frequency component of the luminance signal to the expansion circuit 1315, the baseband component of the luminance signal to the expansion circuit 1316, the high frequency component of the color difference signal to the expansion circuit 1318, and the baseband component of the color difference signal. Is supplied to the decompression circuit 1319.
[0079]
The baseband components Yn and Cn of the luminance signal and the color difference signal expanded by the expansion circuits 1316 and 1317 are converted into standard television signals by the NTSC encoder 102 and output as line outputs.
[0080]
Further, for an image recorded in the low-speed and high-resolution mode (second mode), the baseband component and the high-frequency component are synthesized by the synthesis circuits 1314 and 1317 after decompression, so that the normal mode 4 (= n × m ) The image is restored to a high resolution image having twice the number of pixels (image size). The restored luminance signal Yw and color difference signal Cn of the high-resolution image are transferred via the digital I / F circuit 103 to an externally connected digital device (for example, a personal computer or a printer).
[0081]
According to this embodiment, imaging, recording, and reproduction can be performed in two modes with different resolutions and frame rates (number of frames per second) according to the format of the digital video apparatus. Therefore, desired image quality can be obtained according to the purpose.
[0082]
In the above-described embodiment, the luminance signal Yw and the color difference signal Cn are transferred to the outside via the digital I / F circuit 103. Instead, for example, data after error correction by the error correction circuit 1321 or the like is used. The data may be transferred to the outside via the digital I / F circuit 103 as it is.
[0083]
[Others]
Note that the present invention can be applied to a system (for example, a digital video camera) including a single device even when applied to a system including a plurality of devices (for example, an imaging device, a computer, an interface device, and a printer). You may apply.
[0084]
Another object of the present invention is to supply a storage medium storing software program codes for implementing the functions of the above-described embodiments to a system or apparatus, and the computer (or CPU or MPU) of the system or apparatus stores the storage medium. Needless to say, this can also be achieved by reading and executing the program code stored in the.
[0085]
In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention.
[0086]
As a storage medium for supplying the program code, for example, a floppy disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.
[0087]
Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) operating on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.
[0088]
Further, after the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. It goes without saying that the CPU or the like provided in the board or the function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.
[0089]
As described above, using an image sensor having more pixels than the number specified in a predetermined recording format, an image having a size equal to the image size defined by the recording format is extracted from all pixel information of the image sensor. The first mode for recording on the recording medium and all pixel information of the image sensor are read in a period (n × m) times the vertical scanning period of the normal mode, and the number of images specified by the recording format is horizontally multiplied by n And a second mode in which the image is vertically converted to an image having a pixel number of m times and recorded on a recording medium, for example, recording of a moving image with normal image quality (resolution) and high definition (high resolution) The recording of moving images (or still images) can be switched according to the purpose.
[0090]
Further, a high-definition image is separated into a baseband component compatible with a normal image recording format and a high-frequency component, the baseband component is recorded as image information, and the high-frequency component is recorded as additional information. Can be reproduced and output according to the specifications of the connected external device, and the recording medium is provided to another reproducing apparatus for reproducing high-definition images. Can be played.
[0091]
【The invention's effect】
According to the present invention, for example, it is possible to obtain a quality image according to the specifications of an apparatus that reproduces an image.
[0092]
[Brief description of the drawings]
FIG. 1 is a diagram schematically showing a configuration of a single-panel video camera (image input device) according to a preferred embodiment of the present invention.
FIG. 2 is a diagram showing an arrangement of color filters of a CCD element.
FIG. 3 is a diagram showing drive timing of the CCD element in a normal mode (first mode).
FIG. 4 is a diagram showing a region for reading out pixels from a CCD element in a normal mode (first mode).
FIG. 5 is a diagram showing the drive timing of the CCD element in the low speed and high resolution mode (second mode).
FIG. 6 is a diagram illustrating control timing of the FIFO memory in a normal mode (first mode).
FIG. 7 is a diagram illustrating the control timing of the FIFO memory in the low-speed and high-resolution mode (second mode).
FIG. 8 is a diagram illustrating a configuration example of a camera signal processing circuit.
FIG. 9 is a diagram showing a data hold operation in the horizontal direction.
FIG. 10 is a diagram illustrating a geometric positional relationship between a pixel (◯) before interpolation and a pixel (Δ) after interpolation in a horizontal interpolation circuit, and coefficients in linear interpolation.
FIG. 11 is a diagram illustrating a configuration example of a horizontal interpolation circuit.
FIG. 12 is a diagram illustrating the timing of each signal in the horizontal interpolation circuit.
FIG. 13 is a diagram illustrating a recording method (division method) of an image generated in a low-speed high-resolution mode (second mode).
FIG. 14 is a diagram schematically showing a configuration of a single-panel video camera according to a second embodiment of the present invention.
FIG. 15 is a diagram illustrating a configuration example of a recording / reproducing signal processing circuit.
FIG. 16 is a diagram showing a block structure of recording data recorded on a recording medium by a recording / reproducing signal processing circuit.

Claims

An image input device that captures an image of a subject as an electrical signal,
An image sensor having a number of pixels larger than the number of pixels defined by a predetermined recording format;
A first operation mode for generating an image having a number of pixels defined by the predetermined recording format; and a second operation mode for generating an image having a number of pixels larger than the number of pixels defined by the predetermined recording format. A selection means for selecting one of the operation modes;
Image processing means for generating an image having the number of pixels corresponding to the operation mode selected by the selection means among the operation modes including the first operation mode and the second operation mode;
Output means for converting and outputting the image generated by the image processing means,
In the second operation mode, the image processing means performs vertical scanning n (natural number) × m (natural number) times (where n × m is a natural number of 2 or more ) times the vertical scanning period in the first operation mode. Interpolation processing of one image read out from the image sensor during the period into an image having a pixel number that is n times in the horizontal direction and m times in the vertical direction compared with the image generated in the first operation mode An image input device characterized by converting according to the above.

An image input device that captures an image of a subject as an electrical signal,
An image sensor having a number of pixels larger than the number of pixels defined by a predetermined recording format;
A first operation mode for generating an image having a number of pixels defined by the predetermined recording format; and a second operation mode for generating an image having a number of pixels larger than the number of pixels defined by the predetermined recording format. A selection means for selecting one of the operation modes;
Image processing means for generating an image having the number of pixels corresponding to the operation mode selected by the selection means among the operation modes including the first operation mode and the second operation mode;
Output means for converting and outputting the image generated by the image processing means,
In the second operation mode, the image processing means has a vertical scanning period of n (natural number) × m (natural number) times (where n and m are natural numbers of 2 or more ) times the vertical scanning period in the first operation mode. Compared with the image generated in the first operation mode, one image read from the image sensor in the horizontal direction is (n−1) times to n times, and (m−1) in the vertical direction. An image input apparatus that converts an image having a pixel number from double to m times (however, a pixel number that is not an integer multiple of the number of pixels of the image generated in the first operation mode) by interpolation processing .

The image input device according to claim 1, wherein the image sensor is an image sensor that can read out all pixels within one vertical scanning period.

4. The driving frequency and horizontal scanning frequency of the image sensor are the same regardless of the first operation mode and the second operation mode. 5. Image input device.

In both the first operation mode and the second operation mode, the drive frequency and the horizontal scanning frequency of the image sensor are the same, and the image processing means is configured to start from the image sensor in the first operation mode. 4. The pixel according to claim 1, wherein pixels are continuously read out in units of scanning lines, and in the second operation mode, pixels are read out intermittently in units of scanning lines from the imaging device. 5. The image input device described in 1.

The output means includes separation means for separating the image generated by the image processing means into a baseband component and a high frequency component, and outputs the baseband component as image information and outputs the high frequency component as the additional information. The image input apparatus according to claim 1, wherein the image input apparatus outputs the image as an image input apparatus.

The image input device further includes recording means for recording the image generated by the image processing means on a recording medium,
The output unit includes a separating unit that separates an image generated by the image processing unit into a baseband component and a high-frequency component, and the recording unit records the baseband component as image information on the recording medium. The image input apparatus according to claim 1, wherein the high frequency component is recorded on the recording medium as additional information.