JP4070550B2 - 画像信号処理装置 - Google Patents

Description

【０００１】
【産業上の利用分野】
この発明は、画像処理装置に関し、特にたとえばディジタルカメラに適用され、入力手段から飛び越し走査（インタレーススキャン）態様で入力されたかつ各々の画素が１色の色情報を有する第１画像信号に色分離を施して各々の画素が複数色の色情報を有する第２画像信号を生成する、画像信号処理装置に関する。
【０００２】
【従来技術】
この種の画像信号処理装置が適用されたディジタルカメラの一例が、特許文献１に開示されている。このディジタルカメラでは、イメージセンサから取り込まれた奇数フィールドの画像信号および偶数フィールドの画像信号は、一旦、メモリに記憶される。メモリに記憶された各フィールドの画像信号は、１ラインずつ交互に読み出され、これによって順次走査（プログレッシブスキャン）形式の画像信号に変換される。そして、変換された画像信号に対して色分離，白バランス調整，ＹＵＶ変換などの信号処理が施され、これによってＹＵＶデータが生成される。
【０００３】
【特許文献１】
特開２００１−２３１００３号公報（段落第００２８番〜段落第００３３番、第１図および第５図）
【０００４】
【発明が解決しようとする課題】
しかし、上述の従来技術では、色分離などの信号処理に先立って、両フィールドの画像信号が一旦メモリに記憶されるため、その分、当該信号処理が完了するまでに長い時間が掛かるという問題があった。
【０００５】
それゆえに、この発明の主たる目的は、信号処理に要する時間を短縮することができる、画像信号処理装置を提供することである。
【０００６】
【課題を解決するための手段】
この発明は、入力手段から飛び越し走査態様で入力されたかつ各々の画素が１色の色情報を有する第１画像信号に色分離を施して各々の画素が複数色の色情報を有する第２画像信号を生成する画像信号処理装置において、入力手段から入力された奇数ラインおよび偶数ラインの一方の第１画像信号を第１バッファメモリに書き込む第１書き込み手段、奇数ラインおよび偶数ラインの他方の第１画像信号が入力手段から入力されるとき第１バッファメモリに格納された第１画像信号を読み出す第１読み出し手段、および第１バッファメモリおよび入力手段から入力された第１画像信号に色分離を施す色分離手段を備えることを特徴とする、画像信号処理装置である。
【０００７】
【作用】
この発明では、入力手段から入力された奇数ラインおよび偶数ラインの一方の第１画像信号は、第１書き込み手段によって第１バッファメモリに書き込まれる。そして、奇数ラインおよび偶数ラインの他方の第１画像信号が入力手段から入力されるとき、第１読み出し手段が、当該第１バッファメモリに格納された第１画像信号を読み出し、色分離手段が、当該第１バッファメモリおよび入力手段から入力された第１画像信号に色分離を施す。つまり、奇数ラインおよび偶数ラインの他方の第１画像信号が入力手段から入力されるときに、当該他方の第１画像信号の入力と並行して色分離が施され、第２画像信号が生成される。
【０００８】
この発明のある実施例では、第１バッファメモリおよび入力手段から入力された第１画像信号をＭ＋１ラインに相当する容量を持つ第２バッファメモリに循環的に書き込む第２書き込み手段、第２バッファメモリから最新のＭラインの第１画像信号を読み出す第２読み出し手段、および第２バッファメモリから最古のＭラインの第１画像信号を読み出す第３読み出し手段をさらに備える。そして、色分離手段は、第２読み出し手段によって読み出されたＭラインの第１画像信号に色分離を施して１ラインの第２画像信号を生成する第１色分離実行手段、および第３読み出し手段によって読み出されたＭラインの第１画像信号に色分離を施して１ラインの第２画像信号を生成する第２色分離実行手段を含む。
【０００９】
この場合、第２バッファメモリは、Ｍ＋１個のラインメモリを含むものとすることができる。そして、第２書き込み手段は、第１バッファメモリおよび入力手段から入力された２ラインの第１画像信号を２個のラインメモリに同時に書き込み、第２読み出し手段および前記第３読み出し手段の各々は、Ｍラインの第１画像信号をＭ個のラインメモリから同時に読み出すものとする。
【００１０】
また、第２書き込み手段によって書き込みが施されるラインメモリを１ライン期間に２個の割合で更新する書き込み更新手段、第２読み出し手段によって読み出しが施されるラインメモリを１ライン期間に１個の割合で更新する第１読み出し更新手段、および第３読み出し手段によって読み出しが施されるラインメモリを１ライン期間に１個の割合で更新する第２読み出し更新手段をさらに備えてもよい。
【００１１】
この発明の他の実施例では、被写体を撮影して第１画像信号を出力する撮影手段をさらに備える。
【００１２】
【発明の効果】
この発明によれば、奇数ラインおよび偶数ラインの他方の第１画像信号が入力手段から入力されるときに、当該他方の第１画像信号の入力と並行して色分離が施される。したがって、当該他方の第１画像信号が記憶されない分、両フィールドの画像信号が一旦メモリに記憶されるという上述の従来技術に比べて、色分離などの信号処理に要する時間を短縮することができる。
【００１３】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【００１４】
【実施例】
図１を参照して、この実施例のディジタルカメラ１０は、図示しない色フィルタが前面に設けられた飛び越し走査型のＣＣＤイメージセンサ（以下、単にイメージセンサと言う。）１２を備えている。被写体の光学像は、当該色フィルタを通してイメージセンサ１２の受光面に入射される。
【００１５】
電源スイッチ１４の操作によって撮影モードが選択されると、システムコントローラ１６が、ＣＰＵ１８に対して、撮影モード選択指令を与える。ＣＰＵ１８は、この指令に応答して、被写体のリアルタイム動画像（スルー画像）を液晶モニタ２０に表示すべく、露光および間引き読み出しの繰り返しをＴＧ（Timing Generator）２２に命令する。
【００１６】
ＴＧ２２は、ＣＰＵ１８からの命令に対応するタイミング信号をイメージセンサ１２に供給し、イメージセンサ１２は、供給されたタイミング信号に従って、露光を開始するとともに、当該露光によって蓄積された電荷を間引き方式で出力する。つまり、撮影モードが選択された当初は、低解像度の生画像信号が１フレーム期間毎にイメージセンサ１２から出力される。
【００１７】
イメージセンサ１２から出力された各フレームの低解像度生画像信号は、ＣＤＳ（Correlated Double Sampling）／ＡＧＣ（Automatic Gain Control）回路２４に入力され、ここで相関二重サンプリング処理およびゲイン調整処理を施された後、Ａ／Ｄ変換回路２６に入力される。Ａ／Ｄ変換回路２６は、入力された低解像度生画像信号をディジタル信号である低解像度生画像データに変換し、変換後の低解像度生画像データは、信号処理回路２８のデータ入力端子２８ａに入力される。
【００１８】
信号処理回路２８は、入力された低解像度生画像データに対して、色分離，白バランス調整，ＹＵＶ変換などの信号処理を施し、低解像度ＹＵＶデータを生成する。生成された低解像度ＹＵＶデータは、信号処理回路２８のデータ出力端子２８ｂから出力され、スイッチ回路３０の入力端子３０ａに入力される。
【００１９】
スイッチ回路３０は、入力端子３０ａの他にもう１つ入力端子３０ｂを有しており、いずれか一方の入力端子３０ａおよび３０ｂが出力端子３０ｃと接続されるようＣＰＵ１８によって制御される。なお、この時点（撮影モードが選択された当初の時点）では、ＣＰＵ１８は、入力端子３０ａが出力端子３０ｃと接続されるようスイッチ回路３０を制御する。したがって、入力端子３０ａに入力された低解像度生ＹＵＶデータは、スイッチ回路３０（出力端子３０ｃ）を介してズーム回路３２に入力される。
【００２０】
ズーム回路３２には、ＣＰＵ１８によって数１に示す水平ズーム倍率および垂直ズーム倍率が設定されており、このズーム回路３２に入力された低解像度ＹＵＶデータの解像度は、かかる倍率でズーム処理されることによって、液晶モニタ２０の画面と同じ解像度まで低減される。
【００２１】
【数１】
水平ズーム倍率＝モニタの水平画素数／低解像度ＹＵＶデータの水平画素数
垂直ズーム倍率＝モニタの垂直画素数／低解像度ＹＵＶデータの垂直画素数
このズーム回路３２による解像度低減後の言わば表示用ＹＵＶデータは、バッファ回路３４に入力される。
【００２２】
図２を参照して、バッファ回路３４は、コントローラ３４ａおよびＳＲＡＭ３４ｂを有しており、当該バッファ回路３４に入力された表示用ＹＵＶデータは、コントローラ３４ａによって一旦ＳＲＡＭ３４ｂに記憶される。このＳＲＡＭ３４ｂに記憶された表示用ＹＵＶデータは、コントローラ３４ａによって、記憶時よりも早い速度（高い周波数）で読み出される。つまり、周波数変換を施される。そして、読み出された表示用ＹＵＶデータは、ＳＤＲＡＭコントローラ３６に転送される。
【００２３】
ＳＤＲＡＭコントローラ３６は、バッファ回路３４から転送された表示用ＹＵＶデータを、ＳＤＲＡＭ３８に記憶する。ここで、ＳＤＲＡＭ３８は、図３に示す要領でマッピングされており、ＳＤＲＡＭコントローラ３６は、転送された表示用ＹＵＶデータを表示画像記憶エリア３８ａに記憶する。
【００２４】
この表示用画像記憶エリア３８ａに記憶された表示用ＹＵＶデータは、ＳＤＲＡＭコントローラ３６によって読み出され、バッファ回路４０に入力される。バッファ回路４０は、上述した図２に示すバッファ回路３４と同様、図示しないコントローラおよびＳＲＡＭを有しており、このバッファ回路４０に入力された表示用ＹＵＶデータは、コントローラによって一旦ＳＲＡＭに記憶された後、エンコーダに入力される。エンコーダ４２は、バッファ回路４０から入力された表示用ＹＵＶデータをコンポジット画像信号に変換し、変換後のコンポジット画像信号を液晶モニタ２０に入力する。この結果、液晶モニタ２０の画面に、スルー画像が表示される。
【００２５】
次に、シャッタボタン４４が押下されると、システムコントローラ１６は、ＣＰＵ１８に対して、撮影処理開始指令を与える。ＣＰＵ１８は、この指令に応答して、被写体の撮影像をメモリカード４６に記録すべく、１回の露光および１回の全画素読み出しをＴＧ２２に命令する。
【００２６】
ＴＧ２２は、ＣＰＵ１８からの命令に対応するタイミング信号をイメージセンサ１２に供給し、イメージセンサ１２は、供給されたタイミング信号に従って、本露光を行うとともに、当該本露光によって蓄積された全電荷、つまり１フレーム分の高解像度生画像信号を、飛び越し走査形式で出力する。
【００２７】
この飛び越し走査形式で最初に出力される奇数（ODD）フィールドの高解像度生画像信号は、ＣＤＳ／ＡＧＣ回路２４によって上述の相関二重サンプリング処理およびゲイン調整処理を施された後、Ａ／Ｄ変換回路２６によって高解像度生画像データに変換される。変換された奇数フィールドの高解像度生画像データは、バッファ回路４８を介してＳＤＲＡＭコントローラ３６に入力される。ＳＤＲＡＭコントローラ３６は、入力された奇数フィールドの高解像度生画像データを、ＳＤＲＡＭ３８の生画像記憶エリア３８ｂに記憶する。なお、バッファ回路４８は、上述のバッファ回路３４と同様のものであるので、これについての詳しい説明は省略する。
【００２８】
奇数フィールドの高解像度生画像信号に続いてイメージセンサ１２から出力される偶数（EVEN）フィールドの高解像度生画像データもまた、ＣＤＳ／ＡＧＣ回路２４を介してＡ／Ｄ変換回路２６に入力され、ここで高解像度生画像データに変換される。そして、変換後の偶数フィールドの高解像度生画像データは、信号処理回路２８のデータ入力端子２８ａに入力される。
【００２９】
さらに、このデータ入力端子２８ａへのデータ入力と同期して、上述のＳＤＲＡＭ３８の生画像記憶エリア３８ｂに記憶された奇数フィールドの高解像度生画像データが、ＳＤＲＡＭコントローラ３６によって読み出され、バッファ回路５０を介して信号処理回路２８の別のデータ入力端子２８ｃに入力される。このバッファ回路５０も、バッファ回路４８と同様の構成とされている。また、信号処理回路２８は、制御端子２８ｄを有しており、この制御端子２８ｄには、ＴＧ２２からＨＥ（Horizontal Enable）信号が供給される。
【００３０】
信号処理回路２８は、互いに同期して入力される奇数フィールドおよび偶数フィールドの各高解像度生画像データのラインを、上述のＨＥ信号に基づいて並べ替える。そして、この並べ替えを施した後の高解像度生画像データに、上述の色分離，白バランス調整，ＹＵＶ変換などの一連の処理を施し、奇数フィールド（奇数ライン）および偶数フィールド（偶数ライン）の各々に対応する２つの高解像度ＹＵＶデータを同時に生成する。生成された一方の高解像度ＹＵＶデータ（これを符号ＤＯ−０で表す。）は、データ出力端子２８ｂから出力され、他方の高解像度ＹＵＶデータ（これを符号ＤＯ−１で表す。）は、別のデータ出力端子２８ｅから出力される。この信号処理回路２８の構成および動作については、後で詳しく説明する。
【００３１】
信号処理回路２８のデータ出力端子２８ｂから出力された高解像度ＹＵＶデータＤＯ−０は、スイッチ回路３０の入力端子３０ａに入力される。この時点（シャッタボタン４４が押下された直後）でも、入力端子３０ａは出力端子３０ｃと接続された状態にあり、よって、当該入力端子３０ａに入力された高解像度ＹＵＶデータＤＯ−０は、スイッチ回路３０（出力端子３０ｃ）を介してズーム回路３２に入力される。そして、この高解像度ＹＵＶデータＤＯ−０は、別のズーム回路５２にも入力される。
【００３２】
一方、信号処理回路２８のデータ出力端子２８ｅから出力された高解像度ＹＵＶデータＤＯ−１もまた、２つのズーム回路３２および５２に入力される。
【００３３】
ズーム回路３２には、ＣＰＵ１８によって数２に示す水平ズーム倍率および垂直ズーム倍率が設定されている。このズーム回路３２に入力された２つの高解像度ＹＵＶデータは、かかる倍率に従うズーム処理を施されることによって、液晶モニタ２０の画面と同じ解像度の表示用ＹＵＶデータに変換される。
【００３４】
【数２】
水平ズーム倍率＝モニタの水平画素数／高解像度ＹＵＶデータの水平画素数
垂直ズーム倍率＝モニタの垂直画素数／高解像度ＹＵＶデータの垂直画素数
このズーム回路３２による変換後の表示用ＹＵＶデータは、バッファ回路３４に入力され、ここで上述の周波数変換を施された後、ＳＤＲＡＭコントローラ３６に転送される。
【００３５】
ＳＤＲＡＭコントローラ３６は、バッファ回路３４から転送された表示用ＹＵＶデータを、ＳＤＲＡＭ３８の表示画像記憶エリア３８ａに記憶する。この表示用画像記憶エリア３８ａに記憶された表示用ＹＵＶデータは、ＳＤＲＡＭコントローラ３６によって読み出され、バッファ回路４０を介してエンコーダ４２に入力される。エンコーダ４２は、入力された表示用ＹＵＶデータをコンポジット画像信号に変換し、変換後のコンポジット画像信号を液晶モニタ２０に入力する。この結果、液晶モニタ２０の画面に、被写体のフリーズ画像が表示される。
【００３６】
一方、ズーム回路５２には、ＣＰＵ１８によって“１．０”という水平ズーム倍率および“１．０”という垂直ズーム倍率が設定されている。したがって、このズーム回路５２に入力された２つの高解像度ＹＵＶデータは、そのままの状態で当該ズーム回路５２から出力され、バッファ回路５４に入力される。
【００３７】
バッファ回路５４もまた、バッファ回路３４と同様、図４に示すようにコントローラ５４ａおよびＳＲＡＭ５４ｂを有している。このバッファ回路５４に入力された２つの高解像度ＹＵＶデータは、コントローラ５４ａによって１ラインずつ交互にＳＲＡＭ５４ｂに記憶される。そして、コントローラ５４ａは、ＳＲＡＭ５４ｂに記憶された高解像度ＹＵＶデータを、記憶された順に１ラインずつ読み出す。つまり、ＳＲＡＭ５４ｂに記憶された高解像度ＹＵＶデータは、順次走査形式で読み出される。読み出された高解像度ＹＵＶデータ、換言すれば１フレーム分の主画像を形成する言わば主画像データは、ＳＤＲＡＭコントローラ３６に転送される。
【００３８】
ＳＤＲＡＭコントローラ３６は、転送された主画像データを、ＳＤＲＡＭ３８内の主画像記憶エリア３８ｃに記憶する。この主画像記憶エリア３８ｃに記憶された主画像データは、ＳＤＲＡＭコントローラ３６によって読み出され、バッファ回路５６を介してＪＰＥＧ（Joint Photographic Expert Group）コーデック５８に入力される。なお、バッファ回路５６もまた、上述のバッファ３４と同様のものである。
【００３９】
ＪＰＥＧコーデック５８は、入力された主画像データにＪＰＥＧ方式に従う圧縮処理を施し、ＪＰＥＧ圧縮主画像データを生成する。このＪＰＥＧ圧縮主画像データは、バッファ回路５６と同様の構成のバッファ回路６０を介して、ＳＤＲＡＭコントローラ３６に入力される。ＳＤＲＡＭコントローラ３６は、入力されたＪＰＥＧ圧縮主画像データを、ＳＤＲＡＭ３８の圧縮主画像記憶エリア３８ｄに記憶する。
【００４０】
このＪＰＥＧ圧縮主画像データの記憶が完了した後、ＣＰＵ１８は、スイッチ回路３０を制御して入力端子３０ｂを出力端子３０ｃに接続するとともに、ＳＤＲＡＭコントローラ３６に対して上述のフリーズ画像に対応する表示用ＹＵＶデータの読み出しを命令する。ＳＤＲＡＭコントローラ３６は、この命令に応答して、ＳＤＲＡＭ３８の表示用画像記憶エリア３８ａから表示用ＹＵＶデータを読みし、読み出した表示用ＹＵＶデータを、バッファ５０に入力する。バッファ回路５０の出力側は、スイッチ回路３０の入力端子３０ｂに接続されており、よって、当該バッファ回路５０に入力された表示用ＹＵＶデータは、スイッチ回路３０を介してズーム回路３２に入力される。
【００４１】
ズーム回路３２には、ＣＰＵ１８によって数３に示す水平ズーム倍率および垂直ズーム倍率が設定されており、このズーム回路３２に入力された表示用ＹＵＶデータは、かかる倍率に従うズーム処理を施されることによって、当該表示用ＹＵＶデータの数分の１程度の解像度のサムネイルデータに変換される。
【００４２】
【数３】
水平ズーム倍率＝サムネイルの水平画素数／表示用ＹＵＶデータの水平画素数
垂直ズーム倍率＝サムネイルの垂直画素数／表示用ＹＵＶデータの垂直画素数
このズーム回路３２による変換後のサムネイルデータは、バッファ回路３４を介してＳＤＲＡＭコントローラ３６に入力される。
【００４３】
ＳＤＲＡＭコントローラ３６は、入力されたサムネイルデータを、ＳＤＲＡＭ３８内のサムネイルサムネイル記憶エリア３８ｅに記憶する。このサムネイル記憶エリア３８ｅに記憶されたサムネイルデータは、ＳＤＲＡＭコントローラ３６によって読み出され、バッファ回路５６を介してＪＰＥＧコーデック５８に入力される。
【００４４】
ＪＰＥＧコーデック５８は、入力されたサムネイルデータにＪＰＥＧ方式に従う圧縮処理を施し、ＪＰＥＧ圧縮サムネイルデータを生成する。このＪＰＥＧ圧縮サムネイルデータは、バッファ回路６０を介してＳＤＲＡＭコントローラ３６に入力される。ＳＤＲＡＭコントローラ３６は、入力されたＪＰＥＧ圧縮サムネイルデータを、ＳＤＲＡＭ３８の圧縮サムネイル記憶エリア３８ｆに記憶する。
【００４５】
この圧縮サムネイル記憶エリア３８ｆの記憶完了後、ＣＰＵ１８は、ＳＤＲＡＭコントローラ３６に対して、ＪＰＥＧ圧縮主画像データおよびＪＰＥＧ圧縮サムネイルデータの読み出しを命令する。ＳＤＲＡＭコントローラ３６は、この命令に応答して、ＪＰＥＧ圧縮主画像データおよびＪＰＥＧ圧縮サムネイルデータをＳＤＲＡＭ３８の圧縮主画像記憶エリア３８ｄおよび圧縮サムネイル記憶エリア３８ｆから順次読み出す。
【００４６】
ＣＰＵ１８は、ＳＤＲＡＭコントローラ３６によって読み出されたＪＰＥＧ圧縮主画像データを含むＪＰＥＧ画像ファイルを作成し、このＪＰＥＧ画像ファイルのオプションマーカ（アプリケーション・マーカ・セグメント）に当該ＳＤＲＡＭコントローラ３６によって読み出されたＪＰＥＧ圧縮サムネイルデータを埋め込む。そして、このＪＰＥＧ圧縮サムネイルデータが埋め込まれたＪＰＥＧ画像ファイルを、インタフェース回路６２を介してメモリカード４６に記録する。これで、一連の撮影処理が完了する。
【００４７】
このＪＰＥＧ画像ファイルの記録が完了した後、ＣＰＵ１８は、上述したのと同様の手順でスルー画像を表示すべく、ＴＧ２２を始めとする各回路を制御する。なお、このＣＰＵ１８の動作は、ＣＰＵ１８に内蔵されたＲＯＭ１８ａに記憶されている制御プログラムによって制御される。また、ＣＰＵ１８，ＴＧ２２，信号処理回路２８，スイッチ回路３０，バッファ回路３４，４０，４８，５０，５４，５６および６０，ズーム回路３２および５２，ＳＤＲＡＭコントローラ３６，エンコーダ４２，ＪＰＥＧコーデック５８およびインタフェース回路６２は、ＡＳＩＣ（Application Specified IC）６４によって形成されている。
【００４８】
ところで、信号処理回路２８は、上述した並べ替えを行うために、図５に示すような構成とされている。
【００４９】
すなわち、信号処理回路２８は、撮影処理時にＡ／Ｄ変換回路２６からデータ入力端子２８ａを介して偶数フィールドの高解像度生画像データ（これを符号ＤＩ−０で表す。）が入力される入力セレクタ１００を有している。この入力セレクタ１００には、バッファ回路５０から別のデータ入力端子２８ｃを介して奇数フィールドの高解像度生画像データ（これを符号ＤＩ−１で表す。）も入力される。
【００５０】
また、信号処理回路２８は、Ｒ／Ｗ（Read/Write）信号生成回路１０２，ＣＳ（Chip Select）信号生成回路１０４，アドレス信号生成回路１０６，ラインカウンタ１０８および１１０を有しており、これらの各々には、ＴＧ２２から制御端子２８ｄを介してＨＥ信号が入力される。また、図には示さないが、この信号処理回路２８には、基本クロックとしてのＣＫ（クロック）信号も供給されている。
【００５１】
Ｒ／Ｗ信号生成回路１０２は、後述する５つのラインメモリ１１２，１１２，・・・の各々を書き込み（Write）状態および読み出し（Read）状態のいずれにするのかを制御するためのＲ／Ｗ信号を生成する。このＲ／Ｗ信号もまた、入力セレクタ１００に入力される。
【００５２】
一方、ＣＳ信号生成回路１０４は、各ラインメモリ１１２，１１２，・・・の動作の有効／無効を制御するためのアクティブ“Ｌ（ロー）”のＣＳ信号を生成する。また、アドレス信号生成回路は、各ラインメモリ１１２，１１２，・・・のアドレスを指定するためのアドレス信号を生成する。これらＣＳ信号およびアドレス信号は、全てのラインメモリ１１２，１１２，・・・に対して共通に供給される。
【００５３】
ラインカウンタ１０８は、“０”〜“４”までの値をカウントするもので、１水平ライン周期（１Ｈ）毎に“２”ずつカウントアップする。ラインカウンタ１１０もまた、“０”〜“４”までの値をカウントし、１水平ライン周期毎に“２”ずつカウントアップする。なお、ラインカウンタ１０８によるカウント値（これを符号ＣＮＴ−Ｓで表す。）は、ラインカウンタ１１０によるカウント値（これを符号ＣＮＴ−Ｃで表す。）よりも“１”だけ小さくなるように設定されている。ただし、ラインカウンタ１１０によるカウント値ＣＮＴ−Ｃが“０”のときは、ラインカウンタ１０８によるカウント値ＣＮＴ−Ｓは“４”となる。これらのラインカウンタ１０８および１１０によるカウント値ＣＮＴ−０およびＣＮＴ−１は、入力セレクタ１００の切換制御信号として当該入力セレクタ１００に供給されるとともに、後述する出力セレクタ１１４の切換制御信号として当該出力セレクタ１１４にも入力される。
【００５４】
入力セレクタ１００は、データ入力端子２８ａを介して入力される偶数フィールドの高解像度生画像データＤＩ−０およびＲ／Ｗ信号生成回路１０２から入力されるＲ／Ｗ信号を、ラインカウンタ１１０によるカウント値ＣＮＴ−Ｃに従って、５つのラインメモリ１１２，１１２，・・・のいずれか１つに入力する。具体的には、各ラインメモリ１１２，１１２，・・・に“０”〜“４”までの番号が付されているとすると、カウント値ＣＮＴ−Ｃが“０”のとき、入力セレクタ１００は、図６に示すように“０”という番号が付されたラインカウンタ１１２に高解像度生画像データＤＩ−０およびＲ／Ｗ信号を入力する。同様に、カウント値ＣＮＴ−Ｃがそれぞれ“１”，“２”，“３”および“４”のとき、入力セレクタ１００は、それぞれ“１”，“２”，“３”および“４”という番号が付されたラインカウンタ１１２に高解像度生画像データＤＩ−０およびＲ／Ｗ信号を入力する。つまり、入力セレクタ１００は、カウント値ＣＮＴ−Ｃと同じ番号が付されたラインメモリ１１２に高解像度生画像データＤＩ−０およびＲ／Ｗ信号を入力する。
【００５５】
さらに、入力セレクタ１００は、データ入力端子２８ｃを介して入力される奇数フィールドの高解像度生画像データＤＩ−１およびＲ／Ｗ信号生成回路１０２から入力されるＲ／Ｗ信号を、ラインカウンタ１０８によるカウント値ＣＮＴ−Ｓに従って、５つのラインメモリ１１２，１１２，・・・のいずれか１つに入力する。具体的には、入力セレクタ１００は、図７に示すように、カウント値ＣＮＴ−Ｓと同じ番号が付されたラインメモリ１１２に高解像度生画像データＤＩ−１およびＲ／Ｗ信号を入力する。
【００５６】
なお、図には示さないが、入力セレクタ１００は、ＣＫ信号に同期するラッチ回路を内蔵しており、上述の高解像度生画像データＤＩ−０およびＤＩ−１，Ｒ／Ｗ信号生成回路１０２は、当該ラッチ回路を介してラインメモリ１１２に入力される。したがって、厳密には、カウント値ＣＮＴ−Ｃに従って出力先として指定されたラインメモリ１１２には、高解像度生画像データＤＩ−０よりもＣＫ信号の１周期分だけ遅延されたデータＤＩ−０’およびＲ／Ｗ信号よりもＣＫ信号の１周期分だけ遅延されたＲ／Ｗ’信号が入力される。そして、カウント値ＣＮＴ−Ｓに従って出力先として指定されたラインメモリ１１２には、高解像度生画像データＤＩ−１よりもＣＫ信号の１周期分だけ遅延されたデータＤＩ−１’およびＲ／Ｗ信号よりもＣＫ信号の１周期分だけ遅延されたＲ／Ｗ’信号が入力される。
【００５７】
入力セレクタ１００から高解像度生画像データＤＩ−０’およびＲ／Ｗ’信号が入力されたラインメモリ１１２は、当該Ｒ／Ｗ’信号に従ってデータの読み書きを並行して行う。具体的には、入力された高解像度生画像データＤＩ−０’をＣＫ信号に同期して順次自身に書き込むとともに、既に自身に記憶されているデータ、換言すれば前回書き込まれた高解像度生画像データＤＩ−０’に対応するデータＲＤ[m]（ｍ：ラインメモリ１１２の番号を表すインデックス）をＣＫ信号に同期して順次読み出す。
【００５８】
一方、入力セレクタ１００から高解像度生画像データＤＩ−１’およびＲ／Ｗ’信号が入力されたラインメモリ１１２もまた、当該Ｒ／Ｗ’信号に従ってデータの読み書きを並行して行う。具体的には、入力された高解像度生画像データＤＩ−１’をＣＫ信号に同期して順次自身に書き込むとともに、既に自身に記憶されているデータＲＤ[m]をＣＫ信号に同期して順次読み出す。
【００５９】
なお、入力セレクタ１００から高解像度生画像データＤＩ−０’，ＤＩ−１’およびＲ／Ｗ’信号のいずれも入力されていない３つのラインメモリ１１２，１１２，１１２については、常に読み出し状態にある。つまり、これら３つのラインメモリ１１２，１１２，１１２は、既に自身に記憶されているデータＲＤ[m]をＣＫ信号に同期して順次読み出す。
【００６０】
各ラインメモリ１１２，１１２，・・・から読み出された５つのデータＲＤ[m]は、出力セレクタ１１４に入力される。出力セレクタ１１４は、ラインカウンタ１１０および１０８によるカウント値ＣＮＴ−ＣおよびＣＮＴ−Ｓの組合せに従って、各データＲＤ[m]を各ラインメモリ１１２，１１２，・・・に記録された順に並べ替える。具体的には、図８に示すように、カウント値ＣＮＴ−ＣおよびＣＮＴ−Ｓがそれぞれ“０”および“４”であるとき、“４”番のラインメモリ１１２から読み出されたデータＲＤ[4]を、最も古いデータＰとして出力する。そして、“０”，“１”，“２”および“３”番の各ラインメモリ１１２，１１２，・・・から読み出された各データＲＤ[0]，ＲＤ[1]，ＲＤ[2]およびＲＤ[3]を、この順番で古いデータＰ＋１，Ｐ＋２，Ｐ＋３およびＰ＋４として出力する。
【００６１】
また、カウント値ＣＮＴ−ＣおよびＣＮＴ−Ｓがそれぞれ“１”および“０”であるとき、データＲＤ[0]，ＲＤ[1]，ＲＤ[2]，ＲＤ[3]およびＲＤ[4]を、この順番で古いデータＰ，Ｐ＋１，Ｐ＋２，Ｐ＋３およびＰ＋４として出力し、カウント値ＣＮＴ−ＣおよびＣＮＴ−Ｓがそれぞれ“２”および“１”であるとき、データＲＤ[1]，ＲＤ[2]，ＲＤ[3]，ＲＤ[4]およびＲＤ[0]を、データＰ，Ｐ＋１，Ｐ＋２，Ｐ＋３およびＰ＋４として出力する。さらに、カウント値ＣＮＴ−ＣおよびＣＮＴ−Ｓがそれぞれ“３”および“２”であるとき、データＲＤ[2]，ＲＤ[3]，ＲＤ[4]，ＲＤ[0]およびＲＤ[1]を、データＰ，Ｐ＋１，Ｐ＋２，Ｐ＋３およびＰ＋４として出力し、カウント値ＣＮＴ−ＣおよびＣＮＴ−Ｓがそれぞれ“４”および“３”であるとき、データＲＤ[3]，ＲＤ[4]，ＲＤ[0]，ＲＤ[1]およびＲＤ[2]を、データＰ，Ｐ＋１，Ｐ＋２，Ｐ＋３およびＰ＋４として出力する。
【００６２】
この出力カウンタ１１４から出力される５つのデータＰ，Ｐ＋１，Ｐ＋２，Ｐ＋３およびＰ＋４のうち、ラインメモリ１１２への記録順が古い４つのデータＰ，Ｐ＋１，Ｐ＋２およびＰ＋３は、変換回路１１６に入力される。変換回路１１６は、これら４つのデータＰ，Ｐ＋１，Ｐ＋２およびＰ＋３に基づいて上述した色分離，白バランス調整，ＹＵＶ変換などの一連の信号処理を施す。これによって、奇数フィールドに対応する高解像度ＹＵＶデータＤＯ−０が生成され、この高解像度ＹＵＶデータＤＯ−０は、データ出力端子２８ｂから出力される。
【００６３】
一方、出力カウンタ１１４から出力される５つのデータＰ，Ｐ＋１，Ｐ＋２，Ｐ＋３およびＰ＋４のうち、ラインメモリ１１２への記録順が新しい４つのデータＰ＋１，Ｐ＋２，Ｐ＋３およびＰ＋４は、変換回路１１８に入力される。変換回路１１８は、これら４つのデータＰ＋１，Ｐ＋２，Ｐ＋３およびＰ＋４に基づいて色分離を始めとする上述と同様の信号処理を施す。これによって、偶数フィールドに対応する高解像度ＹＵＶデータＤＯ−１が生成され、この高解像度ＹＵＶデータＤＯ−１は、データ出力端子２８ｅから出力される。
【００６４】
かかる信号処理回路２８の動作タイミングについて、図９を参照して詳しく説明する。
【００６５】
すなわち、図９（ａ）に示すようにＨＥ信号が“Ｈ”レベルであるとき、図９（ｂ）に示すように偶数フィールドの高解像度生画像データＤＩ−０が１ライン分ずつ順次入力されるとともに、図９（ｃ）に示すように奇数フィールドの高解像度生画像データＤＩ−１が１ライン分ずつ順次入力される。そして、当該ＨＥ信号に基づいて、１水平ライン周期毎に、図９（ｄ）に示すようにラインカウンタ１１０によるカウント値ＣＮＴ−Ｃが“２”ずつカウントアップするとともに、図９（ｅ）に示すようにラインカウンタ１０８によるカウント値ＣＮＴ−Ｓが“２”ずつカウントアップする。なお、上述したように、カウント値ＣＮＴ−Ｓはカウント値ＣＮＴ−Ｃよりも常に“１”だけ小さい値となる。
【００６６】
ここで、カウント値ＣＮＴ−ＣおよびＣＮＴ−Ｓがそれぞれ“０”および“４”であるときに注目する。この場合、上述した図６に示す関係から、“０”番のラインメモリ１１２に対して入力セレクタ１００から高解像度生画像データＤＩ−０’およびＲ／Ｗ’信号が入力される。つまり、“０”番のラインメモリ１１２は、入力セレクタ１００から入力される高解像度生画像データＤＩ−０’を自身に順次書き込むとともに、既に自身に記憶されているデータＲＤ[0]を順次読み出している状態にある。なお、図においては、図９（ｆ）に示すように、当該“０”番のラインメモリ１１２は、自身に記憶されている“Ｎ−３”ライン目のデータＲＤ[0]を読み出している状態にある。このとき、“０”番のラインメモリ１１２には、図９（ｂ）に示す高解像度生画像データＤＩ−０に基づく“Ｎ＋２”ライン目（Ｎ：任意のラインを表すインデックス）のデータＤＩ−０’が並行して書き込まれる。
【００６７】
また、上述の図７に示す関係から、“４”番のラインメモリ１１２に対して入力セレクタ１００から高解像度生画像データＤＩ−１’およびＲ／Ｗ’信号が入力される。つまり、“４”番のラインメモリ１１２は、入力セレクタ１００から入力される高解像度生画像データＤＩ−１’を自身に順次書き込むとともに、既に自身に記憶されているデータＲＤ[4]を順次読み出している状態にある。なお、図においては、図９（ｊ）に示すように、当該“４”番のラインメモリ１１２は、自身に記憶されている“Ｎ−４”ライン目のデータＲＤ[0]を読み出している状態を示す。このとき、“４”番のラインメモリ１１２には、図９（ｃ）に示す高解像度生画像データＤＩ−１に基づく“Ｎ＋１”ライン目のデータＤＩ−１’が並行して書き込まれる。
【００６８】
そして、これら“０”番および“４”番のラインメモリ１１２および１１２以外の３つのラインメモリ１１２，１１２，・・・は、上述したように読み出し状態にある。図においては、図９（ｇ）に示すように、“１”番のラインメモリ１１２は、自身に記憶されている“Ｎ−２”ライン目のデータＲＤ[1]を読み出している状態にある。そして、図９（ｈ）および図９（ｉ）に示すように、“２”番および“３”番の各ラインメモリ１１２および１１２は、それぞれ自身に記憶された“Ｎ−１”ライン目のデータＲＤ[2]および“Ｎ”ライン目のデータＲＤ[3]を読み出している状態にある。
【００６９】
このようにして各ラインメモリ１１２，１１２，・・・から読み出された５つのデータＲＤ[0]〜ＲＤ[4]は、出力セレクタ１１４に入力される。そして、上述の図８に示す関係から、データＲＤ[4]，ＲＤ[0]，ＲＤ[1]およびＲＤ[2]がこの順番で古いデータＰ，Ｐ＋１，Ｐ＋２およびＰ＋３として変換回路１１６に入力される。これによって、図９（ｋ）に示すように、“Ｎ−４”ライン目〜“Ｎ−１”ライン目までの４本のラインのデータＲＤ[m]に基づいて高解像度ＹＵＶデータＤＯ−０が生成される。
【００７０】
一方、出力セレクタ１１４に入力された５つのデータＲＤ[0]〜ＲＤ[4]のうち、データＲＤ[0]，ＲＤ[1]，ＲＤ[2]およびＲＤ[3]がこの順番で古いデータＰ＋１，Ｐ＋２，Ｐ＋３およびＰ＋４として変換回路１１８に入力される。これによって、図９（ｍ）に示すように、“Ｎ−３”ライン目〜“Ｎ”ライン目までの４本のラインのデータＲＤ[m]に基づいて高解像度ＹＵＶデータＤＯ−１が生成される。
【００７１】
この図９において符号αで示される期間のタイミングについて、図１０を参照して、さらに詳しく説明する。
【００７２】
すなわち、図１０（ａ）に示すＣＫ信号に同期して、当該ＣＫ信号の或る立ち上がり時点ｔ０において、図１０（ｂ）に示すＨＥ信号が“Ｌ”レベルから“Ｈ”レベルに変化したとする。すると、このＨＥ信号の立ち上がり時点ｔ０から、図１０（ｃ）に示すように各高解像度生画像データＤＩ−０およびＤＩ−１が当該ＣＫ信号に同期して１画素分ずつ順次入力される。
【００７３】
そして、図１０（ｄ）に示すように、Ｒ／Ｗ信号は、ＨＥ信号の立ち上がり時点ｔ０から、ＣＫ信号に同期して“Ｈ”レベルおよび“Ｌ”レベルに交互に遷移する。具体的には、ＣＫ信号が“Ｈ”レベルであるときＲ／Ｗ信号も“Ｈ”レベルとなり、ＣＫ信号が“Ｌ”レベルであるときＲ／Ｗ信号も“Ｌ”レベルとなる。なお、時点ｔ０よりも前は、Ｒ／Ｗ信号は“Ｈ”レベル一定である。
【００７４】
さらに、図１０（ｅ）に示すように、Ｈ−ＣＮＴ信号で表されるカウント値が、ＨＥ信号の立ち上がり時点ｔ０から、ＣＫ信号に同期してカウントアップされる。このＨ−ＣＮＴ信号は、上述したアドレス信号生成回路１０６内で生成され、後述するように当該Ｈ−ＣＮＴ信号に基づいてアドレス信号が生成される。
【００７５】
そして、図１０（ｆ）に示すように、時点ｔ０以降の最初のＣＫ信号の立ち上がり時点ｔ１において、ＣＳ信号が“Ｈ”レベルから“Ｌ”レベルに遷移する。これによって、各ラインメモリ１１２，１１２，・・・の動作が有効化される。
【００７６】
また、このＣＳ信号が“Ｌ”レベルになると同時に、図１０（ｇ）に示すように、アドレス信号で表されるアドレス値の更新が開始される。なお、このアドレス信号は、上述したＨ−ＣＮＴ信号をＣＫ信号の１周期分だけ遅延させた信号である。
【００７７】
そして、図１０（ｈ）に示すように、上述の図１０（ｄ）に示すＲ／Ｗ信号をＣＫ信号の１周期分だけ遅延させたＲ／Ｗ’信号が、入力セレクタ１００から出力先として指定された２つのラインメモリ１１２および１１２に入力される。これと同時に、図１０（ｉ）に示すように、上述の図１０（ｃ）に示す高解像度生画像データＤＩ−０およびＤＩ−１をＣＫ信号の１周期分だけ遅延させたデータＤＩ−０’およびＤＩ−１’も、当該２つのラインメモリ１１２および１１２に入力される。
【００７８】
したがって、これらのラインメモリ１１２および１１２の各々は、図１０（ｊ）に示すように、Ｒ／Ｗ’信号が“Ｈ”レベルのときに自身に記憶されたデータＲＤ[m]（図１０（ｊ）において画素毎にダッシュ記号（’）が付されたデータ）を読み出す。そして、Ｒ／Ｗ’信号が“Ｌ”レベルのとき、当該ラインメモリ１１２は、高解像度生画像データＤＩ−０’またはＤＩ−１’を自身に書き込む。
【００７９】
なお、高解像度生画像データＤＩ−０’およびＤＩ−１’のいずれも入力されていない３つのラインメモリ１１２，１１２，１１２には、Ｒ／Ｗ’信号として“Ｈ”レベル一定の信号が入力されている。これによって、これら３つのラインラインメモリ１１２，１１２，１１２は読み出し状態とされている。
【００８０】
以上の説明から判るように、この実施例によれば、一連の撮影処理において、図１１（ａ）に示すように、奇数フィールドの高解像度生画像データは読み出された後、一旦ＳＤＲＡＭ３８に記憶される。そして、偶数フィールドの高解像度生画像データの読み出し期間中に、当該偶数フィールドの高解像度生画像データの読み出しと並行して色分離などの信号処理が施され、ＹＵＶデータが生成される。したがって、図１１（ｂ）に示すように、両フィールドの高解像度生画像データが一旦記憶された後に色分離などの信号処理が施されるという上述の従来技術に比べて、偶数フィールドの高解像度生画像データが記憶されない分だけ当該信号処理に要する時間が短縮され、ひいては一連の撮影処理が完了するまでの時間が短縮される。
【００８１】
なお、この実施例では、イメージセンサ１２としてＣＣＤ型のものを用いたが、Ｃ−ＭＯＳ型のものを用いてもよい。また、このイメージセンサ１２の前面に設けられる色フィルタとしては、いわゆる原色フィルタおよび補色フィルタのいずれをも用いることができる。
【００８２】
また、信号処理回路２８内において、４つのデータＲＤ[m]に基づいて高解像度ＹＵＶデータＤＯ−０またはＤＯ−１を生成するようにした（つまりＭ＝４とした）が、これに限らない。たとえば、より多くのデータＲＤ[m]に基づいて高解像度ＹＵＶデータＤＯ−０またはＤＯ−１を生成するようにすれば、最終的により滑らかな主画像データを得ることができる（つまりＭ＝４に限らない）。
【００８３】
そして、信号処理回路２８の構成は、図５に示したものに限らない。つまり、偶数フィールドの高解像度生画像データＤＯ−０の取り込み期間中に同時に高解像度ＹＵＶデータを生成することができるのであれば、図５以外の構成によって信号処理回路２８を実現してもよい。
【００８４】
さらに、ＡＳＩＣ６４によって一体に形成されたＣＰＵ１８を始めとする各回路は、各々別個体の構成としてもよい。
【００８５】
そして、この実施例では、この発明をディジタルカメラ１０に適用する場合について説明したが、これ以外の用途にもこの発明を適用できることは言うまでもない。
【図面の簡単な説明】
【図１】この発明の一実施例の構成を示すブロック図である。
【図２】図１におけるバッファの詳細な構成を示すブロック図である。
【図３】図１におけるＳＤＲＡＭ内のマッピング状態を示す図解図である。
【図４】図２とは別のバッファの詳細な構成を示すブロック図である。
【図５】図１における信号処理回路の詳細な構成を示すブロック図である。
【図６】図５における入力セレクタの動作パターンを示す図解図である。
【図７】図５における入力セレクタの図６とは別の動作パターンを示す図解図である。
【図８】図５における出力セレクタの動作パターンを示す図解図である。
【図９】図１の実施例における各要部の動作を示すタイミング図である。
【図１０】図９の一部分を拡大して示すタイミング図である。
【図１１】図１の実施例による効果を説明するための図解図である。
【符号の説明】
１０…ディジタルカメラ
１２…イメージセンサ
２８…信号処理回路
３６…ＳＤＲＡＭコントローラ
３８…ＳＤＲＡＭ

Claims (4)

1. 入力手段から飛び越し走査態様で入力されたかつ各々の画素が１色の色情報を有する第１画像信号に色分離を施して各々の画素が複数色の色情報を有する第２画像信号を生成する画像信号処理装置において、
   前記入力手段から入力された奇数ラインおよび偶数ラインの一方の第１画像信号を第１バッファメモリに書き込む第１書き込み手段、
   前記奇数ラインおよび偶数ラインの他方の第１画像信号が前記入力手段から入力されるとき前記第１バッファメモリに格納された第１画像信号を読み出す第１読み出し手段、
   前記第１バッファメモリおよび前記入力手段から入力された第１画像信号に前記色分離を施す色分離手段、
   前記第１バッファメモリおよび前記入力手段から入力された第１画像信号をＭ＋１ラインに相当する容量を持つ第２バッファメモリに循環的に書き込む第２書き込み手段、
   前記第２バッファメモリから最新のＭラインの第１画像信号を読み出す第２読み出し手段、および
   前記第２バッファメモリから最古のＭラインの第１画像信号を読み出す第３読み出し手段を備え、
   前記色分離手段は、前記第２読み出し手段によって読み出されたＭラインの第１画像信号に色分離を施して１ラインの第２画像信号を生成する第１色分離実行手段、および前記第３読み出し手段によって読み出されたＭラインの第１画像信号に色分離を施して１ラインの第２画像信号を生成する第２色分離実行手段を含む画像信号処理装置。
2. 前記第２バッファメモリはＭ＋１個のラインメモリを含み、
   前記第２書き込み手段は前記第１バッファメモリおよび前記入力手段から入力された２ラインの第１画像信号を２個のラインメモリに同時に書き込み、
   前記第２読み出し手段および前記第３読み出し手段の各々はＭラインの第１画像信号をＭ個のラインメモリから同時に読み出す、請求項１記載の画像信号処理装置。
3. 前記第２書き込み手段によって書き込みが施されるラインメモリを１ライン期間に２個の割合で更新する書き込み更新手段、
   前記第２読み出し手段によって読み出しが施されるラインメモリを１ライン期間に１個の割合で更新する第１読み出し更新手段、および
   前記第３読み出し手段によって読み出しが施されるラインメモリを１ライン期間に１個の割合で更新する第２読み出し更新手段をさらに備える、請求項２記載の画像信号処理装置。
4. 被写体を撮影して前記第１画像信号を出力する撮影手段をさらに備える、請求項１ないし３のいずれかに記載の画像信号処理装置。

Images