JP4118272B2 - 画像処理装置 - Google Patents

Description

この発明は、画像処理装置に関し、特にたとえばビデオカメラに適用され、被写界の動画像をモニタに表示する、画像処理装置に関する。

従来のこの種の装置の一例が、特許文献１に開示されている。この従来技術によれば、撮影された被写体の動画像データに基づいてコンポジット画像信号が作成され、作成されたコンポジット画像信号がモニタに向けて出力される。この結果、被写界のリアルタイム動画像がモニタ画面に表示される。
特開２００２−２４７５１７号公報［H04N 5/92, 1/387, 1/41, 5/225, 5/91］

しかし、従来技術では、画像が表示されるモニタは１つである。このため、従来技術は、１つの形式に対応するコンポジット画像信号の作成しか想定していない。つまり、ＨＤＴＶ画像およびＮＴＳＣ画像のような複数の形式に対応する処理について、従来技術は何ら開示していない。

それゆえに、この発明の主たる目的は、複数の形式に適合する処理を破綻を引き起こすことなく実行できる、画像処理装置を提供することである。

請求項１の発明に従う画像処理装置は、第１メモリに第１バスを通して書き込むべき第１動画像データを取り込む取り込み手段、第１メモリから第１バスを通して読み出された第１動画像データに第１処理を施して、第１メモリに第１バスを通して書き込むべき第２動画像データを作成する第１処理手段、第１メモリから第１バスを通して読み出された第２動画像データに第１モニタに向けられた出力処理を施す第１出力手段、第１メモリから第１バスを通して読み出された第２動画像データの解像度を低減させて、第２メモリに第２バスを通して書き込むべき第３動画像データを作成する低減手段、および第２メモリから第２バスを通して読み出された第３動画像データに第２モニタに向けられた出力処理を施す第２出力手段を備える。

第１動画像データは、取り込み手段によって取り込まれ、第１バスを通して第１メモリに書き込まれる。第１メモリに格納された第１動画像データは、第１バスを通して読み出され、第１処理手段によって第１処理を施される。第１処理によって作成された第２動画像データは、第１バスを通して第１メモリに書き込まれる。第１メモリに格納された第２動画像データは第１バスを通して読み出され、第１出力手段によって第１モニタに向けられた出力処理を施される。この結果、対応する動画像が第１モニタの画面に表示される。

低減手段は、第１バスを通して第１メモリから読み出された第２動画像データの解像度を低減させる。これによって作成された第３動画像データは、第２バスを通して第２メモリに書き込まれる。第２メモリに格納された第３動画像データは、第２バスを通して読み出され、第２出力手段によって第２モニタに向けられた出力処理を施される。この結果、対応する動画像が第２モニタの画面に表示される。

このように、第１モニタに向けて出力される第２動画像データを作成するための一連の処理は、第１バスおよび第１メモリを用いて実行される。また、第２モニタに向けて出力される第３動画像データを作成するための一連の処理は、第２バスおよび第２メモリを用いて実行される。ここで、第２動画像データの解像度は、第３動画像データの解像度よりも高い。つまり、高解像度の動画像データの処理（高速処理）には第１バスおよび第１メモリが利用され、低解像度の動画像データの処理（低速処理）には第２バスおよび第２メモリが利用される。この結果、複数の形式に適合する処理を破綻を引き起こすことなく実行できる。

請求項２の発明に従う画像処理装置は、請求項１に従属し、第１動画像データは複数色のいずれか１つが各々の画素に割り当てられたデータであり、第１処理は複数色の全てを各々の画素に割り当てる色処理を含む。第１動画像データを第１メモリに一時的に格納することで、第１動画像データの取り込み態様について柔軟性が確保される。

請求項３の発明に従う画像処理装置は、請求項１または２に従属し、第２動画像データは第１アスペクト比に対応する第１解像度を有し、第３動画像データは第２アスペクト比に対応する第２解像度を有する。

請求項４の発明に従う画像処理装置は、請求項３に従属し、第１アスペクト比は１６：９であり、第２アスペクト比は４：３である。この場合、第２動画像データに基づく動画像はＨＤＴＶ(High Definition TV)に表示でき、第３動画像データに基づく動画像はＮＴＳＣ方式，ＰＡＬ方式またはＳＥＣＡＭ方式のＴＶに表示できる。

請求項５の発明に従う画像処理装置は、請求項１ないし４のいずれかに従属し、第２動画像データおよび第３動画像データは互いに同じフレームレートを有する。これによって、同等の滑らかさを有する動画像を第１モニタおよび第２モニタの各々に表示することができる。

請求項６の発明に従う画像処理装置は、請求項１ないし５のいずれかに従属し、取り込み手段は被写界を周期的に撮影する撮影手段を含む。これによって、複数の形式に適合する動画像データを作成するビデオカメラが実現される。

請求項７の発明に従う画像処理装置は、請求項６に従属し、撮影手段は、複数の部分撮像エリアが形成された撮像面、および複数の部分撮像エリアにそれぞれ割り当てられた複数の出力経路を有し、取り込み手段は、複数の出力経路から出力された電荷に基づいて第１動画像データを作成する作成手段をさらに含む。これによって、解像度およびフレームレートの両方が向上した第１動画像データが得られる。

請求項８の発明に従う画像処理装置は、請求項１ないし７のいずれかに従属し、第１メモリから第１バスを通して読み出された第２動画像データのデータ量を圧縮して、第１メモリに第１バスを通して書き込むべき第４動画像データを作成する第１圧縮手段をさらに備える。圧縮前の第２動画像データおよび圧縮後の第４動画像データのいずれも共通の第１バスを用いて転送することで、高速の圧縮処理が実現される。

請求項９の発明に従う画像処理装置は、請求項８に従属し、第１圧縮手段は第１所定操作が行われたとき圧縮処理を実行する。

請求項１０の発明に従う画像処理装置は、請求項８または９に従属し、第１メモリから第１バスを通して読み出された第４動画像データを第２メモリに第２バスを通して書き込む第１書き込み手段、および第２メモリから第２バスを通して読み出された第４動画像データを記録媒体に記録する動画記録手段をさらに備える。

請求項１１の発明に従属する画像処理装置は、請求項１ないし１０のいずれかに従属し、第１動画像データを形成する１フレームの第１静止画像データに第２処理を施して、第２メモリに第２バスを通して書き込むべき第２静止画像データを作成する第２処理手段をさらに備える。第１静止画像データは、第１バスを転送される第１動画像データから抽出され、第２処理によって第２静止画像データに変換される。変換された第２静止画像データは、第２バスを通して第２メモリに書き込まれる。フレームレートの問題が生じない静止画像データの処理（低速処理）に第２バスおよび第２メモリを利用することで、処理の破綻が回避される。

請求項１２の発明に従う画像処理装置は、請求項１１に従属し、第２処理手段は第２所定操作が行われたとき第２処理を実行する。

請求項１３の発明に従う画像処理装置は、請求項１１または１２に従属し、第２メモリから第２バスを通して読み出された第２静止画像データのデータ量を圧縮して、第２メモリに第２バスを通して書き込むべき第３静止画像データを作成する第２圧縮手段をさらに備える。圧縮前の第２静止画像データおよび圧縮後の第３静止画像データのいずれも共通の第２バスを用いて転送することで、高速の圧縮処理が実現される。

請求項１４の発明に従う画像処理装置は、請求項１３に従属し、第２圧縮手段によって作成された第３静止画像データを記録媒体に記録する静止画記録手段をさらに備える。

この発明によれば、高解像度の動画像データの処理には第１バスおよび第１メモリが利用され、低解像度の動画像データの処理には第２バスおよび第２メモリが利用される。この結果、複数の形式に適合する処理を破綻を引き起こすことなく実行できる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例のディジタルビデオカメラ１０は、ＣＣＤイメージャ１２を含む。被写界の光学像は、光学レンズ（図示せず）を介してＣＣＤイメージャ１２の撮像面に照射される。撮像面は、原色ベイヤ配列の色フィルタ１２ｆによって覆われる。このため、撮像面に形成された複数の受光素子の各々で生成される電荷は、Ｒ（Red），Ｇ（Green）またはＢ（Blue）の色情報を有することとなる。

キー入力装置６８によってカメラモードが選択されると、ＴＧ（Timing Generator）１６がＣＰＵ４４によって起動される。ＴＧ１６は、水平同期信号Ｈｓｙｎｃおよび垂直同期信号Ｖｓｙｎｃを含む複数のタイミング信号を発生する。ドライバ１４ａおよび１４ｂの各々は、かかるタイミング信号に応答してＣＣＤイメージャ１２を駆動する。これによって、１フレームに相当する電荷つまり生画像信号がＣＣＤイメージャ１２から出力される。垂直同期信号Ｖｓｙｎｃは１／３０秒毎に発生し、ＣＣＤイメージャ１２から出力される生画像信号は３０ｆｐｓのフレームレートを有する。

図２を参照して、ＣＣＤイメージャ１２の撮像面は、部分撮像エリアＩＭＬおよびＩＭＲを有する。部分撮像エリアＩＭＬは、撮像面の中心から垂直方向に伸びる境界線ＢＬの左側に形成され、部分撮像エリアＩＭＲは、同じ境界線ＢＬの右側に形成される。図３から分かるように、撮像面は水平１３２４画素×垂直９９６画素の解像度を有する。また、部分撮像エリアＩＭＬおよびＩＭＲの各々は、水平６６２画素×垂直９９６画素の解像度を有する。したがって、部分撮像エリアＩＭＬおよびＩＭＲは、境界線で互いに接する。

なお、光学像が照射される有効エリアは、撮像面のほぼ中央に割り当てられた水平１３００画素×垂直９７５画素のエリアである。

部分撮像エリアＩＭＬおよびＩＭＲの各々には、図示しない複数の垂直転送レジスタが割り当てられる。また、部分撮像エリアＩＭＬには水平転送レジスタＨＬが割り当てられ、撮像エリアＩＭＲには水平転送レジスタＨＲが割り当てられる。したがって、部分撮像エリアＩＭＬ上の複数の受光素子で生成された電荷は、図示しない垂直転送レジスタと水平転送レジスタＨＬとを介して、チャネルＣＨ１から出力される。撮像エリアＩＭＲ上の複数の受光素子で生成された電荷も同様に、図示しない垂直転送レジスタと水平転送レジスタＨＲとを介して、チャネルＣＨ２から出力される。

つまり、ドライバ１４ａは、ＴＧ１６からのタイミング信号に基づいて部分撮像エリアＩＭＬにラスタ走査（飛び越し走査）を施し、左側１／２フレームの生画像信号をチャネルＣＨ１から出力する。ドライバ１４ｂも同様に、ＴＧ１６からのタイミング信号に基づいて撮像エリアＩＭＲにラスタ走査（飛び越し走査）を施し、右側１／２フレームの生画像信号をチャネルＣＨ２から出力する。

ただし、水平転送レジスタＨＲの転送方向は、水平転送レジスタＨＬの転送方向と逆の方向である。このため、ラスタ走査方向もまた、部分撮像エリアＩＭＬおよびＩＭＲの間で互いに反転する。

図１に戻って、ＣＤＳ／ＡＧＣ／ＡＤ回路１８ａは、ＴＧ１６からのタイミング信号に応答して、チャネルＣＨ１の生画像信号に相関２重サンプリング，自動ゲイン調整およびＡ／Ｄ変換の一連の処理を施す。ＣＤＳ／ＡＧＣ／ＡＤ回路１８ｂも同様に、ＴＧ１６からのタイミング信号に応答して、チャネルＣＨ２の生画像信号に相関２重サンプリング，自動ゲイン調整およびＡ／Ｄ変換の一連の処理を施す。タイミング信号は、２７ＭＨｚの周波数を有する。このため、ＣＤＳ／ＡＧＣ／ＡＤ変換器１８ａおよび１８ｂの各々からは、ディジタル信号である生画像データが２７ＭＨｚのクロックレートで出力される。

ＡＳＩＣ２０に設けられたチャネルマッチング回路２２は、Ａ／Ｄ変換器１８ａおよび１８ｂの各々から与えられた生画像データに切り出し，クランプ，白バランス調整などの一連のマッチング処理を施す。有効エリアに属する生画像データは、切り出し処理によって抽出される。チャネル間のレベル差は、クランプ処理によって解消される。白バランスのずれは、白バランス調整処理によって解消される。このマッチング処理は、ＴＧ１６から出力されたタイミング信号に応答して実行される。チャネルマッチング回路２２は、所定量のマッチング処理が完了する毎に書き込みリクエストをＳＤＲＡＭコントローラ３０に向けて発行する。

ＳＤＲＡＭコントローラ３０は、図６に示すように構成される。チャネルマッチング回路２２によって発行されたリクエストは、調停回路３０ａに与えられる。調停回路３０ａは、チャネルマッチング回路２２の他に、信号処理回路２４，ＭＰＥＧコーデック２６，Ｄ４−Ｉ／Ｆ２８，ＸＢＵＳ−Ｉ／Ｆ３４，ストリームＩ／Ｆ３６，ＣＣＤ出力回路３８，Ｄ１−Ｉ／Ｆ４０およびＣＰＵ４４からもリクエストを受け、予め設定された優先度に従っていずれか１つのリクエストを承認する。調停回路３０ａは、承認されたリクエストの発行元に承認信号を与え、承認されたリクエストに対応する処理をメモリアクセス回路３０ｂに命令する。

承認されたリクエストが書き込みリクエストであれば、メモリアクセス回路３０ｂは、この書き込みリクエストの発行元からバスＢ１またはＢ２を経て転送された所定量のデータをＳＤＲＡＭ３２に書き込む。また、承認されたリクエストが読み出しリクエストであれば、メモリアクセス回路３０ｂは、この読み出しリクエストに従う所定量のデータをＳＤＲＡＭ３２から読み出し、読み出されたデータをバスＢ１またはＢ２を経て読み出しリクエストの発行元に転送する。

このように、バスＢ１またはＢ２を経たデータ転送は時分割態様で間欠的に実行される。これによって、データの衝突が回避される。

図１に戻って、チャネルマッチング回路２２は、マッチング処理を施された所定量の生画像データをバスＢ１を通してＳＤＲＡＭコントローラ３０に転送する。チャネルマッチング回路２２から与えられた生画像データは、ＳＤＲＡＭコントローラ３０によって生画像エリア３２ａ（図４参照）に書き込まれる。チャネルＣＨ１の生画像データは生画像エリア３２ａの左側に書き込まれ、チャネルＣＨ２の生画像データは生画像エリア３２ａの右側に書き込まれる。こうして、１フレームの被写界像を表す水平１３００画素×垂直９７５画素の生画像データが生画像エリア３２ａに確保される。

信号処理回路２４は、生画像エリア３２ａに格納された生画像データを所定量ずつ読み出すべく、読み出しリクエストをＳＤＲＡＭコントローラ３０に向けて繰り返し発行する。ＳＤＲＡＭコントローラ３０によって読み出された生画像データは、バスＢ１を通して信号処理回路２４に与えられる。信号処理回路２４は、こうして転送された生画像データに色分離，ＹＵＶ変換などの処理を施す。この一連の処理は、５４ＭＨｚのクロックレートで実行される。

かかる処理の繰り返しによって、水平１２８０画素×垂直７２０画素の解像度を有するＹＵＶ画像データが１／３０秒に１フレームの割合で生成される。こうして生成されたＹＵＶ画像データは、バスＢ１を通して所定量ずつＳＤＲＡＭコントローラ３０に転送される。このときも書き込みリクエストが繰り返し発行され、ＹＵＶ画像データはＳＤＲＡＭコントローラ３０によって動画像エリア３２ｂ（図４参照）に書き込まれる。

生画像データの解像度は水平１３００画素×垂直９７５画素であるため、この生画像データに基づく画像のアスペクト比は４：３である。これに対して、信号処理回路２４によって生成されるＹＵＶ画像データの解像度は水平１２８０画素×垂直７２０画素であるため、このＹＵＶ画像データに基づく画像のアスペクト比は１６：９である。したがって、ＹＵＶ画像データを生成するとき、生画像データの垂直方向両端が部分的に除去される。

Ｄ１−Ｉ／Ｆ４０は、読み出しリクエストをＳＤＲＡＭコントローラ３０に向けて繰り返し発行し、動画像エリア３２ｂに格納されたＹＵＶ画像データを所定量ずつ読み出す。ＹＵＶ画像データは、ラスタ走査態様（飛び越し走査態様）で動画像エリア３２ｂから読み出され、バスＢ１を介してＤ１−Ｉ／Ｆ４０に与えられる。このとき、ＹＵＶ画像データは、１／３０秒に１フレームの割合でＤ１−Ｉ／Ｆ４０に入力される。

Ｄ１−Ｉ／Ｆ４０は、与えられたＹＵＶ画像データに形式変換処理を施す。この処理は、２７ＭＨｚのクロックレートに従って実行され、処理を施されたＹＵＶ画像データは、水平７２０画素×垂直４８０画素の解像度と４：３のアスペクト比とを有する。こうして、Ｄ１規格に適合するＹＵＶ画像データが、１／３０秒に１フレームの割合で生成される。

なお、Ｄ１−Ｉ／Ｆ４０に与えられるＹＵＶ画像データのアスペクト比は１６：９である一方、Ｄ１−Ｉ／Ｆ４０から出力されるＹＵＶ画像データのアスペクト比は４：３である。したがって、Ｄ１−Ｉ／Ｆ４０から出力されるＹＵＶ画像データの垂直方向両端には、レターボックス成分が割り当てられることとなる。

Ｄ１−Ｉ／Ｆ４０で生成されたＹＵＶ画像データは、ＡＳＩＣ４２に設けられたＤ１−Ｉ／Ｆ５２に向けて出力される。Ｄ１−Ｉ／Ｆ５２もまた、２７ＭＨｚのクロックレートに従ってＹＵＶ画像データを取り込む。Ｄ１−Ｉ／Ｆ５２は、所定量のＹＵＶ画像データが取り込まれる毎に書き込みリクエストをＳＤＲＡＭコントローラ５６に向けて発行し、このリクエストが承認されたときに所定量のＹＵＶ画像データをバスＢ３を通してＳＤＲＡＭコントローラ５６に転送する。

図７を参照して、ＳＤＲＡＭコントローラ５６は、図６に示すＳＤＲＡＭコントローラ３９と同様、調停回路５６ａおよびメモリアクセス回路５６ｂによって形成される。さらに、調停回路５６ａおよびメモリアクセス回路５６ｂはそれぞれ、図６に示す調停回路３０ａおよびメモリアクセス回路３０ｂと同様に動作する。したがって、重複した説明は省略する。

図１に戻って、ＳＤＲＡＭコントローラ５６は、Ｄ１−Ｉ／Ｆ５２から転送された所定量のＹＵＶ画像データを動画像エリア５４ｂ（図５参照）に書き込む。ＹＵＶ画像データは、１／３０秒に１フレームの割合で動画像エリア５４ｂに書き込まれる。

ＮＴＳＣエンコーダ６２は、動画像エリア５４ｂに格納されたＹＵＶ画像データを所定量ずつ読み出すべく、読み出しリクエストをＳＤＲＡＭコントローラ５６に向けて繰り返し発行する。ＹＵＶ画像データは、ＳＤＲＡＭコントローラ５６によって読み出され、バスＢ３を通してＮＴＳＣエンコーダ６２に与えられる。

ＮＴＳＣエンコーダ６２は、与えられたＹＵＶ画像データをＮＴＳＣ方式のコンポジットビデオ信号に変換する。コンポジットビデオ信号もまた１／３０秒に１フレームの割合で生成され、生成されたコンポジットビデオ信号はＬＣＤモニタ６６に向けて出力される。この結果、被写界のリアルタイム動画像（スルー画像）が、図８（Ｂ）に示す要領でモニタ画面に表示される。

Ｄ４−Ｉ／Ｆ２８が図示しないＨＤＴＶに接続されると、ＣＰＵ４４は、Ｄ１−Ｉ／Ｆ４０に代えてあるいはＤ１−Ｉ／Ｆ４０とともに、Ｄ４−Ｉ／Ｆ２８を起動する。Ｄ４−Ｉ／Ｆ２８は、動画像エリア３２ｂに格納されたＹＵＶ画像データをバスＢ１およびＳＤＲＡＭコントローラ３０を通して所定量ずつ読み出す。ＹＵＶ画像データは、３０ｆｐｓのフレームレートに従って、ラスタ走査態様（順次走査態様）で読み出される。Ｄ４−Ｉ／Ｆ２８は、読み出されたＹＵＶ画像データをＤ４規格に適合するビデオ信号に変換し、変換されたビデオ信号をＨＤＴＶに出力する。この結果、高画質のスルー画像が、図８（Ａ）に示す要領でＴＶ画面に表示される。

キー入力装置６８によって動画記録開始操作が実行されると、ＭＰＥＧ４コーデック２６およびストリームＩ／Ｆ３６がＣＰＵ４４によって起動される。ＭＰＥＧ４コーデック２６は、ＳＤＲＡＭ３２の動画像エリア３２ｂ（図４参照）に格納されたＹＵＶ画像データを上述と同じ要領で所定量ずつ読み出す。つまり、読み出しリクエストをＳＤＲＡＭコントローラ３０に向けて繰り返し発行し、ＹＵＶ画像データをバスＢ１を通して所定量ずつ取得する。取得されたＹＵＶ画像データは、ＭＰＥＧ４方式に従って圧縮される。このような読み出し処理および圧縮処理は、１／３０秒に１フレームの割合で実行される。

圧縮処理によって生成されたＭＰＥＧ４ストリームは、上述と同様に、バスＢ１を通して所定量ずつＳＤＲＡＭコントローラ３０に与えられ、ＳＤＲＡＭ３２のＭＰＥＧエリア３２ｃ（図４参照）に書き込まれる。

ストリームＩ／Ｆ３６は、ＭＰＥＧエリア３２ｃに格納されたＭＰＥＧ４ストリームをバスＢ１およびＳＤＲＡＭコントローラ３０を通して所定量ずつ読み出し、読み出されたＭＰＥＧ４ストリームをＡＳＩＣ４２に設けられたストリームＩ／Ｆ４８に向けて出力する。ストリームＩ／Ｆ４８は、与えられたＭＰＥＧ４ストリームをバスＢ３を通して所定量ずつＳＤＲＡＭコントローラ５６に与え、ＳＤＲＡＭ５４のＭＰＥＧエリア５４ｃ（図５参照）に書き込む。

ＣＰＵ４４は、ＭＰＥＧエリア５４ｃに格納されたＭＰＥＧ４ストリームを所定量ずつ読み出すべく、読み出しリクエストをＳＤＲＡＭコントローラ５６に向けて繰り返し発行する。ＳＤＲＡＭコントローラ５６によって読み出されたＭＰＥＧ４ストリームは、バスＢ４を通してカードＩ／Ｆ５８に与えられ、カードＩ／Ｆ５８によってメモリカード６４に記録される。ＭＰＥＧ４ストリームは、メモリカード６４に形成されたＭＰＥＧファイルに格納されていく。動画記録終了操作が行われると、ＭＰＥＧ４コーデック２６およびストリームＩ／Ｆ３６がＣＰＵ４４によって停止され、これによって動画記録処理が終了する。

動画記録処理の途中あるいは動画記録処理が終了した後に静止画記録操作が行われると、ＣＰＵ４４は、ＣＣＤ出力回路３８，信号処理回路５０およびＪＰＥＧコーデック６０を起動する。ＣＣＤ出力回路３８は、ＳＤＲＡＭ３２の生画像エリア３２ａ（図４参照）から１フレームの生画像データを所定量ずつ読み出すべく、ＳＤＲＡＭコントローラ３０に向けて読み出しリクエストを発行する。ＳＤＲＡＭコントローラ３０によって読み出された生画像データは、バスＢ１を介してＣＣＤ出力回路３８に与えられる。ＣＣＤ出力回路３８は、こうして与えられる１フレームの生画像データをＡＳＩＣ４２に設けられた信号処理回路５０に向けて出力する。

信号処理回路５０は、ＣＣＤ出力回路３８から与えられた生画像データに色分離，ＹＵＶ変換などの処理を施し、図８（Ｃ）に示すように水平１２８０画素×垂直９６０画素の解像度と４：３のアスペクト比とを有するＹＵＶ画像データを生成する。生成されたＹＵＶ画像データは、バスＢ３を通してＳＤＲＡＭコントローラ５６に与えられ、その後、ＳＤＲＡＭ５４の静止画像エリア５４ｄ（図５参照）に書き込まれる。

ＪＰＥＧコーデック６０は、静止画像エリア５４ｄに格納されたＹＵＶ画像データを所定量ずつ読み出すべく、読み出しリクエストをＳＤＲＡＭコントローラ５６に向けて繰り返し発行する。ＹＵＶ画像データは、ＳＤＲＡＭコントローラ５６によって読み出され、バスＢ３を経てＪＰＥＧコーデック６０に与えられる。ＪＰＥＧコーデック６０は、与えられたＹＵＶ画像データにＪＰＥＧ圧縮を施し、圧縮画像データつまりＪＰＥＧデータの書き込みをＳＤＲＡＭコントローラ５６に繰り返しリクエストする。ＳＤＲＡＭコントローラ５６は、バスＢ３を通してＪＰＥＧコーデック６０から与えられるＪＰＥＧデータをＳＤＲＡＭ５４のＪＰＥＧエリア５４ａに書き込む。

ＣＰＵ４４は、こうしてＪＰＥＧエリア５４ａに確保された１フレームのＪＰＥＧデータをバスＢ４およびＳＤＲＡＭコントローラ５６を通して所定量ずつ読み出し、読み出されたＪＰＥＧデータをバスＢ４およびカードＩ／Ｆ５８を通してメモリカード６４に記録する。この結果、ＪＰＥＧファイルがメモリカード６４内に作成される。

キー入力装置６８によって再生モードが選択され、メモリカード６４に記録された所望のＭＰＥＧファイルが選択されると、ＣＰＵ４４は、バスＢ４およびカードＩ／Ｆ５８を通してメモリカード６４にアクセスし、所望のＭＰＥＧファイルからＭＰＥＧ４ストリームを再生する。再生されたＭＰＥＧ４ストリームは、バスＢ４を通して所定量ずつＳＤＲＡＭコントローラ５６に与えられ、ＳＤＲＡＭコントローラ５６によってＳＤＲＡＭ５４のＭＰＥＧエリア５４ｃ（図５参照）に書き込まれる。

ストリームＩ／Ｆ４８は、ＳＤＲＡＭコントローラ５６に向けて読み出しリクエストを繰り返し発行し、ＭＰＥＧエリア５４ｃに格納されたＭＰＥＧ４ストリームを所定量ずつ読み出す。読み出されたＭＰＥＧ４ストリームは、バスＢ３を通してストリームＩ／Ｆ４８に与えられ、その後ストリームＩ／Ｆ３６に向けて出力される。

ストリームＩ／Ｆ３６は、与えられたＭＰＥＧ４ストリームの書き込みをＳＤＲＡＭコントローラ３０に繰り返しリクエストする。ＳＤＲＡＭコントローラ３０は、バスＢ１を通してストリームＩ／Ｆ３６から与えられるＭＰＥＧ４ストリームをＳＤＲＡＭ３２のＭＰＥＧエリア３２ｃ（図４参照）に書き込む。

ＭＰＥＧ４コーデック２６は、ＭＰＥＧエリア３２ｃに格納されたＭＰＥＧ４ストリームをＳＤＲＡＭコントローラ３０を通して所定量ずつ読み出す。読み出されたＭＰＥＧ４ストリームはバスＢ１を通してＭＰＥＧ４コーデック２６に与えられ、ＭＰＥＧ４方式に従って伸長される。伸長されたＹＵＶ画像データは、１／３０秒に１フレームの割合でＭＰＥＧ４コーデック２６から出力され、バスＢ１を通して所定量ずつＳＤＲＡＭコントローラ３０に与えられる。ＹＵＶ画像データはその後、ＳＤＲＡＭ３２の動画像エリア３２ｂ（図４参照）に書き込まれる。

Ｄ１−Ｉ／Ｆ４０は、ＳＤＲＡＭコントローラ３０を通して動画像エリア３２ｂからＹＵＶ画像データを読み出し、バスＢ１を通して入力されたＹＵＶ画像データに上述と同様の形式変換処理を施す。ＹＵＶ画像データの解像度は、水平１２８０画素×垂直７２０画素から水平７２０画素×水平４８０画素に低減され、低減されたＹＵＶ画像データの垂直方向両端にレターボックス成分が割り当てられる。このＹＵＶ画像データもまた１／３０秒に１フレームの割合で作成され、作成されたＹＵＶ画像データはＤ１−Ｉ／Ｆ５２に向けて出力される。

上述と同様、ＳＤＲＡＭ３２からＤ１−Ｉ／Ｆ４０へのデータ転送は５４ＭＨｚのクロックレートに従って実行され、Ｄ１−Ｉ／Ｆ４０からＤ１−Ｉ／Ｆ５２へのデータ転送は２７ＭＨｚのクロックレートに従って実行される。

Ｄ１−Ｉ／Ｆ５２は、Ｄ１−Ｉ／Ｆ４０から与えられた各フレームのＹＵＶ画像データを、バスＢ３を通して所定量ずつＳＤＲＡＭコントローラ５６に与える。ＹＵＶ画像データは、ＳＤＲＡＭコントローラ５６によってＳＤＲＡＭ５４の動画像エリア５４ｂ（図５参照）に書き込まれる。

ＮＴＳＣエンコーダ６２は、動画像エリア５４ｂに格納されたＹＵＶ画像データをＳＤＲＡＭコントローラ５６を通して所定量ずつ読み出し、バスＢ３を通して与えられたＹＵＶ画像データをＮＴＳＣ方式のコンポジットビデオ信号に変換する。読み出し処理および変換処理も、１／３０秒に１フレームの割合で実行される。変換されたコンポジットビデオ信号はＬＣＤモニタ６６に向けて出力され、これによって再生動画像が図６（Ｂ）に示す要領でモニタ画面に表示される。

Ｄ４−Ｉ／Ｆ２８がＨＤＴＶに接続されると、Ｄ１−Ｉ／Ｆ４０に代えてあるいはＤ１−Ｉ／Ｆ４０とともに、Ｄ４−Ｉ／Ｆ２８が起動される。Ｄ４−Ｉ／Ｆ２８は、ＳＤＲＡＭコントローラ３０を通してＳＤＲＡＭ３２の動画像エリア３２ｂ（図４参照）からＹＵＶ画像データを読み出す。各フレームのＹＵＶ画像データは、１／３０秒毎にラスタ走査態様（順次走査態様）で読み出され、バスＢ１を通してＤ４−Ｉ／Ｆ２８に与えられる。

Ｄ４−Ｉ／Ｆ２８は、与えられたＹＵＶ画像データをＤ４規格に適合するビデオ信号に変換し、変換されたビデオ信号をＨＤＴＶに出力する。この結果、高画質の再生動画像が、図６（Ａ）に示す要領でＴＶ画面に表示される。

再生モードが選択された状態で所望のＪＰＥＧファイルが選択されると、ＣＰＵ４４は、バスＢ４およびカードＩ／Ｆ５８を通してメモリカード６４にアクセスし、所望のＪＰＥＧファイルに格納されたＪＰＥＧデータを再生する。再生されたＪＰＥＧデータは、バスＢ４およびＳＤＲＡＭコントローラ５６を通してＳＤＲＡＭ５４のＪＰＥＧエリア５４ａ（図５参照）に書き込まれる。

ＪＰＥＧコーデック６０は、ＪＰＥＧエリア５４ａに格納されたＪＰＥＧデータをＳＤＲＡＭコントローラ５６を通して所定量ずつ読み出し、バスＢ３を通して与えられたＪＰＥＧデータを伸長する。ＪＰＥＧコーデック６０はさらに、伸長されたＹＵＶ画像データの書き込みをＳＤＲＡＭコントローラ５６にリクエストする。ＳＤＲＡＭコントローラ５６は、バスＢ３を通して転送されたＹＵＶ画像データをＳＤＲＡＭ５４の静止画像エリア５４ｄ（図５参照）に書き込む。

ＮＴＳＣエンコーダ６２は、静止画像エリア５４ｄに格納されたＹＵＶ画像データをバスＢ３およびＳＤＲＡＭコントローラ５６を通して読み出し、読み出されたＹＵＶ画像データをＮＴＳＣ方式のコンポジットビデオ信号に変換する。このとき、解像度が水平１２８０画素×垂直９６０画素から水平７２０画素×水平４８０画素に低減される。読み出し処理および変換処理は、上述と同様、１／３０秒に１フレームの割合で実行される。変換されたコンポジットビデオ信号はＬＣＤモニタ６６に向けて出力され、これによって再生静止画像がモニタ画面に表示される。

Ｄ４−Ｉ／Ｆ２８がＨＤＴＶに接続されると、ＮＴＳＣエンコーダ６２に代えてＸＢＵＳ−Ｉ／Ｆ４６が起動される。ＸＢＵＳ−Ｉ／Ｆ４６は、バスＢ４およびＳＤＲＡＭコントローラ５６を通して静止画像エリア５４ｄからＹＵＶ画像データを読み出し、読み出されたＹＵＶ画像データをＡＳＩＣ２０に設けられたＸＢＵＳ−Ｉ／Ｆ３４に向けて出力する。ＸＢＵＳ−Ｉ／Ｆ３４は、与えられたＹＵＶ画像データをバスＢ２およびＳＤＲＡＭコントローラ３０を通してＳＤＲＡＭ３２の静止画像エリア３２ｄ（図４参照）に所定量ずつ書き込む。

Ｄ４−Ｉ／Ｆ２８は、バスＢ１およびＳＤＲＡＭコントローラ３０を通して静止画像エリア３２ｄからＹＵＶ画像データを所定量ずつ読み出し、読み出されたＹＵＶ画像データをＤ４規格のビデオ信号に変換する。読み出し処理および変換処理は１／３０秒に１フレームの割合で実行される。変換されたビデオ信号はＨＤＴＶに向けて出力され、この結果、高画質の静止画像がＴＶ画面に表示される。

静止画像エリア３２ｄから読み出されるＹＵＶ画像データの解像度は水平１２８０画素×垂直９６０画素である一方、ＨＤＴＶに向けて出力されるビデオ信号の解像度は水平１２８０画素×垂直７２０画素である。したがって、垂直方向両端が部分的に欠落した静止画像がＴＶ画面に表示される。

以上の説明から分かるように、ＣＤＳ／ＡＧＣ／ＡＤ回路１８ａおよび１８ｂの各々から出力された生画像データ（第１動画像データ）は、チャネルマッチング回路２２（取り込み手段）によって取り込まれ、バスＢ１（第１バス）を通してＳＤＲＡＭ３２（第１メモリ）に書き込まれる。第１メモリに格納された生画像データは、バスＢ１を通して読み出され、信号処理回路２４（第１処理手段）によって色分離やＹＵＶ変換などの処理（第１処理）を施される。信号処理回路２４によって作成されたＹＵＶ画像データ（第２動画像データ）は、バスＢ１を通してＳＤＲＡＭ３２に書き込まれる。ＳＤＲＡＭ３２に格納されたＹＵＶ画像データはバスＢ１を通して読み出され、Ｄ４−Ｉ／Ｆ２８（第１出力手段）によってＨＤＴＶ（第１モニタ）に向けられた出力処理を施される。この結果、対応する動画像がＨＤＴＶの画面に表示される。

Ｄ１−Ｉ／Ｆ４０（低減手段）は、バスＢ１を通してＳＤＲＡＭ３２から読み出されたＹＵＶ画像データの解像度を低減させる。低解像度のＹＵＶ画像データ（第３動画像データ）は、バスＢ３（第２バス）を通してＳＤＲＡＭ５４（第２メモリ）に書き込まれる。ＳＤＲＡＭ５４に格納されたＹＵＶ画像データは、バスＢ３を通して読み出され、ＮＴＳＣエンコーダ６２（第２出力手段）によってＬＣＤモニタ（第２モニタ）に向けられた出力処理を施される。この結果、対応する動画像が第２モニタの画面に表示される。

このように、ＨＤＴＶ用のＹＵＶ画像データを作成するための一連の処理は、バスＢ１およびＳＤＲＡＭ３２を用いて実行される。また、ＬＣＤモニタ６６用のＹＵＶ画像データを作成するための一連の処理は、バスＢ３およびＳＤＲＡＭ５４を用いて実行される。ここで、ＨＤＴＶ用のＹＵＶ画像データの解像度は、ＬＣＤモニタ用のＹＵＶ画像データの解像度よりも高い。つまり、高解像度の動画像データの処理（高速処理）にはバスＢ１およびＳＤＲＡＭ３２が利用され、低解像度の動画像データの処理（低速処理）にはバスＢ３およびＳＤＲＡＭ５４が利用される。この結果、複数の形式に適合する処理を破綻を引き起こすことなく実行できる。

また、動画記録操作が行われると、バスＢ１を通してＳＤＲＡＭ３２から読み出されたＹＵＶ画像データが、ＭＰＥＧコーデック２６（第１圧縮手段）によって圧縮される。これによって作成されたＭＰＥＧ４ストリーム（第４動画像データ）は、バスＢ１を通してＳＤＲＡＭ３２に書き込まれる。圧縮前のＹＵＶ画像データおよび圧縮後のＭＰＥＧ４ストリームのいずれも共通のバスＢ１を用いて転送することで、高速の圧縮処理が実現される。

ＭＰＥＧ４ストリームは、その後、バスＢ１を通してＳＤＲＡＭ３２から読み出され、バスＢ３を通してＳＤＲＡＭ５４に書き込まれる。ＭＰＥＧ４ストリームはその後、バスＢ３を通してＳＤＲＡＭ５４から読み出され、カードＩ／Ｆ５８（動画記録手段）によってメモリカード６４（記録媒体）に記録される。

静止画記録操作が行われると、１フレームの生画像データ（第１静止画像データ）がＣＣＤ出力回路３８（第２処理手段）によって抽出され、ＹＵＶ画像データ（第２静止画像データ）に変換される。変換されたＹＵＶ画像データは、バスＢ３を通してＳＤＲＡＭ５４に書き込まれ、その後ＪＰＥＧ圧縮を経てメモリカード５８に記録される。フレームレートの問題が生じない静止画像データの処理（低速処理）にバスＢ２およびＳＤＲＡＭ５４を利用することで、処理の破綻が回避される。

なお、この実施例では、イメージセンサとしてＣＣＤイメージャを用いているが、これに代えてＣＭＯＳイメージャなどの他のイメージセンサを採用するようにしてもよい。また、この実施例では、静止画像の圧縮方式としてＪＰＥＧ方式を採用しているが、これに代えてＪＰＥＧ２０００方式を採用するようにしてもよい。さらに、この実施例では、動画像の圧縮方式としてＭＰＥＧ４方式を採用しているが、これに代えてＭＪＰＥＧ方式，ＭＪＰＥＧ２０００方式またはＨ．２６４方式のような他の動画圧縮方式を採用してもよい。

この発明の一実施例の構成を示すブロック図である。 図１実施例に適用されるＣＣＤイメージャの構成の一例を示す図解図である。 図２に示すＣＣＤイメージャの撮像面の構成の一例を示す図解図である。 図１実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。 図１実施例に適用される他のＳＤＲＡＭのマッピング状態の一例を示す図解図である。 図１実施例に適用されるＳＤＲＡＭコントローラの構成の一例を示すブロック図である。 図１実施例に適用される他のＳＤＲＡＭコントローラの構成の一例を示すブロック図である。 （Ａ）はＨＤＴＶに表示される動画像のアスペクト比を示す図解図であり、（Ｂ）はＬＣＤモニタに表示される動画像のアスペクト比を示す図解図であり、（Ｃ）は記録静止画像のアスペクト比を示す図解図である。

符号の説明

１０ …ディジタルビデオカメラ
１２ …ＣＣＤイメージャ
２２ …チャネルマッチング回路
２４，４６ …信号処理回路
２６ …ＭＰＥＧ４コーデック
３０，５６ …ＳＤＲＡＭコントローラ
３２，５４ …ＳＤＲＡＭ
６０ …ＪＰＥＧコーデック
６６ …ＬＣＤ

Claims (14)

1. 第１メモリに第１バスを通して書き込むべき第１動画像データを取り込む取り込み手段、
   前記第１メモリから前記第１バスを通して読み出された第１動画像データに第１処理を施して、前記第１メモリに前記第１バスを通して書き込むべき第２動画像データを作成する第１処理手段、
   前記第１メモリから前記第１バスを通して読み出された第２動画像データに第１モニタに向けられた出力処理を施す第１出力手段、
   前記第１メモリから前記第１バスを通して読み出された第２動画像データの解像度を低減させて、第２メモリに第２バスを通して書き込むべき第３動画像データを作成する低減手段、および
   前記第２メモリから前記第２バスを通して読み出された第３動画像データに第２モニタに向けられた出力処理を施す第２出力手段を備える、画像処理装置。
2. 前記第１動画像データは複数色のいずれか１つが各々の画素に割り当てられたデータであり、
   前記第１処理は前記複数色の全てを各々の画素に割り当てる色処理を含む、請求項１記載の画像処理装置。
3. 前記第２動画像データは第１アスペクト比に対応する第１解像度を有し、
   前記第３動画像データは第２アスペクト比に対応する第２解像度を有する、請求項１または２記載の画像処理装置。
4. 前記第１アスペクト比は１６：９であり、前記第２アスペクト比は４：３である、請求項３記載の画像処理装置。
5. 前記第２動画像データおよび前記第３動画像データは互いに同じフレームレートを有する、請求項１ないし４のいずれかに記載の画像処理装置。
6. 前記取り込み手段は被写界を周期的に撮影する撮影手段を含む、請求項１ないし５のいずれかに記載の画像処理装置。
7. 前記撮影手段は、複数の部分撮像エリアが形成された撮像面、および前記複数の部分撮像エリアにそれぞれ割り当てられた複数の出力経路を有し、
   前記取り込み手段は、前記複数の出力経路から出力された電荷に基づいて前記第１動画像データを作成する作成手段をさらに含む、請求項６記載の画像処理装置。
8. 前記第１メモリから前記第１バスを通して読み出された第２動画像データのデータ量を圧縮して、前記第１メモリに前記第１バスを通して書き込むべき第４動画像データを作成する第１圧縮手段をさらに備える、請求項１ないし７のいずれかに記載の画像処理装置。
9. 前記第１圧縮手段は第１所定操作が行われたとき圧縮処理を実行する、請求項８記載の画像処理装置。
10. 前記第１メモリから前記第１バスを通して読み出された第４動画像データを前記第２メモリに前記第２バスを通して書き込む第１書き込み手段、および
    前記第２メモリから前記第２バスを通して読み出された第４動画像データを記録媒体に記録する動画記録手段をさらに備える、請求項８または９記載の画像処理装置。
11. 前記第１動画像データを形成する１フレームの第１静止画像データに第２処理を施して、前記第２メモリに前記第２バスを通して書き込むべき第２静止画像データを作成する第２処理手段をさらに備える、請求項１ないし１０のいずれかに記載の画像処理装置。
12. 前記第２処理手段は第２所定操作が行われたとき前記第２処理を実行する、請求項１１記載の画像処理装置。
13. 前記第２メモリから前記第２バスを通して読み出された第２静止画像データのデータ量を圧縮して、前記第２メモリに前記第２バスを通して書き込むべき第３静止画像データを作成する第２圧縮手段をさらに備える、請求項１１または１２記載の画像処理装置。
14. 前記第２圧縮手段によって作成された第３静止画像データを記録媒体に記録する静止画記録手段をさらに備える、請求項１３記載の画像処理装置。

Images