JP6087631B2 - 画像信号処理装置及びその制御方法、並びに撮像装置 - Google Patents

Description

本発明は、入力画像信号を処理しつつ、表示用信号を生成して表示する場合の表示遅延時間を短縮する技術に関する。

デジタルビデオカメラやデジタルカメラ等の撮像装置は、被写体像の確認用に表示装置を備え、液晶や有機ＥＬ（エレクトロルミネッセンス）のディスプレイ（パネル）や電子ビューファインダー（ＥＶＦ）等が使用される。表示画面にはユーザが撮影する被写体像、つまり記録している画像を所定の画質でリアルタイムに表示することができる。近年、記録画像の多画素化や、画質改善処理の多機能化に伴い、信号処理に時間がかかると表示遅延が生じる。表示遅延により、パンニングやチルティング、ズーミング等のカメラ操作時にユーザに違和感を与え、構図やフォーカス状態等の確認が難しくなる場合がある。また、表示遅延量は撮影フレーム周波数にも依存し、フレーム周波数が低い場合に表示遅延量が大きくなる。撮像装置の構成にもよるが、例えば、フレーム周波数２４Ｈｚの場合には、６０Ｈｚの場合よりも表示遅延量が２．５倍大きくなる。

テレビジョン装置においても画質改善処理の多機能化により同様の問題がある。テレビジョン装置にゲーム機器を接続してユーザがゲーム操作を行う場合、テレビジョン装置で画質改善処理を行うと数フレーム時間の表示遅延が生じる。ユーザ操作の遅れが原因でゲーム結果が変わる場合や、ユーザに違和感を与える場合があった。そこで、表示遅延量の低減のために、画質改善処理を簡略化した低遅延用の処理を行う方法や、フレームメモリの記憶処理と読み出し処理を同時に行う制御方法が特許文献１に開示されている。

特許第４６９１１９３号公報

従来の装置では、入力画像信号を処理しつつ、表示用の画像信号を生成して表示部に出力するまでの表示遅延時間を如何にして短縮するかが課題である。従来の技術では撮像装置等への適用において、撮影中の画像を表示装置に表示する場合の表示遅延時間を短縮することが困難である。
本発明は、入力画像信号を処理しつつ、表示用の画像信号を生成して表示部に出力するまでの表示遅延時間を短縮することを目的とする。

上記課題を解決するために、本発明に係る装置は、互いに異なるフレーム期間の入力画像信号を各別に処理する複数の信号処理手段と、前記複数の信号処理手段によって処理された各フレーム期間の画像信号を記憶する記憶手段と、前記複数の信号処理手段によって信号処理が行われた前記画像信号を記録メディアに出力する出力手段と、前記複数の信号処理手段に対して並列に設けられ、前記入力画像信号を縮小してサイズを表示用に変更して表示用の画像信号を出力する表示用信号処理手段と、前記入力画像信号の第１フレーム周波数の同期タイミングと前記表示用の画像信号の第２フレーム周波数の同期タイミングを制御する制御手段を備える。前記複数の信号処理手段は、前記入力画像信号を前記記憶手段に記憶させてから当該入力画像信号を前記記憶手段から読み出して処理し、前記表示用信号処理手段は、前記入力画像信号を前記記憶手段に記憶させる前にリサイズ処理を行い、リサイズ処理された画像信号を前記記憶手段に記憶させる。

本発明によれば、入力画像信号を処理しつつ、表示用の画像信号を生成して表示部に出力するまでの表示遅延時間を短縮することができる。

本発明の実施形態に係る機能構成を例示したブロック図である。 本発明の第１実施形態に係る動作タイミング例を示す図である。 本発明の第２実施形態に係る動作タイミング例を示す図である。 本発明の第２実施形態におけるＤＲＡＭへのアクセスを説明する図である。 本発明の第３実施形態におけるＤＲＡＭへのアクセスを説明する図である。 比較例の機能構成を例示したブロック図である。 比較例の動作タイミング例を示す図である。

以下、本発明の各実施形態について詳細に説明する。本発明の実施形態に係る画像信号処理装置は、入力画像信号をフレーム期間ごとにそれぞれ処理する複数の信号処理部を備える。各実施形態では撮像装置への適用例を示す。

［第１実施形態］
本発明の第１実施形態に係る画像信号処理装置の構成例について、図１を参照して説明する。本実施形態に係る画像信号処理装置は第１信号処理部及び第２信号処理部を並列に接続した構成を有する。第１信号処理部を信号処理部１００Aとし、第２信号処理部を信号処理部１００Bとする。これらの信号処理部はいずれもＡＳＩＣ（Application Specific Integrated Circuit、特定用途向け集積回路）である。以下では、それぞれ１０８０／６０Ｐの処理能力を持つＡＳＩＣを想定し、信号処理部１００Aと信号処理部１００Bにおいて、同じ機能を持つ構成部については、同じ符号の末尾にA，Bの記号を付けることで区別して表記する。

撮像用のセンサ１０１は、ＣＣＤ（電荷結合素子）やＣＭＯＳ（相補型金属酸化膜半導体）等を用いた撮像素子である。図１では省略するが、撮像光学系を構成するレンズ群を通過する被写体光に対して、入射光量や焦点調節が行われる。センサ１０１は結像された被写体像を光電変換し、各画素の光量に対応したアナログ電圧信号を出力する。撮像素子の各画素には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各カラーフィルタが、所定の配列、例えばベイヤー配列やハニカム配列で配置されている。これによりＲＧＢ画像信号が得られる。また、高速出力化のために、複数の画素の出力を加算して１つの出力画像を得る画素加算処理を行って、ＲＧＢ画像信号を出力する場合もある。ＣＤＳ／ＡＤ部１０２は、ＣＤＳ（相関２重サンプリング）及びＡＤ（アナログ−デジタル変換）を行い、センサ１０１が出力した画像信号をデジタル信号に変換する。変換後のデジタル信号は、信号処理部１００Aの入力端子１０３Aと、信号処理部１００Bの入力端子１０３Bにそれぞれ出力される。

以下、信号処理部１００Aの構成を説明する。
デジタル画像信号（入力画像信号）は入力端子１０３Aを介して、スイッチ部１０４A、リサイズ処理部１２４、ＡＦ（自動焦点調節）及びＡＥ（自動露出）処理部１２０にそれぞれ入力される。各部は並列に接続されている。信号処理部１００Aのスイッチ部１０４Aと、信号処理部１００Bのスイッチ部１０４Bは、後述するように、交互にＯＮ／ＯＦＦ動作する。これにより、各信号処理部は、センサ１０１が出力した２４フレーム毎秒の画像信号を交互に１２フレーム毎秒ずつ処理する。スイッチ部１０４AがＯＮ状態になった場合にデジタル画像信号はＤＲＡＭ１０５Aに一旦記憶される。ＤＲＡＭは“Dynamic Random Access Memory”の略号である。

現像処理部１０６Aは、ＤＲＡＭ１０５Aに記憶されたデジタル画像信号を読み出して、ＲＧＢ画像信号のオフセット調整、ゲイン調整、ガンマ補正処理等を行う。次にＲＧＢ画像信号は輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）に変換され、ＹＣＣ画像信号としてＤＲＡＭ１０７Aに格納される。
幾何変形処理部１０８Aは、ＤＲＡＭ１０７AからＹＣＣ画像信号を読み出し、例えばレンズの歪曲収差の補正処理や、撮像装置の防振処理等を行う。歪曲収差の補正は画像歪の補正処理の一例である。また、撮像装置の防振処理により、手振れ等によって生じる像ぶれの補正処理が行われる。処理後の信号はＤＲＡＭ１０９Aに記憶される。ＮＲ（ノイズリダクション）等を行うポスト処理部１１０Aは、ＤＲＡＭ１０９AからＹＣＣ画像信号を読み出し、ノイズ成分の低減処理等を行う。処理後の信号はＤＲＡＭ１１２Aに格納される。
一方、信号処理部１００Bでは、信号処理部１００Aと同様の処理が、撮像画像のフレーム毎に交互に処理されるが、それらの説明は省略する。処理結果はＤＲＡＭ１１２Bに格納される。ＤＲＡＭ１１２Bに記憶された画像信号は、後述するタイミングで信号処理部１００Bの端子１１４Bから、信号処理部１００Aの端子１１４Aを介して、ＤＲＡＭ１１２Aへ転送されることで、２４フレーム毎秒の画像信号に復元される。つまり、ＤＲＡＭ１１２Aは、信号処理部１００Aと信号処理部１００Bにより処理された各フレーム期間の画像信号を記憶する。

信号処理部１００Aの外部出力部１１５は、ＤＲＡＭ１１２AからＹＣＣ画像信号を読み出してフォーマット変換を行う。フォーマット変換後の画像信号は、端子１１６を介して撮像装置外部に出力され、外部機器に送信される。フォーマット変換処理は、ＨＤＭＩやＳＤＩ、コンポーネントやコンポジット等の画像信号伝送フォーマットに合わせて実行される。ＨＤＭＩは”High-Definition Multimedia Interface”の略号であり、ＳＤＩは”Serial Digital Interface”の略号である。圧縮伸長部１１７は、ＤＲＡＭ１１２AからＹＣＣ画像信号を読み出し、記録フォーマットに合わせて圧縮符号化処理を施す。圧縮符号化処理後の信号は記録メディア１１９に記録される。

ＡＦ及びＡＥ処理部１２０は、入力画像信号に対してバンドパスフィルタ処理を行い、高精細信号成分を抽出する。抽出した信号成分はフォーカス制御の合焦状況を把握するためのＡＦ評価信号として、制御部１３０のＣＰＵ（中央演算処理装置）に送信され、ＡＦ機能が実現される。また、ＡＦ及びＡＥ処理部１２０は入力画像信号から輝度レベルの平均値を取り出す。輝度レベルの平均値を示す信号は制御部１３０に送信され、ＡＥ機能が実現される。このように、ＡＦ及びＡＥ処理部１２０は信号処理部１００Aに設けられており、スイッチ部１０４Aの前段から取り出した、すべてのフレームの画像信号を処理する。これにより、処理の遅延を防ぎ、応答を高めることができる。

リサイズ処理部１２４、現像処理部１２５、ＤＲＡＭ１２６、パネル用信号処理部１１８、パネル出力部１２１は表示用信号処理部を構成する。表示用信号処理部は画像信号の画サイズを表示用に変更する処理を行う。本実施形態の画サイズ変更処理では、リサイズ処理部１２４が画像縮小処理を実行する。リサイズ処理部１２４は、入力端子１０３Aから取得したＲＧＢ画像信号について、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色毎に重心を補正しながら縮小し、次段の現像処理部１２５に出力する。表示パネル用のリサイズ処理は、数ライン分のライン遅延線を用いることで実現可能である。FIR(Finite Impulse Response)フィルタ構成の場合、本処理での遅延時間は上記ライン遅延線による遅延時間の約半分となる。現像処理部１２５は、ＲＧＢ画像信号のオフセット調整、ゲイン調整、ガンマ補正処理を行い、次にＲＧＢ画像信号を輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）に変換する。表示パネル用の現像処理には、ライン遅延線は不要であるので、信号処理の遅延時間は数クロック分となる。ＹＣＣ画像信号はＤＲＡＭ１２６に一旦書き込まれる。

パネル用信号処理部１１８は、現像処理部１２５が出力したパネル表示サイズのＹＣＣ画像信号をＤＲＡＭ１２６から読み出し、表示パネル１２７に合わせた色調整処理や、解像度調整処理等を行う。パネル出力部１２１は表示信号出力処理を実行し、表示パネル１２７の受信フォーマットに合わせてフォーマット変換を行う。フォーマット変換後の画像信号は、端子１２２を介して表示パネル１２７に送信され、画面上に撮影画像が表示される。

制御部１３０は、入力画像信号の第１フレーム周波数の同期タイミングと表示パネル用の画像信号の第２フレーム周波数の同期タイミングを制御する。つまり、センサ１０１の駆動周期と表示パネル１２７の駆動周期との同期を制御することにより、駆動周期及び遅延時間の制御がセンサ１０１と表示パネル１２７について各々制御される。具体的には、センサ１０１と表示パネル１２７の同期信号の遅延量を計測する計測部と、センサ１０１の駆動周期を基準として、表示パネル１２７の駆動周期の同期信号の遅延量が所定の範囲内に収まるように調節する同期制御部が設けられる。また、各回路部を制御するために、制御部１３０はＣＰＵ等を用いた既知の制御ブロックを備える。この制御ブロックは、現像処理部１０６、幾何変形処理部１０８、ポスト処理部１１０、パネル用信号処理部１１８の設定調整等を行う。

次に、本実施形態に対する比較例について、図６を参照して説明する。センサ９０１は図１のセンサ１０１に相当し、ＣＤＳ／ＡＤ部９０２は図１のＣＤＳ／ＡＤ部１０２に相当する。信号処理部９００A内の各部９０３Aないし９１０A、９１２A、９１５ないし９１７、９１９は、図１の信号処理部１００A内の各部１０３Aないし１１０A、１１２A、１１５ないし１１７、１１９とそれぞれ同様である。また、信号処理部９００B内の各部９０３Bないし９１０B、９１２Bは、図１の信号処理部１００B内の各部１０３Aないし１１０B、１１２Bとそれぞれ同様である。よって、以下では、図６に示す信号処理装置の構成において、本実施形態との相違点を説明する。

図６に示すポスト処理部９１０A，９１０Bの各出力は、ＤＲＡＭ９１２A、９１２Bにそれぞれ書き込まれると共に、リサイズ処理部９１１A、９１１Bにそれぞれ送られる。リサイズ処理部９１１A，９１１Bは、入力された各ＹＣＣ画像信号の画サイズを、表示パネルの表示サイズまで縮小する処理を行う。画像縮小処理後の画像信号はＤＲＡＭ９１３A、９１３Bにそれぞれ送られて記憶される。信号処理部９００BのＤＲＡＭ９１３Bから読み出されたパネル表示サイズのＹＣＣ画像信号は、端子９２３Bから出力されて、信号処理部９００Aの端子９２３Aを介してＤＲＡＭ９１３Aに転送される。これにより、２４フレーム毎秒の画像信号が復元される。パネル用信号処理部９１８は、パネル表示サイズのＹＣＣ画像信号をＤＲＡＭ９１３Aから読み出し、表示パネルに合わせた色の調整処理や、解像度調整処理等を行う。パネル出力部９２１は、表示パネルの受信フォーマットに合わせてフォーマット変換を行う。フォーマット変換後の画像信号は、端子９２２を介して表示パネルに送信され、画面上の画像が表示される。

次に、本実施形態に係る画像信号処理装置の動作に関して、図２を参照して説明する。
本実施形態では、センサ１０１の駆動周期に対応する第１フレーム周波数と、表示パネル１２７の駆動周期に対応する第２フレーム周波数が等しく２４Ｈｚ（ヘルツ）で同期している場合を想定する。同期タイミングについては、図２に示すとおり、センサ同期に比べて、パネル同期が遅れたタイミングで同期している。また、センサ１０１の画素数を８８４７３６０ピクセル（水平方向４０９６ピクセル×垂直方向２１６０ライン）とし、表示パネル１２７の画素数を５１８４００ピクセル（水平方向９６０ピクセル×垂直５４０ライン）とする。ステップ３１０ないし３１５、ステップ３２０ないし３２３は処理の各過程を表している。信号処理部１００Aに関連するステップには記号Aを付し、信号処理部１００Bに関連するステップには記号Bを付して区別している。フレーム１ないし５は、入力画像信号の第１ないし第５フレームをそれぞれ示す。

ステップ３１０A（以下、ステップを「Ｓ」と記す）において、センサ１０１の出力はＣＤＳ／ＡＤ部１０２で処理され、ＲＧＢ画像信号が出力される。まず、第１フレームの画像信号の処理を説明する。
図２に示すフレーム１の画像信号は、信号処理部１００Aのスイッチ部１０４Aが閉じられることにより、ＤＲＡＭ１０５Aに書き込まれる。Ｓ３１１Aで現像処理部１０６Aは、ＲＧＢ画像信号を輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）に変換する。変換後のＹＣＣ画像信号はＤＲＡＭ１０７Aに記憶される。

次のＳ３１２Aでは、Ｓ３１１AでＤＲＡＭ１０７Aに記憶したＹＣＣ画像信号が、Ｓ３１１Aの処理開始時点から１フレーム期間の時間経過後に読み出される。幾何変形処理部１０８Aは、読み出した画像信号に対して、レンズの歪曲収差の補正処理や、撮像装置の防振処理等を行う。処理後の画像信号はＤＲＡＭ１０９Aに記憶される。Ｓ３１３Aでは、Ｓ３１２AでＤＲＡＭ１０９Aに記憶したＹＣＣ画像信号が、Ｓ３１２Aの処理開始時点から１フレーム期間の時間経過後に読み出される。ポスト処理部１１０Aは、読み出した画像信号に対して、ノイズリダクション処理等を行う。処理後の画像信号はＤＲＡＭ１１２Aに記憶される。Ｓ３１４Aにて、１フレーム期間分の遅延時間をもって、ＹＣＣ画像信号を遅延させる処理が、ＤＲＡＭ１１２Aを用いて実行される。これは、後述する信号処理部１００Bの転送時間分だけ画像信号を遅延させることにより、信号処理部１００Aと信号処理部１００Bとの間で時間を調整してタイミングを揃えるために行う処理である。
Ｓ３１５Aでは、Ｓ３１３AでＤＲＡＭ１１２Aに記憶したＹＣＣ画像信号が、Ｓ３１３Aの処理開始時点から２フレーム期間の時間経過後に読み出される。外部出力部１１５は、画像信号伝送フォーマットに合わせてフォーマット変換を行い、変換した画像信号を撮像装置外部に出力する。記録処理を行う場合には、圧縮伸長部１１７がＤＲＡＭ１１２AからＹＣＣ画像信号を読み出し、記録フォーマットに合わせて圧縮符号化処理を施してから、記録メディア１１９に画像信号を記録する。

次に第２フレームの画像信号の処理を説明する。
図２に示すフレーム２の画像信号は、信号処理部１００Bのスイッチ部１０４Bが閉じられることにより、ＤＲＡＭ１０５Bに記憶される。Ｓ３１１Bで現像処理部１０６Bは、ＲＧＢ画像信号を輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）に変換する。変換後のＹＣＣ画像信号はＤＲＡＭ１０７Bに記憶される。次のＳ３１２Bでは、Ｓ３１１BでＤＲＡＭ１０７Bに記憶したＹＣＣ画像信号がＳ３１１Bの処理開始時点から１フレーム期間の時間経過後に読み出される。幾何変形処理部１０８Bは、読み出した画像信号に対して、レンズの歪曲収差の補正処理や、撮像装置の防振処理等を行う。処理後の画像信号はＤＲＡＭ１０９Bに記憶される。Ｓ３１３Bでは、Ｓ３１２BでＤＲＡＭ１０９Bに記憶したＹＣＣ画像信号が、Ｓ３１２Bの処理開始時点から１フレーム期間の時間経過後に読み出される。ポスト処理部１１０Bは、ノイズリダクション処理等を行う。処理後のＹＣＣ画像信号はＤＲＡＭ１１２Bに記憶される。

ＤＲＡＭ１１２Bに記憶されたＹＣＣ画像信号は、Ｓ３１４Bにおいて、端子１１４Bと端子１１４Aを介して信号処理部１００Aに転送され、ＤＲＡＭ１１２Aに記憶される。この際の伝送レートは、送受信する画像データを１９２０×１０８０とし、８ｂｉｔずつのＹＣＣ画像データを４．１５ＭＢ（メガバイト）として、１／２４秒（１フレーム期間の長さ）以内に送受信する場合、９９．６ＭＢ／秒となる。
Ｓ３１５Bにおいては、Ｓ３１４Bで信号処理部１００Aに転送され、ＤＲＡＭ１１２Aに記憶されたＹＣＣ画像信号が、Ｓ３１４Bの処理開始時点から１フレーム期間の時間経過後に読み出される。外部出力部１１５は、画像信号伝送フォーマットに合わせてフォーマット変換を行い、変換した画像信号を撮像装置外部に出力する。また、圧縮伸長部１１７がＤＲＡＭ１１２AからＹＣＣ画像信号を読み出し、記録フォーマットに合わせて圧縮符号化処理を施してから、記録メディア１１９に画像信号を記録する。

このように、奇数フレーム１、３、５・・・の各画像信号は、信号処理部１００Aが処理し、偶数フレーム２、４、６・・・の各画像信号は、信号処理部１００Bが処理することにより、１つのチップで処理できる以上の画像データをとり扱うことができる。
また、入力端子１０３Aから入力されるＲＧＢ画像信号は、Ｓ３２０Aにおいて、リサイズ処理部１２４が画像縮小処理を行う。次のＳ３２１Aで現像処理部１２５がＹＣＣ画像への変換処理を行う。変換後の画像信号は、ＤＲＡＭ１２６に記憶される。ステップ３２２Aでパネル用信号処理部１１８は、ＤＲＡＭ１２６からＹＣＣ画像信号を読み出し、表示パネル１２７に合わせた色の調整処理や解像度調整処理等を行う。Ｓ３２３Aでパネル出力部１２１は、表示パネル１２７の受信フォーマットに合わせてフォーマット変換を行い、変換した画像信号を表示パネル１２７に送信する。そして表示パネル１２７の画面上に画像が表示される。

本実施形態の場合、１フレームの表示信号処理時間、つまりＳ３１０AからＳ３２３Aまでの処理にかかる時間は、１フレーム期間強（ＤＬ参照）である。よって、センサ１０１を用いて撮影している画像信号を処理しつつ、表示装置に出力するまでの表示遅延時間は１フレーム期間強となる。

次に、図６に例示した比較例の動作タイミングについて、図７を参照して説明する。Ｓ８１０ないしＳ８１６、Ｓ８２２、Ｓ８２３は処理の各過程を表している。図６の信号処理部９００Aに関連するステップには記号Aを付し、信号処理部９００Bに関連するステップには記号Bを付して区別している。図２との相違点を主に説明する。

Ｓ８１３Aにおいて、フレーム１の画像信号については、ポスト処理部９１０AがＤＲＡＭ９１２Aに書き込まれる信号を取得して、Ｓ８１６Aにおいて、リサイズ処理部９１１Aが表示パネルの画サイズに合わせてリサイズ処理を行う。表示パネル用のリサイズ処理には、数ライン分の遅延時間を伴うが、フレーム遅延は必要なく、準リアルタイムで処理が行われる。処理後のＹＣＣ画像信号はＤＲＡＭ９１３Aに記憶される。フレーム２の画像信号は、信号処理部９００Bにて同様の処理が行われ、処理結果であるＹＣＣ画像信号はＳ８１６Bにて、ＤＲＡＭ９１３Bに記憶される。ＤＲＡＭ９１３Bから読み出された表示パネル用のＹＣＣ画像信号は、端子９２３Bと端子９２３Aを介してフレーム遅延なしで順次に信号処理部９００Aへ転送され、ＤＲＡＭ９１３Aに記憶される。これにより、２４フレーム毎秒の画像信号に復元される。Ｓ８２２Aでパネル用信号処理部９１８は、ＤＲＡＭ９１３Aから読み出した画像信号に対して、表示パネルに合わせた色の調整処理や、解像度調整処理等を行う。Ｓ８２３Aでパネル出力部９２１は、表示パネルの受信フォーマットに合わせてフォーマット変換を行い、変換した画像信号を表示パネルに送信する。表示パネルの画面上に画像が表示される。

図７に示す比較例の場合、全ての信号処理を終えて、２つの信号処理部９００A,９００Bによって交互に実行される処理の結果を１つにまとめてから、表示パネルに出力する画像信号が生成される。このため、表示遅延時間が長くなってしまう。１フレームの画像信号の処理において、Ｓ８１０AからＳ８２３Aの開始時点まで、４フレーム期間分に相当する表示遅延時間が発生している。これは、フレーム周波数が２４Ｈｚの場合、約１６６ミリ秒である。
これに対して、本実施形態によれば、信号処理部１００Aのスイッチ部１０４Aに入力する前の分岐点で取得した画像信号を表示用に処理することで、撮影中の画像を表示装置に出力する場合の表示遅延時間を１フレーム期間強に短縮できる。撮影中の画像を表示装置に表示する場合の表示遅延時間を短縮することにより、ユーザは表示遅延による違和感を抱くことなく表示画像を鑑賞できる。

本実施形態では、説明の便宜上、信号処理部内の各ＤＲＡＭをそれぞれ個別のデバイスとして説明した。これに限らず、１個のＤＲＡＭをアドレス制御によって共用する構成でもよい。また、本実施形態では、センサ１０１の駆動周期と表示パネル１２７の駆動周期を同一周期としているので制御が容易となる。また、本実施形態では奇数フレームの画像信号を第１信号処理部が処理し、偶数フレームの画像信号を第２信号処理部が処理する構成を例示した。これに限らず３以上の信号処理部を用いて、各フレームの画像信号を時分割して各別に処理する実施形態でもよい。また、本実施形態ではパネル表示用信号処理部を、記録信号処理および外部出力処理を行う第１信号処理部１００A内に設けた例を説明したが、パネル表示用信号処理部を別の回路部にしても構わない。

［第２実施形態］
次に、本発明の第２実施形態を説明する。なお、第１実施形態と同様の構成部については既に使用した符号を用いることにより、それらの詳細な説明を省略し、主に相違点を説明する。このような説明の省略の仕方は後述の実施形態でも同様である。

第２実施形態では、記録画像用の信号処理回路の一部分からＲＧＢ画像信号を抜き出して、表示用画像処理回路に出力することで表示遅延時間を短縮する。以下では、センサ１０１の駆動フレーム周波数と、表示パネル１２７の出力フレーム周波数が異なる例を説明する。センサ１０１の駆動周期に対応する第１フレーム周波数を２４Ｈｚとし、表示パネル１２７の駆動周期に対応する第２フレーム周波数を６０Ｈｚとする。

図３を参照して、第２実施形態に係る画像信号処理装置の動作タイミングを説明する。Ｓ３１０AないしＳ３１５A、Ｓ３２０A、Ｓ３２１A、及びＳ３１１BないしＳ３１５Bは図２と同様であるので、Ｓ３３０A以降を説明する。
Ｓ３３０Aにて、パネル用信号処理部１１８はＤＲＡＭ１２６から画像信号を読み出すが、この際のフレーム周波数は６０Ｈｚである。この様子を、図４を参照して説明する。

図４では、横軸に時間軸（右方向を時間経過方向とする）をとり、縦軸にはＤＲＡＭ１２６のメモリアドレスを示す。ＤＲＡＭ１２６は、第１バンク（ｂａｎｋ０）と第２バンク（ｂａｎｋ１）で構成されている。「ｗｒｉｔｅ」で示す斜め右上がりの矢印は、現像処理部１２５が各バンクにデータを書き込む場合の、２４Ｈｚでのライトアクセスを表わしている。図４では、ｂａｎｋ０にデータを書き込んだ後で、ｂａｎｋ１に次のデータを書き込む動作が、交互に行われる。ここでの画像データはラスタスキャン構成であり、各フレームは、画面の上部から順次下部に向かってメモリに転送される。「ｒｅａｄ」で示す斜め右上がりの矢印は、パネル用信号処理部１１８が各バンクからデータを読み出す場合の、６０Ｈｚでのリードアクセスを表わしている。「ｒｅａｄ」で示す矢印の勾配は、「ｗｒｉｔｅ」で示す矢印よりも大きく、読み出し速度が書き込み速度よりも大きいことを意味する。図示のように、ｂａｎｋ１に対して２回のリードアクセスと、ｂａｎｋ０に対して３回のリードアクセスが行われる。センサ１０１から読み出す１フレームのデータ毎に、パネル出力部１２１は、２フレームまたは３フレームの同じ画像データをＤＲＡＭ１２６から読み出して、表示パネル１２７に送信する（図３：Ｓ３３１A）。ここで、センサ１０１のフレーム周波数２４Ｈｚの同期タイミングと、表示パネル１２７のフレーム周波数６０Ｈｚの同期タイミングとの位相は、制御部１３０によって予め決められた位相関係となるように制御される。これにより、「ｗｒｉｔｅ」の矢印で示す書き込み時のアドレスと、「ｒｅａｄ」の矢印で示す読み出し時のアドレスとが、同じｂａｎｋで重なること（追い越し）が起こらないように設定される。

第２実施形態では、表示パネル１２７の１画面内に、センサ１０１による複数フレームの画像を表示することなく、センサ１０１と表示パネル１２７の各フレーム周波数を異なる値にすることができる。

［第３実施形態］
次に本発明の第３実施形態を説明する。
第３実施形態では、センサ１０１の駆動フレーム周波数と、表示パネル１２７の出力フレーム周波数が異なる場合を例示する。以下では、第２フレーム周波数を第１フレーム周波数の整数倍とする。表示パネル１２７の出力フレーム周波数がセンサ１０１の駆動フレーム周波数のｎ倍(ｎは自然数)の場合を説明する。ｎ＝２とし、センサ１０１の駆動フレーム周波数を３０Ｈｚとし、表示パネル１２７の出力フレーム周波数を６０Ｈｚとする。
本実施形態に係るブロック構成は図１と同様である。動作タイミングは図３と同様であるが、メモリアクセスの方法が図４とは異なるので、これについて、図５を参照して説明する。

メモリバンクはｂａｎｋ０のみであり、現像処理部１２５がＹＣＣ画像信号をＤＲＡＭ１２６に書き込むバンクと、パネル用信号処理部１１８がＤＲＡＭ１２６から画像信号を読み出すバンクは同一であり、アクセスするアドレスだけが異なる。図５のＶＤはフレーム信号を表し、ＢＬＫはブランキング期間を表している。その下方には、横軸に時間軸（右方向を時間経過方向とする）をとり、縦軸にはＤＲＡＭ１２６のメモリアドレスを示す。「ｗｒｉｔｅ」で示す斜め右上がりの矢印は、現像処理部１２５がＤＲＡＭ１２６に画像信号を書き込む場合の、３０Ｈｚでのライトアクセスを表わしている。あるフレームと次のフレームとの間には、所定時間、例えばセンサフレーム周期の１０％に相当するブランキング期間ＢＬＫが設けられている。フレーム信号ＶＤがＬ（ロー）レベルの期間がブランキング期間ＢＬＫである。「ｗｒｉｔｅ」で示す矢印は、ブランキング期間以外の期間で実行される、メモリバンクｂａｎｋ０へのライトアクセスを表している。画像データはラスタスキャン構成であり、各フレームのデータは、画面の上部から順次下部に向かってＤＲＡＭ１２６に転送される。「ｒｅａｄ」で示す矢印は、パネル用信号処理部１１８がＤＲＡＭ１２６からデータを読み出す場合の、６０Ｈｚでのリードアクセスを表わしている。この場合、読み出し速度は書き込み速度の２倍である。センサ１０１のフレーム周波数３０Ｈｚの同期タイミングと、表示パネル１２７のフレーム周波数６０Ｈｚの同期タイミングとの位相が予め定められた位相関係に制御される。これにより、書き込みアドレスと読み出しアドレスがｂａｎｋ０上で重ならないように設定して、読み出しが書き込みを追い越さないようにすることができる。

第３実施形態では、１つのメモリバンクを用いて、第２実施形態と同様の効果を得ることができる。しかも、ＤＲＡＭを介することによる表示遅延時間を、画面上部では１フレーム期間の半分の時間とし、画面下部ではほぼゼロにすることができる。全体ではセンサ１０１の駆動フレーム周波数に対して、１フレーム期間長の２分の１以下の表示遅延時間（ｎ＝２の場合）に抑えることができる。

１００A 第１信号処理部
１００B 第２信号処理部
１０１ センサ（撮像手段）
１１２A，１１２B ＤＲＡＭ
１１５ 外部出力部
１１８ パネル用信号処理部
１２１ パネル出力部
１２４ リサイズ処理部

Claims (8)

1. 互いに異なるフレーム期間の入力画像信号を各別に処理する複数の信号処理手段と、
   前記複数の信号処理手段によって処理された各フレーム期間の画像信号を記憶する記憶手段と、
   前記複数の信号処理手段によって信号処理が行われた前記画像信号を記録メディアに出力する出力手段と、
   前記複数の信号処理手段に対して並列に設けられ、前記入力画像信号を縮小してサイズを表示用に変更して表示用の画像信号を出力する表示用信号処理手段と、
   前記入力画像信号の第１フレーム周波数の同期タイミングと前記表示用の画像信号の第２フレーム周波数の同期タイミングを制御する制御手段を備え、
   前記複数の信号処理手段は、前記入力画像信号を前記記憶手段に記憶させてから当該入力画像信号を前記記憶手段から読み出して処理し、
   前記表示用信号処理手段は、前記入力画像信号を前記記憶手段に記憶させる前にリサイズ処理を行い、リサイズ処理された画像信号を前記記憶手段に記憶させることを特徴とする画像信号処理装置。
2. 前記複数の信号処理手段は、奇数フレームの画像信号を処理する第１信号処理部及び偶数フレームの画像信号を処理する第２信号処理部を有することを特徴とする請求項１に記載の画像信号処理装置。
3. 前記複数の信号処理手段は、ノイズリダクション処理、画像信号の変換処理、画像歪の補正処理、及び像ぶれの補正処理のうちの１つ以上の処理を行うことを特徴とする請求項１または請求項２に記載の画像信号処理装置。
4. 前記表示用信号処理手段は、前記画像信号のサイズを変更した画像信号を輝度信号及び色差信号に変換して記憶手段のメモリバンクに書き込んだ後、該メモリバンクから読み出した信号を表示用の信号に処理することを特徴とする請求項３に記載の画像信号処理装置。
5. 前記メモリバンクに画像信号を書き込む場合の前記第１フレーム周波数と、前記メモリバンクから画像信号を読み出す場合の前記第２フレーム周波数が異なることを特徴とする請求項４に記載の画像信号処理装置。
6. 前記第２フレーム周波数が前記第１フレーム周波数の整数倍であることを特徴とする請求項５に記載の画像信号処理装置。
7. 撮像手段と、
   前記撮像手段の出力する互いに異なるフレーム期間の画像信号を入力画像信号として取得して各別に処理する複数の信号処理手段と、
   前記複数の信号処理手段によって処理された各フレーム期間の画像信号を記憶する記憶手段と、
   前記複数の信号処理手段によって信号処理が行われた前記画像信号を記録メディアに出力する出力手段と、
   前記複数の信号処理手段に対して並列に設けられ、前記入力画像信号を縮小してサイズを表示用に変更して表示用の画像信号を表示手段に出力する表示用信号処理手段と、
   前記撮像手段の駆動周期に対応する第１フレーム周波数の同期タイミングと前記表示手段の駆動周期に対応する第２フレーム周波数の同期タイミングを制御する制御手段を備え、
   前記複数の信号処理手段は、前記入力画像信号を前記記憶手段に記憶させてから当該入力画像信号を前記記憶手段から読み出して処理し、
   前記表示用信号処理手段は、前記入力画像信号を前記記憶手段に記憶させる前にリサイズ処理を行い、リサイズ処理された画像信号を前記記憶手段に記憶させることを特徴とする撮像装置。
8. 互いに異なるフレーム期間の入力画像信号を各別に処理する複数の信号処理手段を備える画像信号処理装置にて実行される制御方法であって、
   前記複数の信号処理手段によって処理された各フレーム期間の画像信号を記憶手段に記憶する記憶ステップと、
   前記複数の信号処理手段によって信号処理が行われた前記画像信号を記録メディアに出力するステップと、
   前記複数の信号処理手段に対して並列に設けられた表示用信号処理手段により、前記入力画像信号を縮小してサイズを表示用に変更して表示用の画像信号を出力するステップと、
   前記入力画像信号の第１フレーム周波数の同期タイミングと前記表示用の画像信号の第２フレーム周波数の同期タイミングを制御する制御ステップを有し、
   前記複数の信号処理手段が行う処理ステップでは、前記入力画像信号を前記記憶手段に記憶させてから当該入力画像信号を前記記憶手段から読み出して処理し、
   前記表示用信号処理手段が行う処理ステップでは、前記入力画像信号を前記記憶手段に記憶させる前にリサイズ処理を行い、リサイズ処理された画像信号を前記記憶手段に記憶させることを特徴とする画像信号処理装置の制御方法。
   

Images