以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
本実施例は、記録画像用の信号処理回路の一部分からYCC信号を抜き出して表示用画像処理回路に接続して表示遅延を低減する構成について、ビデオカメラを例として説明する。
まず、本実施例の機能構成について図1の機能構成ブロック図を用いて説明する。
センサー100は、CCDやCMOSなどの撮像素子であり、不図示の撮影レンズ群で入射光量や合焦の調節を行い、結像された撮影画像を光電変換して、さらにアナログ・デジタル変換したデジタル信号を出力する。撮像素子の各画素には、R(赤)、G(緑)、B(青)のいずれかのカラーフィルタが、所定の配列、例えばベイヤー配列やハニカム配列で配置されており、色毎にRGB画像信号を出力する。また、高速出力のために、数個の画素を加算して1個の画素として出力画像を縮小する画素加算処理を行ってRGB画像信号を出力する場合もある。
リサイズ部(第1の画像縮小部)101は、センサー100が出力したRGB画像信号をR(赤)、G(緑)、B(青)の色毎に重心を補正しながら信号処理部102が処理可能な大きさに縮小する。
信号処理部102は、RGB画像信号を受信し、RGB画像信号のオフセット調整、ゲイン調整、ガンマ補正処理を行う。そして、RGB画像信号を輝度信号(Y)と色差信号(Cb、Cr)に変換し、YCC画像信号を記憶部103に書き込む。
信号処理部104は、記憶部103からYCC画像信号を読み出し、例えばレンズの歪曲収差の補正処理や、撮像装置の防振処理などを行い、記憶部105に書き込む。
信号処理部106は、記憶部105からYCC画像信号を読み出し、例えばノイズリダクション処理を行い、記憶部107に書き込む。
圧縮伸長部108は、記憶部107からYCC画像信号を読み出し、記録フォーマットに合わせて圧縮符号化して、記録メディア109に記録する。
外部出力部110は、記憶部107からYCC画像信号を読み出し、HDMI、SDI、コンポーネント映像信号やコンポジット映像信号などの画像信号伝送フォーマットに合わせてフォーマット変換した画像信号を撮像装置外部に出力する。
リサイズ部(第2の画像縮小部)111は、信号処理部102が出力するYCC画像信号を用いて表示部であるパネルの表示サイズまで縮小する。縮小する際は、画像のエイリアシングを防止するため、画像の水平方向及び垂直方向に帯域制限フィルタで画像帯域を制御する。その後、バイキュービック法などの補間手法で画像を縮小する。
パネル用信号処理部(表示部用信号処理部)112は、リサイズ部111が出力するパネル表示サイズのYCC画像を受信し、パネルに合わせた色調整処理や解像度調整処理などを行う。
パネル出力部113は、パネルの受信フォーマットに合わせてフォーマット変換した画像信号をパネルに送信して画像を表示する。
従来は、図16(a)の機能構成ブロック図のように、リサイズ部111は、信号処理部106から圧縮伸長処理以外の全ての記録画像用処理を行ったYCC画像信号を受信して、記憶部212に記憶していた。そして、パネル出力部113が、記憶部212から読み出した画像信号をパネルに送信して画像を表示していた。
次に、動作タイミングについて本実施例の動作タイミングチャートを示した図2に従いながら説明する。
本実施例では、センサー駆動周期とパネル駆動周期が等しく60Hzで同期しており、同期のタイミングは図2に示すように、センサーの同期に比べてパネルの同期が遅れたタイミングで同期している。また、センサーの画素数は水平4096ピクセル×垂直2160ライン=8847360ピクセルであり、パネルの画素数は水平960ピクセル×垂直540ライン=518400ピクセルとする。
ステップS310において、センサー100からRGB画像信号(水平4096ピクセル×垂直2160ライン)を出力する。
ステップS311において、リサイズ部101は、センサー100が出力したRGB画像信号を信号処理部102が処理可能な大きさ(水平2048ピクセル×垂直1080ライン)に縮小する。
ステップS312において、信号処理部102は、RGB画像信号を輝度信号(Y)と色差信号(Cb、Cr)に変換する。YC変換する前にノイズリダクション処理を行ってもよい。変換したYCC画像信号を、記憶部103に書き込み、同時にリサイズ部111にも送信する。
ステップS313において、信号処理部104は、ステップS312で記憶部103に書き込んだYCC画像信号をステップS312処理の1フレーム時間後に読み出す。そして、レンズの歪曲収差の補正処理や、撮像装置の防振処理などを行った後、記憶部105に書き込む。
ステップS314において、信号処理部106は、ステップS313で記憶部105に書き込んだYCC画像信号をステップS313処理の1フレーム時間後に読み出す。そして、ノイズリダクション処理を行った後、記憶部107に書き込む。
ステップS315において、外部出力部110は、ステップS314で記憶部107に書き込んだYCC画像信号をステップS314処理の1フレーム時間後に読み出す。そして、HDMI、SDI、コンポーネント映像信号やコンポジット映像信号などの画像信号伝送フォーマットに合わせてフォーマット変換した画像信号を撮像装置外部に出力する。
従来の構成の場合、リサイズ部111が信号処理部106から画像を受信して画像縮小処理後に記憶部212に記憶していた。
そのため、図17(a)に示すように、ステップS416において、信号処理部106より送信されたYCC画像信号をリサイズ部111でYCC画像縮小処理を行い、パネルの表示サイズ(水平960ピクセル×垂直540ライン)まで縮小する。
そして、ステップS417において、パネル出力部113が、記憶部212から読み出した画像信号をパネルに送信して画像を表示する。
すなわち、ステップS415と同時にステップS417のパネル出力処理期間があり、ステップS410から数えると3フレーム時間のパネル表示遅延が発生している。フレームレート60Hzの場合、約50[ms]の遅延である。
なお、ステップS410からステップS415は、ステップS310からステップS315に対応している。
本実施例では、ステップS312の後、ステップS316において、信号処理部102より送信されたYCC画像信号をリサイズ部111でYCC画像縮小処理を行い、パネルの表示サイズ(水平960ピクセル×垂直540ライン)まで縮小する。
ステップS317において、パネル用信号処理部112は、パネルに合わせた色の調整処理や解像度調整処理などを行う。
ステップS318において、パネル出力部113が、パネルの受信フォーマットに合わせてフォーマット変換した画像信号をパネルに画像を表示する。
本実施例の構成の場合、センサー100からRGB画像信号が出力されてからパネル表示されるまで1フレーム時間以内で処理されており、撮影している画像を表示装置に表示する場合の表示遅延時間を1フレーム時間以内とすることが可能である。
各記憶部については、DRAM等のメモリが使用されており、1個の記憶部をアドレス制御によって使用する構成でも、複数の記憶部を使用する構成でもよい。
なお、センサー駆動周期とパネル駆動周期の同期を制御する制御部は、図に記載していないが必要であり、周期の制御と遅延時間の制御をセンサーとパネルで各々制御可能である構成が望ましい。具体的には、センサーとパネルの同期信号の遅延量を計測し、センサー駆動周期を基準として、パネル駆動周期の同期信号の駆動遅延量が所定の範囲内に入るよう調節する。センサー駆動周期とパネル駆動周期は、本実施例のように同一周期の場合は制御が容易であるが、同一周期に限定はしない。
また、図に記載していないが、各ブロックを制御するCPUなどの制御ブロックは必要であり、特に信号処理やパネル用信号処理の設定調整などを行う必要がある。
本実施例は、記録画像用の信号処理回路の一部分からRGB画像信号を抜き出して表示用画像処理回路に接続して表示遅延を低減する構成について、ビデオカメラを例として説明する。
まず、本実施例の機能構成について図3の機能構成ブロック図を用いて説明する。実施例1と同一の参照番号を付した同一の構成については説明を省略し、異なる構成について説明する。
リサイズ部114は、リサイズ部101が出力するRGB画像をパネルの表示サイズまで縮小する。縮小する際は、画像のエイリアシングを防止するため、画像の水平方向及び垂直方向に帯域制限フィルタで画像帯域を制御する。その後、バイキュービック法などの補間手法で画像を縮小する。
パネル用信号処理部115は、リサイズ部114が出力するパネル表示サイズのRGB画像を受信してパネルに合わせた色の調整処理や、解像度調整処理などを行い、RGB画像信号を出力する。
記憶部116は、記録画像用の信号処理部102がノイズリダクション処理を行う場合に必要であり、リサイズ部101の出力のRGB画像を記憶する。
従来は、図16(b)の機能構成ブロック図のように、リサイズ部111が、信号処理部106から圧縮伸長処理以外の全ての記録画像用処理を行ったYCC画像信号を受信して、記憶部212に記憶していた。そして、パネル出力部113が、記憶部212から読み出した画像信号をパネルに送信して画像を表示していた。
次に、動作タイミングについて本実施例の動作タイミングチャートを示した図4に従いながら説明する。
本実施例では、センサー駆動周期とパネル駆動周期が等しく60Hzで同期しており、同期のタイミングは図4に示すように、センサーの同期に比べてパネルの同期が遅れたタイミングで同期している。また、センサーの画素数は水平4096ピクセル×垂直2160ライン=8847360ピクセルであり、パネルの画素数は水平960ピクセル×垂直540ライン=518400ピクセルとする。
ステップS320において、センサー100からRGB画像信号(水平4096ピクセル×垂直2160ライン)を出力する。
ステップS321において、リサイズ部101は、センサー100が出力したRGB画像信号を信号処理部102が処理可能な大きさ(水平2048ピクセル×垂直1080ライン)に縮小して、記憶部116に書き込むと同時にリサイズ部114にも送信する。
ステップS322において、信号処理部102は、RGB画像信号を輝度信号(Y)と色差信号(Cb、Cr)に変換する。YC変換する前にノイズリダクション処理を行ってもよい。変換したYCC画像信号を、記憶部103に書きこむ。
ステップS323において、信号処理部104は、ステップS322で記憶部103に書き込んだYCC画像信号をステップS322処理の1フレーム時間後に読み出す。そして、レンズの歪曲収差の補正処理や、撮像装置の防振処理などを行った後、記憶部105に書き込む。
ステップS324において、信号処理部106は、ステップS323で記憶部105に書き込んだYCC画像信号をステップS323処理の1フレーム時間後に読み出し、ノイズリダクション処理を行った後、記憶部107に書き込む。
ステップS325において、外部出力部110は、ステップS324で記憶部107に書き込んだYCC画像信号をステップS324処理の1フレーム時間後に読み出す。そして、HDMI、SDI、コンポーネント映像信号やコンポジット映像信号などの画像信号伝送フォーマットに合わせてフォーマット変換した画像信号を撮像装置外部に出力する。
従来の構成の場合、リサイズ部111が信号処理部106から画像を受信して画像縮小処理後に記憶部212に記憶していた。
そのため、図17(b)に示すように、ステップS426において、信号処理部106より送信されたYCC画像信号をリサイズ部111でYCC画像縮小処理を行い、パネルの表示サイズ(水平960ピクセル×垂直540ライン)まで縮小する。
そして、ステップS427において、パネル出力部113が、記憶部212から読み出した画像信号をパネルに送信して画像を表示する。
すなわち、ステップS425と同時にステップS427のパネル出力処理期間があり、ステップS420から数えると4フレーム時間のパネル表示遅延が発生している。フレームレート60Hzの場合、約67[ms]の遅延である。
なお、ステップS420からステップS425は、ステップS320からステップS325に対応している。
本実施例では、ステップS321の後、ステップS326において、リサイズ部101より送信されたRGB画像信号をリサイズ部114でRGB画像縮小処理を行い、パネルの表示サイズ(水平960ピクセル×垂直540ライン)まで縮小する。
ステップS327において、パネル用信号処理部115は、パネルに合わせた色の調整処理や解像度調整処理などを行う。
ステップS328において、パネル出力部113が、パネルの受信フォーマットに合わせてフォーマット変換した画像信号をパネルに送信して画像を表示する。
本実施例の構成の場合、センサー100からRGB画像信号が出力されてからパネル表示されるまで1フレーム時間以内で処理されており、撮影している画像を表示装置に表示する場合の表示遅延時間を1フレーム時間以内とすることが可能である。
各記憶部については、DRAM等のメモリが使用されており、1個の記憶部をアドレス制御によって使用する構成でも、複数の記憶部を使用する構成でもよい。
なお、センサー駆動周期とパネル駆動周期の同期を制御する制御部は、図に記載していないが必要であり、周期の制御と遅延時間の制御をセンサーとパネルで各々制御可能である構成が望ましい。具体的には、センサーとパネルの同期信号の遅延量を計測し、センサー駆動周期を基準として、パネル駆動周期の同期信号の駆動遅延量が所定の範囲内に入るよう調節する。センサー駆動周期とパネル駆動周期は本実施例のように同一周期の場合は制御が容易であるが、同一周期に限定はしない。
また、図に記載していないが、各ブロックを制御するCPUなどの制御ブロックは必要であり、特に信号処理やパネル用信号処理の設定調整などを行う必要がある。
本実施例は、記録画像用の信号処理回路の一部分からYCC信号を抜き出して表示用画像処理回路に接続して表示遅延を低減する構成について、ビデオカメラを例として説明する。本実施例では、センサー駆動フレームレートとパネル出力フレームレートが異なる。
まず、本実施例の機能構成について図5の機能構成ブロック図を用いて説明する。実施例1、2と同一の参照番号を付した同一の構成については説明を省略し、異なる構成について説明する。
記憶部117は、フレームレートの変換に必要なブロックである。パネル用信号処理部112のパネルに合わせた色の調整処理や解像度調整処理までは、センサー駆動周期と同じフレームレートで動作して記憶部117に画像を記憶する。
次に、動作タイミングについて本実施例の動作タイミングチャートを示した図6に従いながら説明する。
本実施例では、センサー駆動周期とパネル駆動周期が異なるが同期している場合であり、センサー駆動周期は24Hz、パネル駆動周期は60Hzである。同期のタイミングは図6に示すように、センサー同期に比べてパネル同期は周期が短く、遅れたタイミングで同期している。また、センサーの画素数は水平4096ピクセル×垂直2160ライン=8847360ピクセルであり、パネルの画素数は水平960ピクセル×垂直540ライン=518400ピクセルとする。
ステップS330において、センサー100からRGB画像信号(水平4096ピクセル×垂直2160ライン)を出力する。
ステップS331において、リサイズ部101は、センサー100が出力したRGB画像信号を信号処理部102が処理可能な大きさ(水平2048ピクセル×垂直1080ライン)に縮小する。
ステップS332において、信号処理部102は、RGB画像信号を輝度信号(Y)と色差信号(Cb、Cr)に変換する。YC変換する前にノイズリダクション処理を行ってもよい。変換したYCC画像信号を、記憶部103に書き込み、同時にリサイズ部111にも送信する。
ステップS333において、信号処理部104は、ステップS332で記憶部103に書き込んだYCC画像信号をステップS312処理の1フレーム時間後に読み出す。そして、レンズの歪曲収差の補正処理や、撮像装置の防振処理などを行った後、記憶部105に書き込む。
ステップS334において、信号処理部106は、ステップS333で記憶部105に書き込んだYCC画像信号をステップS333処理の1フレーム時間後に読み出し、ノイズリダクション処理を行った後、記憶部107に書き込む。
ステップS335において、外部出力部110は、ステップS334で記憶部107に書き込んだYCC画像信号をステップS334処理の1フレーム時間後に読み出す。そして、HDMI、SDI、コンポーネント映像信号やコンポジット映像信号などの画像信号伝送フォーマットに合わせてフォーマット変換した画像信号を撮像装置外部に出力する。
従来の構成の場合、図16(a)に示すように、リサイズ部111が信号処理部106から画像を受信して画像縮小処理後に記憶部212に記憶していた。
そのため、図17(c)に示すように、ステップS436において、信号処理部106より送信されたYCC画像信号をリサイズ部111でYCC画像縮小処理を行い、パネルの表示サイズ(水平960ピクセル×垂直540ライン)まで縮小する。
そして、ステップS437において、パネル出力部113が、記憶部212から読み出した画像信号をパネルに送信して画像を表示する。
すなわち、ステップS435と同時にステップS437のパネル出力処理期間があり、ステップS430から数えると3フレーム時間のパネル表示遅延が発生している。フレームレート60Hzの場合、約50[ms]の遅延である。
なお、ステップS430からステップS435は、ステップS330からステップS335に対応している。
本実施例では、ステップS332の後、ステップS336において、信号処理部102より送信されたYCC画像信号をリサイズ部111でYCC画像縮小処理を行い、パネルの表示サイズ(水平960ピクセル×垂直540ライン)まで縮小する。
ステップS337において、パネル用信号処理部112は、パネルに合わせた色の調整処理や解像度調整処理などを行い、記憶部117に画像を記憶する。
ステップS338において、パネル出力部113が、パネル駆動周期に合わせて記憶部117から画像を読み出し、パネルの受信フォーマットに合わせてフォーマット変換した画像信号をパネルに送信して画像を表示する。センサーの読み出し1フレーム毎にパネル出力部113は、2フレームまたは3フレーム同じ画像を記憶部117から読み出す。
本実施例の構成の場合、センサー100からRGB画像信号が出力されてからパネル表示されるまで2フレーム時間以内で処理されており、撮影している画像を表示装置に表示する場合の表示遅延時間を2フレーム時間以内とすることが可能である。
各記憶部については、DRAM等のメモリが使用されており、1個の記憶部をアドレス制御によって使用する構成でも、複数の記憶部を使用する構成でもよい。
なお、センサー駆動周期とパネル駆動周期の同期を制御する制御部は、図に記載していないが必要であり、周期の制御と遅延時間の制御をセンサーとパネルで各々制御可能である構成が望ましい。具体的には、センサーとパネルの同期信号の遅延量を計測し、センサー駆動周期を基準として、パネル駆動周期の同期信号の駆動遅延量が所定の範囲内に入るよう調節する。
また、図に記載していないが、各ブロックを制御するCPUなどの制御ブロックは必要であり、特に信号処理やパネル用信号処理の設定調整などを行う必要がある。
また、センサー読み出し1フレーム毎にパネル出力フレームは2フレームまたは3フレームの出力となるため、パネル用信号処理部112が出力する画像とパネル出力部113が受信する画像のフレーム管理を行う必要がある。
本実施例は、記録画像用の信号処理回路の一部分からRGB画像信号を抜き出して、表示用画像処理回路に接続して表示遅延を低減した画像と、記録画像の画質を確認するための画像とを切り替えて表示する構成について、ビデオカメラを例として説明する。
まず、本実施例の機能構成について図7の機能構成ブロック図を用いて説明する。実施例1〜3と同一の参照番号を付した同一の構成については説明を省略し、異なる構成について説明する。
リサイズ部(第3の画像縮小部)118は、記憶部107からYCC画像信号を読み出し、パネルの表示サイズまで縮小し、縮小後、YCC画像信号をRGB画像信号に変換する。縮小する際は、画像のエイリアシングを防止するため、画像の水平方向及び垂直方向に帯域制限フィルタで画像帯域を制御する。その後、バイキュービック法などの補間手法で画像を縮小する。
画質確認切替部119は、通常、表示遅延を低減したリサイズ部114の出力を選択して出力する。記録画像の画質の確認を行う場合は、記録画像と同じ信号処理を行った画像を縮小したリサイズ部118の出力を選択する。画像の選択は、ユーザーが設定するか、またはビデオカメラが撮影状況から自動に設定する。自動設定の場合に記録画像と同じ信号処理を行った画像を表示するのは、ズーム、パンニング又はモード設定などのカメラ操作が一定時間操作されない場合や少ない場合である。撮影被写体の動きが少ない場合、またはホワイトバランス調整モードやマニュアルフォーカス調整モードの場合などもある。
パネル用信号処理部120は、画質確認切替部119が出力するパネル表示サイズのRGB画像を受信し、パネルに合わせた色調整処理や解像度調整処理などを行う。
パネル出力部121は、パネルの受信フォーマットに合わせてフォーマット変換した画像信号をパネルに送信して画像を表示する。このとき、記録画像と同じ信号処理を行った画像と、表示遅延低減のための表示用信号処理を行った画像のどちらを選択しているかをユーザーに知らせるために、パネルには選択結果を文字や画像で明示する。
表示遅延低減のための表示用信号処理を行った画像を表示する場合は、図15(a)に示すように画面右下にPanelの頭文字Pを表示する。記録画像と同じ信号処理を行った画像を表示する場合は、図15(b)に示すように画面右下にRecordの頭文字Rを表示する。
次に、動作タイミングについて本実施例の動作タイミングチャートを示した図8に従いながら説明する。
本実施例では、センサー駆動周期とパネル駆動周期が等しく60Hzで同期しており、同期のタイミングは図8に示すように、センサーの同期に比べてパネルの同期が遅れたタイミングで同期している。また、センサーの画素数は水平4096ピクセル×垂直2160ライン=8847360ピクセルであり、パネルの画素数は水平960ピクセル×垂直540ライン=518400ピクセルとする。
ステップS340において、センサー100からRGB画像信号(水平4096ピクセル×垂直2160ライン)を出力する。
ステップS341において、リサイズ部101は、センサー100が出力したRGB画像信号を信号処理部102が処理可能な大きさ(水平2048ピクセル×垂直1080ライン)に縮小し、信号処理部102とリサイズ部114に送信する。
ステップS342において、信号処理部102は、RGB画像信号を輝度信号(Y)と色差信号(Cb、Cr)に変換する。YC変換する前にノイズリダクション処理を行ってもよい。変換したYCC画像信号を、記憶部103に書き込む。
ステップS343において、信号処理部104は、ステップS342で記憶部103に書き込んだYCC画像信号をステップS342処理の1フレーム時間後に読み出す。そして、レンズの歪曲収差の補正処理や、撮像装置の防振処理などを行った後、記憶部105に書き込む。
ステップS344において、信号処理部106は、ステップS343で記憶部105に書き込んだYCC画像信号をステップS343処理の1フレーム時間後に読み出し、ノイズリダクション処理を行った後、記憶部107に書き込む。
ステップS345において、外部出力部110は、ステップS344で記憶部107に書き込んだYCC画像信号をステップS344処理の1フレーム時間後に読み出す。そして、HDMIやSDI、コンポーネントやコンポジットなどの画像信号伝送フォーマットに合わせてフォーマット変換した画像信号を撮像装置外部に出力する。
ステップS346において、リサイズ部118は、記憶部107からYCC画像信号を読み出し、パネルの表示サイズまで縮小し、縮小後、YCC画像信号をRGB画像信号に変換する。
従来の構成の場合、図16(a)に示すように、リサイズ部111が信号処理部106から画像を受信して画像縮小処理後に記憶部212に記憶していた。
そのため、図17(a)に示すように、ステップS416において、信号処理部106より送信されたYCC画像信号をリサイズ部111でYCC画像縮小処理を行い、パネルの表示サイズ(水平960ピクセル×垂直540ライン)まで縮小する。
そして、ステップS417において、パネル出力部113が、記憶部212から読み出した画像信号をパネルに送信して画像を表示する。
すなわち、ステップS415と同時にステップS417のパネル出力処理期間があり、ステップS410から数えると3フレーム時間のパネル表示遅延が発生している。フレームレート60Hzの場合、約50[ms]の遅延である。
なお、ステップS410からステップS415は、ステップS340からステップS345に対応している。
本実施例では、ステップS341の後、ステップS347において、リサイズ部101より送信されたRGB画像信号をリサイズ部114でRGB画像縮小処理を行い、パネルの表示サイズ(水平960ピクセル×垂直540ライン)まで縮小する。
ステップS348において、パネル出力部121が、パネルの受信フォーマットに合わせてフォーマット変換した画像信号をパネルに送信して画像を表示する。パネルに表示する画像は、画質確認切替部119で、記録画像と同じ信号処理を行った画像と、表示遅延低減のための表示用信号処理を行った画像のどちらかを選択し、パネル用信号処理部120でパネルに合わせた色調整処理や解像度調整処理などを行う。
本実施例の構成の場合、ステップS340からステップS348まで1フレーム時間以内で処理され、撮影している画像を表示装置に表示する場合の表示遅延時間を通常1フレーム時間以内とすることが可能である。記録画像と同じ信号処理を行った画像を表示する場合は、4フレーム時間以内の表示となるが、記録画像の確認が可能である。
各記憶部については、DRAM等のメモリが使用されており、1個の記憶部をアドレス制御によって使用する構成でも、複数の記憶部を使用する構成でもよい。
なお、センサー駆動周期とパネル駆動周期の同期を制御する制御部は、図に記載していないが必要であり、周期の制御と遅延時間の制御をセンサーとパネルで各々制御可能である構成が望ましい。具体的には、センサーとパネルの同期信号の遅延量を計測し、センサー駆動周期を基準として、パネル駆動周期の同期信号の駆動遅延量が所定の範囲内に入るよう調節する。センサー駆動周期とパネル駆動周期は本実施例のように同一周期の場合は制御が容易であるが、同一周期に限定はしない。
また、図に記載していないが、各ブロックを制御するCPUなどの制御ブロックは必要であり、特に信号処理、パネル用信号処理、画質確認切替の設定や調整などを行う必要がある。
本実施例は、記録画像用の信号処理回路の一部分からRGB画像信号を抜き出して、表示用画像処理回路に接続して表示遅延を低減した画像と、記録画像の色を確認するための画像とを切り替えて表示する構成について、ビデオカメラを例として説明する。
まず、本実施例の機能構成について図9の機能構成ブロック図を用いて説明する。実施例1〜4と同一の参照番号を付した同一の構成については説明を省略し、異なる構成について説明する。
色確認切替部122は、通常、表示遅延を低減したリサイズ部114の出力を選択して出力する。記録画像の色の確認を行う場合は、記録画像と同じ色処理を行った画像を縮小したリサイズ部118の出力を選択する。画像の選択は、ユーザーが設定するか、またはビデオカメラが撮影状況から自動に設定する。自動設定の場合に記録画像と同じ色信号処理を行った画像を表示するのは、ズーム、パンニング又はモード設定などのカメラ操作が一定時間されない場合や少ない場合である。撮影被写体の動きが少ない場合、またはホワイトバランス調整モードの場合などもある。
表示遅延低減のための表示用信号処理を行った画像を表示する場合は、図15(a)に示すように画面右下にPanelの頭文字Pを表示する。記録画像と同じ色信号処理を行った画像を表示する場合は、図15(c)に示すように画面右下にColorの頭文字Cを表示する。
なお、リサイズ部118は、実施例4の場合と異なり、記憶部103からYCC画像信号を読み出し、パネルの表示サイズまで縮小し、縮小後、YCC画像信号をRGB画像信号に変換する。縮小する際は、画像のエイリアシングを防止するため、画像の水平方向、垂直方向各々に帯域制限フィルタで画像帯域を制御する。
次に、動作タイミングについて本実施例の動作タイミングチャートを示した図10に従いながら説明する。
本実施例では、センサー駆動周期とパネル駆動周期が等しく60Hzで同期しており、同期のタイミングは図10に示すとおり、センサーの同期に比べてパネルの同期が遅れたタイミングで同期している。また、センサーの画素数は水平4096ピクセル×垂直2160ライン=8847360ピクセルであり、パネルの画素数は水平960ピクセル×垂直540ライン=518400ピクセルとする。
ステップS350において、センサー100からRGB画像信号(水平4096ピクセル×垂直2160ライン)を出力する。
ステップS351において、リサイズ部101は、センサー100が出力したRGB画像信号を信号処理部102が処理可能な大きさ(水平2048ピクセル×垂直1080ライン)に縮小し、信号処理部102とリサイズ部114に送信する。
ステップS352において、信号処理部102は、RGB画像信号を輝度信号(Y)と色差信号(Cb、Cr)に変換する。YC変換する前にノイズリダクション処理を行ってもよい。変換したYCC画像信号を、記憶部103に書き込む。
ステップS353において、信号処理部104は、ステップS352で記憶部103に書き込んだYCC画像信号をステップS352処理の1フレーム時間後に読み出す。そして、レンズの歪曲収差の補正処理や、撮像装置の防振処理などを行った後、記憶部105に書き込む。
ステップS354において、信号処理部106は、ステップS353で記憶部105に書き込んだYCC画像信号をステップS353処理の1フレーム時間後に読み出し、ノイズリダクション処理を行い、記憶部107に書き込む。
ステップS355において、外部出力部110は、ステップS354で記憶部107に書き込んだYCC画像信号をステップS354処理の1フレーム時間後に読み出す。そして、HDMIやSDI、コンポーネントやコンポジットなどの画像信号伝送フォーマットに合わせてフォーマット変換した画像信号を撮像装置外部に出力する。
ステップS356において、リサイズ部118は、記憶部103からYCC画像信号を読み出し、パネルの表示サイズまで縮小し、縮小後、YCC画像信号をRGB画像信号に変換する。
従来の構成の場合、図16(a)に示すように、リサイズ部111が信号処理部106から画像を受信して画像縮小処理後に記憶部212に記憶していた。
そのため、図17(a)に示すように、ステップS416において、信号処理部106より送信されたYCC画像信号をリサイズ部111でYCC画像縮小処理を行い、パネルの表示サイズ(水平960ピクセル×垂直540ライン)まで縮小する。
そして、ステップS417において、パネル出力部113が、記憶部212から読み出した画像信号をパネルに送信して画像を表示する。
すなわち、ステップS415と同時にステップS417のパネル出力処理期間があり、ステップS410から数えると3フレーム時間のパネル表示遅延が発生している。フレームレート60Hzの場合、約50[ms]の遅延である。
なお、ステップS410からステップS415は、ステップS350からステップS355に対応している。
本実施例では、ステップS351の後、ステップS357において、リサイズ部101より送信されたRGB画像信号をリサイズ部114でRGB画像縮小処理を行い、パネルの表示サイズ(水平960ピクセル×垂直540ライン)まで縮小する。
ステップS358において、パネル出力部121が、パネルの受信フォーマットに合わせてフォーマット変換した画像信号をパネルに送信して画像を表示する。パネルに表示する画像は、色確認切替部122で、記録画像と同じ色信号処理を行った画像と、表示遅延低減のために表示用信号処理を行った画像のどちらかを選択し、パネル用信号処理部120でパネルに合わせた色調整処理や解像度調整処理などを行う。
本実施例の構成の場合、ステップS350からステップS358まで1フレーム時間以内で処理され、撮影している画像を表示装置に表示する場合の表示遅延時間を通常1フレーム時間以内とすることが可能である。記録画像と同じ色信号処理を行った画像を表示する場合は、2フレーム時間以内の表示となるが、記録画像の色の確認が可能である。
各記憶部については、1個の記憶部をアドレス制御によって使用する構成でも、複数の記憶部を使用する構成でもよい。
なお、センサー駆動周期とパネル駆動周期の同期を制御する制御部は、図に記載していないが必要であり、周期の制御と遅延時間の制御をセンサーとパネルで各々制御可能である構成が望ましい。具体的には、センサーとパネルの同期信号の遅延量を計測し、センサー駆動周期を基準として、パネル駆動周期の同期信号の駆動遅延量が所定の範囲内に入るよう調節する。センサー駆動周期とパネル駆動周期は本実施例のように同一周期の場合は制御が容易であるが、同一周期に限定はしない。
また、図に記載していないが、各ブロックを制御するCPUなどの制御ブロックは必要であり、特に信号処理、パネル用信号処理、色確認切替の設定や調整などを行う必要がある。
本実施例は、記録画像用の信号処理回路の一部分からRGB画像信号を抜き出して、表示用画像処理回路に接続して表示遅延を低減した画像と、記録画像のフォーカスを確認するための画像とを切り替えて表示する構成について、ビデオカメラを例として説明する。
まず、本実施例の機能構成について図11の機能構成ブロック図を用いて動作を説明する。実施例1〜5と同一の参照番号を付した同一の構成については説明を省略し、異なる構成について説明する。
フォーカス確認切替部123は、通常、表示遅延を低減したリサイズ部114の出力を選択して出力する。記録画像のフォーカスの確認を行う場合は、記録画像と同じレンズの歪曲収差の補正処理や撮像装置の防振処理を行った画像を縮小したリサイズ部118の出力を選択する。画像の選択は、ユーザーが設定するか、またはビデオカメラが撮影状況から自動に設定する。自動設定の場合に記録画像と同じ信号処理を行った画像を表示するのは、ズーム、パンニング又はモード設定などのカメラ操作が一定時間されない場合や少ない場合である。撮影被写体の動きが少ない場合、またはマニュアルフォーカス調整モードの場合などもある。
表示遅延低減のための表示用信号処理を行った画像を表示する場合は、図15(a)に示すように画面右下にPanelの頭文字Pを表示する。記録画像のフォーカス確認のための画像を表示する場合は、図15(d)に示すように画面右下にFocusの頭文字Fを表示する。
なお、リサイズ部118は、実施例4、5の場合と異なり、記憶部105からYCC画像信号を読み出し、パネルの表示サイズまで縮小し、縮小後、YCC画像信号をRGB画像信号に変換する。縮小する際は、画像のエイリアシングを防止するため、画像の水平方向、垂直方向各々に帯域制限フィルタで画像帯域を制御する。その後、バイキュービック法などの補間手法で画像を縮小する。
次に、動作タイミングについて本実施例の動作タイミングチャートを示した図12に従いながら説明する。
本実施例では、センサー駆動周期とパネル駆動周期が等しく60Hzで同期しており、同期のタイミングは図12に示すとおり、センサーの同期に比べてパネルの同期が遅れたタイミングで同期している。また、センサーの画素数は水平4096ピクセル×垂直2160ライン=8847360ピクセルであり、パネルの画素数は水平960ピクセル×垂直540ライン=518400ピクセルとする。
ステップS360において、センサー100からRGB画像信号(水平4096ピクセル×垂直2160ライン)を出力する。
ステップS361において、リサイズ部101は、センサー100が出力したRGB画像信号を信号処理部102が処理可能な大きさ(水平2048ピクセル×垂直1080ライン)に縮小して、信号処理部102とリサイズ部114に送信する。
ステップS362において、信号処理部102は、RGB画像信号を輝度信号(Y)と色差信号(Cb、Cr)に変換する。YC変換する前にノイズリダクション処理を行ってもよい。変換したYCC画像信号を、記憶部103に書き込む。
ステップS363において、信号処理部104は、ステップS362で記憶部103に書き込んだYCC画像信号をステップS362処理の1フレーム時間後に読み出す。そして、レンズの歪曲収差の補正処理や、撮像装置の防振処理などを行った後、記憶部105に書き込む。
ステップS364において、信号処理部106は、ステップS363で記憶部105に書き込んだYCC画像信号をステップS363処理の1フレーム時間後に読み出し、ノイズリダクション処理を行った後、記憶部107に書き込む。
ステップS365において、外部出力部110は、ステップS364で記憶部107に書き込んだYCC画像信号をステップS364処理の1フレーム時間後に読み出す。そして、HDMI(登録商標)やSDI、コンポーネントやコンポジットなどの画像信号伝送フォーマットに合わせてフォーマット変換した画像信号を撮像装置外部に出力する。
ステップS366において、リサイズ部118は、記憶部105からYCC画像信号を読み出し、パネルの表示サイズまで縮小し、縮小後、YCC画像信号をRGB画像信号に変換する。
従来の構成の場合、図16(a)に示すように、リサイズ部111が信号処理部106から画像を受信して画像縮小処理後に記憶部212に記憶していた。
そのため、図17(a)に示すように、ステップS416において、信号処理部106より送信されたYCC画像信号をリサイズ部111でYCC画像縮小処理を行い、パネルの表示サイズ(水平960ピクセル×垂直540ライン)まで縮小する。
そして、ステップS417において、パネル出力部113が、記憶部212から読み出した画像信号をパネルに送信して画像を表示する。
すなわち、ステップS415と同時にステップS417のパネル出力処理期間があり、ステップS410から数えると3フレーム時間のパネル表示遅延が発生している。フレームレート60Hzの場合、約50[ms]の遅延である。
なお、ステップS410からステップS415は、ステップS360からステップS365に対応している。
本実施例では、ステップS361の後、ステップS367において、リサイズ部101より送信されたRGB画像信号をリサイズ部114でRGB画像縮小処理を行い、パネルの表示サイズ(水平960ピクセル×垂直540ライン)まで縮小する。
ステップS368において、パネル出力部121が、パネルの受信フォーマットに合わせてフォーマット変換した画像信号をパネルに送信して画像を表示する。パネルに表示する画像は、フォーカス確認切替部123で記録画像と同じレンズの歪曲収差の補正処理や撮像装置の防振処理を行った画像と、表示遅延低減のために表示用信号処理を行った画像のどちらかを選択する。そして、パネル用信号処理部120でパネルに合わせた色調整処理や解像度調整処理などを行う。
本実施例の構成の場合、ステップS360からステップS368まで1フレーム時間以内で処理され、撮影している画像を表示装置に表示する場合の表示遅延時間を通常1フレーム時間以内とすることが可能である。記録画像のフォーカス確認のための画像を表示する場合は、3フレーム時間以内の表示となるが、記録画像のフォーカス確認が可能である。
各記憶部については、DRAM等のメモリが使用されており、1個の記憶部をアドレス制御によって使用する構成でも、複数の記憶部を使用する構成でもよい。
なお、センサー駆動周期とパネル駆動周期の同期を制御する制御部は、図に記載していないが必要であり、周期の制御と遅延時間の制御をセンサーとパネルで各々制御可能である構成が望ましい。具体的には、センサーとパネルの同期信号の遅延量を計測し、センサー駆動周期を基準として、パネル駆動周期の同期信号の駆動遅延量が所定の範囲内に入るよう調節する。センサー駆動周期とパネル駆動周期は本実施例のように同一周期の場合は制御が容易であるが、同一周期に限定はしない。
また、図に記載していないが、各ブロックを制御するCPUなどの制御ブロックは必要であり、特に信号処理、パネル用信号処理部、フォーカス確認切替の設定や調整などを行う必要がある。
本実施例は、記録画像用の信号処理回路の一部分からRGB画像信号を抜き出して、表示用画像処理回路に接続して表示遅延を低減した画像と、記録画像の画質を確認するための画像とを切り替えて表示する構成について、ビデオカメラを例として説明する。本実施例では、センサー駆動フレームレートとパネル出力フレームレートが異なる。
まず、本実施例の機能構成について図13の機能構成ブロック図を用いて説明する。実施例1〜6と同一の参照番号を付した同一の構成については説明を省略し、異なる構成について説明する。
記憶部124と記憶部125は、フレームレートの変換に必要なブロックである。
なお、リサイズ部118は、実施例4〜7の場合と異なり、信号処理部106からYCC画像信号を読み出し、パネルの表示サイズまで縮小し、縮小後、YCC画像信号をRGB画像信号に変換する。縮小する際は、画像のエイリアシングを防止するため、画像の水平方向、垂直方向各々に帯域制限フィルタで画像帯域を制御する。その後、バイキュービック法などの補間手法で画像を縮小する。
記録画像処理は、信号処理部106、リサイズ部118まではセンサー駆動周期と同じフレームレートで動作して各々記憶部107と記憶部124に画像を記憶する。
表示遅延時間を低減した処理は、リサイズ部114まではセンサー駆動周期と同じフレームレートで動作して記憶部125に画像を記憶する。
画質確認切替部119は、通常、記憶部125に書き込まれた表示遅延を低減した画像を選択して出力する。記録画像の画質の確認を行う場合は、記憶部124に書き込まれた記録画像と同じ信号処理を行った画像を選択する。画像の選択は、ユーザーが設定するか、またはビデオカメラが撮影状況から自動に設定する。自動設定の場合に記録画像と同じ信号処理を行った画像を表示するのは、ズーム、パンニング又はモード設定などのカメラ操作が一定時間操作されない場合や少ない場合である。撮影被写体の動きが少ない場合、またはホワイトバランス調整モードやマニュアルフォーカス調整モードの場合などもある。
表示遅延低減のための表示用信号処理を行った画像を表示する場合は、図15(a)に示すように画面右下にPanelの頭文字Pを表示する。記録画像と同じ信号処理を行った画像を表示する場合は、図15(b)に示すように画面右下にRecordの頭文字Rを表示する。
次に、動作タイミングについて本実施例の動作タイミングチャートを示した図14に従いながら説明する。
本実施例では、センサー駆動周期とパネル駆動周期が異なるが同期している場合であり、センサー駆動周期は24Hz、パネル駆動周期は60Hzである。同期のタイミングは図14に示すように、センサー同期に比べてパネル同期は周期が短く、遅れたタイミングで同期している。また、センサーの画素数は水平4096ピクセル×垂直2160ライン=8847360ピクセルであり、パネルの画素数は水平960ピクセル×垂直540ライン=518400ピクセルとする。
ステップS370において、センサー100からRGB画像信号(水平4096ピクセル×垂直2160ライン)を出力する。
ステップS371において、リサイズ部101は、センサー100が出力したRGB画像信号を信号処理部102が処理可能な大きさ(水平2048ピクセル×垂直1080ライン)に縮小して、信号処理部102とリサイズ部114に送信する。
ステップS372において、信号処理部102は、RGB画像信号を輝度信号(Y)と色差信号(Cb、Cr)に変換する。YC変換する前にノイズリダクション処理を行ってもよい。変換したYCC画像信号を、記憶部103に書き込む。
ステップS373において、信号処理部104は、ステップS372で記憶部103に書き込んだYCC画像信号をステップS372処理の1フレーム時間後に読み出す。そして、レンズの歪曲収差の補正処理や、撮像装置の防振処理などを行った後、記憶部105に書き込む。
ステップS374において、信号処理部106は、ステップS373で記憶部105に書き込んだYCC画像信号をステップS373処理の1フレーム時間後に読み出し、ノイズリダクション処理を行った後、記憶部107に書き込む。
ステップS375において、外部出力部110は、ステップS374で記憶部107に書き込んだYCC画像信号をステップS374処理の1フレーム時間後に読み出す。そして、HDMIやSDI、コンポーネントやコンポジットなどの画像信号伝送フォーマットに合わせてフォーマット変換した画像信号を撮像装置外部に出力する。
ステップS376において、リサイズ部118は、信号処理部106の出力したYCC画像の縮小処理を行い、パネルの表示サイズ(水平960ピクセル×垂直540ライン)まで縮小して記憶部124に画像を書き込む。
従来の構成の場合、図16(a)に示すように、リサイズ部111が信号処理部106から画像を受信して画像縮小処理後に記憶部212に記憶していた。
そのため、図17(c)に示すように、ステップS436において、信号処理部106より送信されたYCC画像信号をリサイズ部111でYCC画像縮小処理を行い、パネルの表示サイズ(水平960ピクセル×垂直540ライン)まで縮小する。
そして、ステップS437において、パネル出力部113が、記憶部212から読み出した画像信号をパネルに送信して画像を表示する。
すなわち、ステップS435と同時にステップS437のパネル出力処理期間があり、ステップS430から数えると3フレーム時間のパネル表示遅延が発生している。フレームレート60Hzの場合、約50[ms]の遅延である。
なお、ステップS430からステップS435は、ステップS370からステップS375に対応している。
本実施例では、ステップS371の後、ステップS377において、リサイズ部101より送信されたRGB画像信号をリサイズ部114でRGB画像縮小処理を行い、パネルの表示サイズ(水平960ピクセル×垂直540ライン)まで縮小する。そして、縮小後の画像を記憶部125に書き込む。
ステップS378において、パネル出力部121が、パネルの受信フォーマットに合わせてフォーマット変換した画像信号をパネルに送信して画像を表示する。パネル用信号処理部120は、センサー読み出し1フレーム毎に2フレームまたは3フレーム同じ画像を記憶部124又は記憶部125から読み出す。
本実施例の構成の場合、ステップS370からステップS378まで2フレーム時間以内で処理され、撮影している画像を表示装置に表示する場合の表示遅延時間を通常2フレーム時間以内とすることが可能である。
各記憶部については、DRAM等のメモリが使用されており、1個の記憶部をアドレス制御によって使用する構成でも、複数の記憶部を使用する構成でもよい。
なお、センサー駆動周期とパネル駆動周期の同期を制御する制御部は、図に記載していないが必要であり、周期の制御と遅延時間の制御をセンサーとパネルで各々制御可能である構成が望ましい。具体的には、センサーとパネルの同期信号の遅延量を計測し、センサー駆動周期を基準として、パネル駆動周期の同期信号の駆動遅延量が所定の範囲内に入るよう調節する。
また、図に記載していないが、各ブロックを制御するCPUなどの制御ブロックは必要であり、特に信号処理や、パネル用信号処理の設定調整などを行う必要がある。
また、センサー読み出し1フレーム毎にパネル出力フレームは2フレームまたは3フレームの出力となる。そのため、リサイズ部118が記憶部124に記憶した画像フレームまたはリサイズ部114が記憶部125に記憶した画像フレームと、画質確認切替部119が記憶部124または記憶部125から読み出す画像のフレーム管理を行う必要がある。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。