WO2005009030A1

WO2005009030A1 - 撮像装置

Info

Publication number: WO2005009030A1
Application number: PCT/JP2004/010541
Authority: WO
Inventors: Katsumi Kaneko; Taku Kihara; Fumihiko Sudo
Original assignee: Sony Corporation
Priority date: 2003-07-18
Filing date: 2004-07-16
Publication date: 2005-01-27
Also published as: US20060061666A1; CA2499416A1; AU2004264252A8; CN100372367C; KR20060113837A; KR101035777B1; EP1538830B1; JP3729189B2; DE602004024638D1; CA2499416C; AU2004264252B8; US7733378B2; CN1701594A; AU2004264252B2; JP2005039709A; EP1538830A4; EP1538830A1; AU2004264252A1

Abstract

　画像信号生成部１１は、撮像画像のフレームレートを可変可能として可変速フレームレート撮像画像の画像信号ＤＶbを生成する。フレームレート変換部３０は供給された画像信号ＤＶuのフレームレートを画像信号ＤＶbのフレームレートに変換するとともに同期させて画像信号ＤＶwとする。モニタ用画像信号生成部４０は、画像信号ＤＶbと画像信号ＤＶwを用いて、画像信号ＤＶbに基づく画像と画像信号ＤＶwに基づく画像を混合した画像の画像信号ＤＶmixを生成して、モニタ用画像信号ＤＭＴout，ＳＭＴoutとして出力する。あるいは、画像信号ＤＶbに基づく画像の一部を画像信号ＤＶwに基づく画像に置き換えた画像の画像信号ＤＶwpを生成して、モニタ用画像信号ＤＭＴout，ＳＭＴoutとして出力する。可変速フレームレート撮像画像と、フレームレートが異なる画像を同時に表示できる。

Description

技術分野

この発明は撮像装置に関する。詳しくは、可変速フレームレート撮像画像の第 1画像信号と外部から供給された第 2画像信号のフレームレートを一致させて、このフレームレートが一致された第 1画像信号と第 2画像信号を用いて、モニタ用画像信号を生成するものである。背景技術

従来の映画製作等では、特殊な映像効果を得ることができるように、フィルムカメラの撮影速度、すなわち 1秒間のコマ数を可変させた撮影が行われている。例えば、撮影は通常の速度よりも高速で行い、再生は通常速度で行うものとすると、再生画像はスロー再生画像となる。このため、水面に水滴が落下したときのような高速度動作を容易かつ詳細に観察できる。また、撮影は通常の速度よりも低速で行い、再生は通常速度で行うものとすると、高速再生画像となる。このため、格闘シーンやカーチェイスシーン等でのスピード感を高めて臨場感の高い画像提示を行うことができる。

また、テレビジョン番組制作等では、番組の撮像や編集および送出等のディジタル化が図られていたが、ディジタル技術の進展に伴う高画質化や機器の低価格化によって、映画製作等においてもディジタル化が図られてきている。

ここで、映画製作等のディジタル化により撮像装置（ビデオカメラ）を用いて撮像を行うものとした場合、上述のように特殊な映像効果を得るためには、例えば所定の速度で撮像を行って得られた画像信号だけでなく、高速に撮像を行って得られた画像信号や低速に撮像を行って得られた画像信号を、サーバ等の記録装置に全て記録させる。次に、この記録されている画像信号から特殊な映像効果を得るために必要とされるフレーム画像の画像信号を読み出して画像処理を行うことで、特殊な映像効果を得られる画像信号が生成される。

また、高速再生やスロー再生等の特殊な映像効果を容易に得ることができるように、フレームレートを可変することが可能とされている日本特開 2 0 0 0 - 1 2 5 2 1 0号公報に示された撮像装置を用いて、所定のフレームレートよりもフレームレートを低下して撮像を行い、所定のフレームレートで再生すれば、簡単に高速再生画像を得ることができる。また、フレームレートを高くして撮像を行い所定のフレームレートで再生すれば、簡単にスロー再生画像を得ることができる。

ところで、撮像装置では、ビデオテープや光ディスク等の記録媒体に記録されている画像を再生装置で再生して、例えば再生装置からの再生画像を撮像画像と共に画像表示装置である電子ビューファインダーやモニタ装置で表示して、撮像画像の画質や色合い等が再生画像と同等となるように撮像装置が設定される。しか、フレームレートを可変できる撮像装置で生成された画像信号と再生装置から供給された画像信号のフレームレートが異なると、 2つの画像信号を同期させることができないため、画像表示装置に再生画像と撮像画像を同時に表示することができない。発明の開示

この発明に係る撮像装置は、可変速フレームレート撮像画像の第 1画像信号を生成する画像信号生成手段と、第 1画像信号のフレームレートと外部から供給された第 2画像信号のフレームレートを一致させるフレームレート変換手段と、フレームレート変換手段で、フレームレートが一致された第 1画像信号と第 2画像信号を用いて、モニタ用画像信号を生成する信号生成手段を有するものである。この発明においては、可変速フレームレート撮像画像の第 1画像信号と外部から供給された第 2画像信号のフレームレートがー致される。例えば第 2画像信号のフレームレートが第 1画像信号のフレームレートに変換される。このフレームレートが一致された第 1画像信号と第 2画像信号を用いて、第 1画像信号に基づく画像と第 2画像信号に基づく画像を混合した画像の画像信号が生成されてモニタ用画像信号として出力される。また、フレームレートが一致された第 1画像信号と第 2画像信号を用いて、第 1画像信号に基づく画像の一部を第 2画像信号に基づく画像に置き換えた画像の画像信号が生成されてモユタ用画像信号として出力される。図面の簡単な説明

図 1は、撮像装置の構成を示す図である。

図 2は、画像信号保持部の構成を示す図である。

図 3は、可変速フレームレートに対する加算フレーム数と撮像フレームレートの関係を示す図である。

図 4 Aは、画像信号 D Vbの生成動作を説明するための図である。

図 4 Bは、画像信号 D Vbの生成動作を説明するための図である。

図 4 Cは、画像信号 D Vbの生成動作を説明するための図である。

図 4 Dは、画像信号 D Vbの生成動作を説明するための図である。

図 4 Eは、画像信号 D Vbの生成動作を説明するための図である。

図 4 Fは、画像信号 D Vbの生成動作を説明するための図である。

図 5 Aは、フレームレート変換部の動作を説明するための図である。

図 5 Bは、フレームレート変換部の動作を説明するための図である。

図 5 Cは、フレームレート変換部の動作を説明するための図である。

図 5 Dは、フレームレート変換部の動作を説明するための図である。

図 5 Eは、フレームレート変換部の動作を説明するための図である。

図 5 Fは、フレームレート変換部の動作を説明するための図である。

図 6 Aは、モニタ用画像信号に基づく表示画像例を示す図である。

図 6 Bは、モニタ用画像信号に基づく表示画像例を示す図である。

図 6 Cは、モニタ用画像信号に基づく表示画像例を示す図である。

図 6 Dは、モニタ用画像信号に基づく表示画像例を示す図である。

図 6 Eは、モニタ用画像信号に基づく表示画像例を示す図である。

図 6 Fは、モニタ用画像信号に基づく表示画像例を示す図である。発明を実施するための最良の形態

以下、図を参照しながら、この発明を実施するための一形態について説明する。図 1は撮像装置の構成を示している。画像信号生成部 1 0の撮像部 1 1を構成す W 200

4

る撮像素子（図示せず）の撮像面上には、撮像レンズ（図示せず）を通して入射された光に基づいた被写体画像が結像される。撮像素子は、光電変換によって被写体画像の撮像電荷を生成し、駆動部 12から供給された駆動制御信号 RCに基づいて撮像電荷を読み出して電圧信号に変換する。さらに、この電圧信号を撮像信号 Spaとして撮像信号処理部 13に供給する。

駆動部 12は、後述する制御部 50から供給された制御信号 CTや同期信号 S Yaに基づいて駆動制御信号 RCを生成して撮像部 1 1に供給する。

撮像信号処理部 13は、撮像信号 Spaを増幅したのちノイズ成分を除去する。またノィズ除去された画像信号をディジタル信号に変換したのち、フィ一ドバッククランプ処理やフレアー補正、撮像素子の欠陥に対する捕正処理、プロセス処理等を行い、画像信号 DVaを生成する。この画像信号 DVaは、フレーム加算処理部 14に供給される。なお、撮像信号処理部 1 3で行う信号処理動作は、後述する制御部 50から供給された制御信号 C Tに基づ、て設定される。

フレーム加算処理部 14は、画像信号 DVaに対してフレーム加算処理を行い、画像信号 DVaのフレームレートを可変する。このフレーム加算処理は、 RAM (Random Access Memory) を用いて行うことができる。例えば、 3フレーム加算を行う場合、 1フレーム目の画像信号 DVaを RAM - 1に記憶させ、この RAM- 1に記憶された信号を読み出して 2フレーム目の画像信号 DVaと加算して RAM -2に記憶させる。この R AM-2に記憶されている加算信号を読み出して 3フレーム目の画像信号 DVaと加算して RAM-3に記憶させる。この RAM - 3に記憶された信号は、 3フレーム分の画像信号 DVaを加算した信号となり、この信号を読み出して信号レベルを（1/3) 倍すれば、所要の信号レベルとなる。また、 4フレーム目の画像信号 D Vaを R AM - 1に記憶させ、この R AM- 1に記憶された信号を読み出して 5フレーム目の画像信号 DVaと加算して RAM- 2に記憶させる。この RAM- 2に記憶されている加算信号を読み出して 6フレーム目の画像信号 DV aと加算して RAM - 3に記憶させる。この RAM - 3に記憶された信号は、 3フレーム分の画像信号 DVaを加算した信号となり、この信号を読み出して信号レベルを (1/3) 倍すれば、所要の信号レベルとなる。以下同様にして、 3フレーム分の画像信号 D Vaを加算した所要の信号レベルの画像信号を順次生成することがでさる。

また、このようにして順次生成された信号を、予め定められた出力フレームレートで読み出すものとすれば、出力フレームレートの画像信号内に、画像信号 D Vaのフレームレートを 1 / 3倍したフレームレートでの撮像画像が含まれた画像信号 D Vbとなる。

なお、フレーム加算処理は、フレーム遅延回路を用いても行うことができる。例えば、 1フレーム目の画像信号 D Vaをフレーム遅延回路で 2フレーム期間遅延させると共に、 2フレーム目の画像信号 D Vaをフレーム遅延回路で 1フレーム期間遅延させる。この遅延させた 1フレーム目の画像信号と 2フレーム目の画像信号 D Vaを、 3フレーム目の画像信号 D Vaに加算して 3フレーム分の画像信号 D Vaが加算された信号を得る。この信号を上述のように、予め定められたフレームレート例えば制御部 5 0から供給された同期信号 S Ybに同期して読み出したのち信号レベルを（1 Z 3 ) 倍すれば、所要の信号レベルであるとともに、出力フレームレートの画像信号内に、画像信号 D Vaのフレームレートを 1 / 3倍したフレ一ムレート分の撮像画像が含まれた画像信号 D Vbを得ることができる。

このようにフレーム加算処理を行うことで、例えば画像信号 D Vaのフレームレートが「 6 0 P (数字は 1秒当たりのフレーム数、 Pはプログレッシブ方式の信号であることを示すものであり、他の場合も同様である）」であるとき、加算フレーム数を 2フレームとすれば、「3 0 P」のフレームレートでの撮像画像が含まれた画像信号を得ることができる。また加算フレーム数を 4フレームとすれば、「1 5 P」のフレームレートでの撮影画像が含まれた画像信号を得ることができる。

さらに、加算フレーム数の切り換えだけでなく、撮像素子からの信号読み出しを制御して撮像信号 S paのフレームレートを可変すれば、撮像画像のフレームレートを連続して可変することが可能となり、所望のフレームレートで撮像した画像である可変速フレームレート撮像画像が含まれた、出力フレームレートの画像信号 D Vbを生成できる。

ここで、撮像信号 S paのフレームレートを可変する場合、駆動部 1 2から撮像部 1 1に供給する駆動制御信号 R Cによって、撮像素子での電荷蓄積期間や撮像電荷の読み出しタイミング等を制御することでフレームレートが可変された撮像信号 S paを得ることができる。さらに、 C D R方式（Common Data Rate：共通サンプリング周波数方式）を用いるものとして、水平帰線期間あるいは垂直帰線期間の長さを調整して、撮像フレームレート F Rpの可変処理を行うものとすれば、撮像フレームレート F Rpを可変しても有効画面期間の画像サイズが変化しない撮像信号 S paを生成できる。また、 C D R方式を用いることで、撮像フレームレート F Rpを用いる各部の動作周波数を撮像フレームレート F Rpに応じて可変する必要がなく、構成が簡単となる。

このようにして、フレーム加算処理部 1 4で生成された出力フレームレートの画像信号 D Vbは、モニタ用画像信号生成部 4 0のミックス処理部 4 1とワイプ処理部 4 2と出力選択部 4 3および撮像装置に接続された記録再生装置 6 0の記録処理部 6 1に供給される。

記録処理部 6 1は、供給された画像信号 D Vbに含まれている可変速フレームレ一ト撮像画像の画像信号を抽出する。さらに抽出した画像信号に対して、変調処理ゃ誤り訂正符号の付加処理等を行い記録信号 W Sを生成する。この記録信号 W Sを記録へッド 6 2 Wに供給して記録媒体 7 0に撮像画像を記録する。また、記録媒体 7 0に記録されている撮像画像を再生へッド 6 2 Rによって読み出して、得られた読出信号 R Sを再生処理部 6 3に供給する。再生処理部 6 3は、誤り訂正処理や復調処理を行い、得られた画像信号 D Vrを撮像装置の入力選択部 2 1に供給する。

入力選択部 2 1は、入力端子 2 2と接続されており、入力端子 2 2を介して画像信号が供給可能とされている。この入力選択部 2 1は、後述する制御部 5 0からの入力選択信号 S I Eに基づき、再生処理部 6 3から供給された画像信号 D V r、あるいは入力端子 2 2を介して供給された画像信号 D Vsの何れかを選択する。さらに、選択した画像信号を、画像信号 D Vuとしてフレームレート変換部 3 0の画像信晉保持部 3 1に供給する。また、フレームレート変換部 3 0に供給する画像信号 D Vuから抽出した同期信号 S Yuを書込制御部 3 2に供給する。

フレームレート変換部 3 0の書込制御部 3 2は、画像信号保持部 3 1に画像信号 D Vuを書き込むための書込ク口ック信号 C KWと書込制御信号 S EWを、供給された同期信号 SYuに基づいて生成して画像信号保持部 31に供給する。

読出制御部 33は、制御部 50から同期信号 S Ybが供給されており、画像信号保持部 31に書き込まれた画像信号を読み出すための読出クロック信号 CKRと読出制御信号 SERを、供給された同期信号 SYbに基づいて生成して画像信号保持部 31に供給する。

図 2は、画像信号保持部 31の構成を示している。画像信号保持部 31は、入力選択部 21から供給された画像信号 DVuをメモリに書き込み、このメモリに書き込まれた画像信号 DVuを、画像信号 DVbに同期させて読み出す。例えば、 3 つの RAM (Random Access Memory) 31 2- a〜312_cを設けるものとして、信号セレクタ 31 1を書込制御信号 SEWによって駆動して、画像信号 DVuを R AM 312- a〜312 -cにフレーム単位で順次振り分ける。また、画像信号 DV uが振り分けられる RAMに対して書込ク口ック信号 C KWを供給して、振り分けられる画像信号 DVuを RAMに記憶させる。また、読出クロック信号 CKRを R AM 31 2- a〜312 - cに供給して、 RAM 312- a〜312 - cに記憶されている画像信号 DVuを画像信号 DVbに同期して読み出す。さらに、信号セレクタ 3 13を読出制御信号 SERによって駆動して、読み出された画像信号 DVuを振り分けられた順に選択して、画像信号 DVwとしてミックス処理部 41とワイプ処理部 42と出力選択部 43に供給する。

ミックス処理部 41は、画像信号 D Vbに基づく画像と画像信号 D に基づく画像を混合した画像の画像信号 DVmixを生成して出力選択部 43に供給する。例えば、画像信号 D Vbと画像信号 D Vwを加算したのち信号レベルを 1 / 2倍として画像信号 D Vmixを生成する。なお、制御部 50からのミツタス制御信号をミッタス処理部 41に供給して、画像信号 DVbに基づく画像と画像信号 DVwに基づく画像の混合比を可変するものとしても良い。 .

ワイプ処理部 42は、画像信号 DVbに基づく画像の一部を画像信号 DVwに基づく画像に置き換えた画像の画像信号 DVwpを生成する。例えば垂直走查ゃ水平走査の途中で画像信号 D Vbと画像信号 D Vwの切り替えを行、画像信号 D Vwpを生成する。なお、制御部 50からワイプ制御信号をワイプ処理部 42に供給して、画像信号 DVbと画像信号 DVwの切り替えタイミングを可変するものとしても良レ、。

出力選択部 4 3は、制御部 5 0からのモニタ出力選択信号 MEに基づき、画像信号 D Vb, D Vw, D Vmix, D Vw の何れかを選択してモニタ用画像信号 DMT outとして出力する。また、モニタ用画像信号 DMToutをアナログ信号として出力するときには、モニタ用画像信号 DMTmitを DZA変換部 4 4に供給して、モニタ用画像信号 DMToutをアナログのモニタ用画像信号 S MToutとして出力する。

制御部 5 0には、ユーザインタフェース部 5 1が接続されている。このユーザインタフヱース部 5 1を介して、ユーザ操作に応じた操作信号 P Sが供給されると、制御部 5 0は、この操作信号 P Sに基づいて制御信号 C T等を生成して各部の動作を制御することにより、撮像装置をユーザの操作に応じて動作させる。また、撮像画像のフレームレートを設定するフレームレート設定信号 R S Fがユーザインタフエース部 5 1を介して、制御部 5 0に供給されたとき、例えば操作部で撮像速度の切り換えを行い、操作信号 P Sとしてフレームレート設定信号 R S Fが制御部 5 0に供給されたとき、あるいはリモートコントロール装置や外部の機器からフレームレート設定信号 R S Fが制御部 5 0に供給されたとき、制御部 5 0は、フレームレート設定信号 R S Fに基づいて、撮像部 1 1で生成する撮像信号 S paのフレームレートゃフレーム加算処理部 1 4の加算フレーム数を制御信号 C Tを用いて制御する。さらに、操作信号 P Sに基づき、入力選択信号 S I E やモニタ出力選択信号 MEの生成も行う。また、撮像信号 S paを生成するために同期信号 S Yaを駆動部 1 2に供給する。また、画像信号 D Ybを生成するために同期信号 S Ybをフレーム加算処理部 1 4に供給するとともに、この同期信号 S Y bを読出制御部 3 3に供給する。また、撮像装置に記録再生装置 6 0が接続されるときには、操作信号 P Sに基づいて記録再生装置 6 0の動作を制御する。

次に、撮像装置の動作について説明する。フレームレート設定信号 R S Fによつて設定される撮像画像のフレームレート（可変速フレームレート F Rc) は、上述したように撮像部 1 1で生成される撮像信号 S paのフレームレート（撮像フレームレート F Rp) とフレーム加算処理部 1 4での加算フレーム数 F Aを切り替えることで連続して可変できる。例えば図 3に示すように、フレームレート設定信号 RSFによって可変速フレームレート FRcが「60 P≥FRc〉 30 P」の範囲内に設定されたときは、加算フレーム数 F Aを「1」として、撮像フレームレート FRpを可変速フレームレート FRcと等しくする。可変速フレームレート F Rcが「30 P≥FRc> 20 P」の範囲内に設定されたときは、加算フレーム数 FAを「2」として、撮像フレームレート FRpを可変速フレームレート FRcの 2倍とする。可変速フレームレート FRcが「20 P≥FRc> 15 PJ の範囲内に設定されたときは、加算フレーム数 F Aを「3」として、撮像フレ一ムレート FRpを可変速フレームレート FRcの 3倍とする。以下同様にして、撮像フレームレート FRpと加算フレーム数 F Aを切り替える。

図 4 A〜図 4 Fは画像信号 DVbの生成動作を説明するための図である。例えば可変速フレームレート FRcを「18 P」とする場合、撮像フレームレートは「5 4 PJ 、加算フレーム数は「3」となる。なお、図 4 Aは画像信号 DVaのフレーム、図 4 Bはフレーム加算処理部 14を構成する RAM- 1の動作、図 4Cは RA M - 2の動作、図 4 Dは RAM- 3の動作、図 4 Eは画像信号 DVbのフレームを示している。また、画像信号 DVbのフレームレートである出力フレームレートは、画像信号 DVbが供給される機器に合わせて例えば「60 P」とする。

画像信号 DVaのフレーム「0 が開始する図 4 A〜図 4 Eの時点 t 1において、フレーム加算処理部 14は、例えば RAM- 1を書き込み RAMに設定して、書き込み RAMにフレーム「0f」の画像信号 DVaを記憶させる。

時点 t 2で画像信号 DVbのフレーム開始タイミングとなったとき、 3フレームの画像信号の加算が完了していないことから、画像信号 DVbはブランクフレームとする。

画像信号 DVaのフレーム「0f」が終了してフレーム「lf」が開始するタイミングである時点 t 3では、フレーム「OfJ の画像信号が記憶された RAM- 1を内部読み出し RAMとして指定するとともに、書き込み RAMを RAM-1から例えば RAM - 2に変更する。さらに、内部読み出し RAMに記録されている信号、すなわち RAM- 1に記憶されているフレーム「0幻の信号を読み出して、この信号にフレーム「1 の画像信号 DVaを加算器で加算して書き込み RAMである R AM - 2に記憶させる。画像信号 DVaのフレーム「lf」が終了してフレーム「2f」が開始するタイミングである時点 t 4となると、 3フレームの加算信号を生成するために、フレーム「O f」とフレーム「l f 」を加算した信号が書き込まれている RAM-2を内部読み出し RAMに指定する。また、書き込み RAMを RAM - 2から例えば RAM -3に変更する。さらに、内部読み出し RAMに記録されている信号、すなわち R AM-2に記憶されている信号を読み出して、この信号にフレーム「2 の画像信号 DVaを加算器で加算して書き込み RAMである RAM- 3に記憶させる。

画像信号 DVaのフレーム「2f」が終了してフレーム「3f」が開始するタイミングである時点 t 5となると、 3フレーム分の画像信号 DVaを加算した 3フレーム加算信号の生成が完了したことから、この 3フレーム加算信号が記憶されている RAM - 3を外部読み出し RAMに指定する。また、 R AM- 1を書き込み RAM に設定して、書き込み RAMにフレーム「3 の画像信号 DVaを記憶させる。

3フレーム加算信号の生成後、画像信号 DVbのフレーム開始タイミングとなつた場合、例えば時点 t 6で画像信号 DVbのフレーム開始タイミングとなった場合、 3フレーム加算信号を外部読み出し RAMから読み出して、この読み出した信号の信号レベルを「1Z3」倍して画像信号 DVbとして出力させる。また、外部読み出し RAMから 3フレーム加算信号の読み出しを行い画像信号 DVbを生成したフレームを有効画像のフレームとする。なお、 RAMに対して 3フレーム加算信号の書き込みが完了していないとき、あるいは書き込みが完了している 3フレーム加算信号の読み出しが完了しているときに、画像信号 DVbのフレーム開始タイミングとなった場合、前のフレームの画像信号 DVbを繰り返し用いるものとして、このフレームを無効画像フレームとする。この場合、画像信号 DVbにおいて、各フレームの撮影画像の画像信号間にブランクフレームが設けられてしまうことがなレ、。

以下同様に、 RAM-；！〜 RAM- 3と加算器等を使用して画像信号 DVaを 3フレーム加算して 3フレーム加算信号を生成し、この 3フレーム加算信号を画像信号 DVbのフレーム開始タイミングで読み出すことにより、有効画像が可変速フレームレート F Rcで含まれた出カフレームレートの画像信号 D Vbを得ることができる。すなわち、図 4 Eに示すように、外部機器に対応した出力フレームレート「60 P」であり、所望の可変速フレームレート「18P」で有効な撮像画像が含まれた画像信号 DVbを生成することができる。なお、図 4Fは、画像信号 DV bのフレームが有効画像フレームであるか無効画像フレームであるかを示したフラグ EFである。

記録再生装置 60では、フラグ EFを利用して画像信号 DVbから有効画像フレームの画像信号を抽出し、記録媒体 70に記録する。また記録した画像信号の再生時には、画像信号 DVbと異なる再生フレームレート、例えば「24 P」のフレ一ムレートで読み出しを行い、再生フレームレートの画像信号 DVrを入力選択部 21に供給する。このように、画像信号 DVbと異なる再生フレームレートで記録されている信号を再生すると、可変速フレームレート FRcが再生フレームレートと等しくされているときは、実際の被写体と動きの速度が等しい撮像画像を得ることができる。また、可変速フレームレート FRcが再生フレームレートよりも高く設定されているときは、被写体の動きを遅くした撮像画像を得ることができる。さらに、可変速フレームレート FRcが再生フレームレートよりも低く設定されているときは、被写体の動きを早くした撮像画像を得ることができる。

入力選択部 21は、固定フレームレートの画像信号 DVrあるいは画像信号 DV sの何れかを画像信号 DVuとして選択してフレームレート変換部 30に供給する。フレームレート変換部 30は、画像信号 DVuのフレームレートを画像信号 DVb のフレームレートに同期した画像信号 DVwに変換する。

図 5 A〜図 5 Fは、フレームレート変換部 30の動作を説明するためのものであり、例えば画像信号 DVbのフレームレートが上述のように「60 P」で、画像信号 DVuのフレームレートが「24P」である場合を示している。なお、図 5 A は画像信号 DVuのフレーム、図 5 Bは RAM222- 1の動作、図 5 Cは RAM 2 22- 2の動作、図 5Dは RAM222- 3の動作、図 5 Eは画像信号 D Vwのフレーム、図 5 Fは画像信号 DVbのフレームを示している。

画像信号 DVuのフレーム「F O」が開始する図 5 A〜図 5 Fの時点 tilにおいて、フレームレート変換部 30は、例えば RAM312-1を書き込み RAMに設定して、画像信号 DVuを信号セレクタ 31 1によって書き込み RAMに供給し、フレーム「F 0」の画像信号 DVuを書き込み RAMである RAM222-1に記憶させる。

時点 112で画像信号 DVbに同期したフレームのフレーム開始タイミングとなつたとき、フレーム「F O」の画像信号 DVuの書き込みが終了していないことから、画像信号 DVwはブランクフレームとする。

画像信号 DVuのフレーム「FO」が終了してフレーム「F 1」が開始するタイミングである時点 t 13では、フレーム「F O」の画像信号が記憶された RAM 3 12-1を読み出し RAMとして指定する。また、書き込み RAMを RAM312 -1から例えば RAM31 2 - 2に変更して、画像信号 D Vuを信号セレクタ 31 1によって書き込み RAMに供給し、次のフレーム「F 1」の画像信号 DVuを RAM 312- 2に記憶させる。

読み出し RAMの指定後、時点 t 14で画像信号 DVbのフレーム開始タイミングとなったとき、読み出し RAMから読み出された画像信号を信号セレクタ 313 で選択して画像信号 DVwとして出力する。

その後、時点 t 15で画像信号 DVuのフレーム「F 1」が終了してフレーム「F 2」が開始するときには、読み出し RAMを RAM312-1からフレーム「F 1」の画像信号が記憶された RAM312-2に切り替える。また、書き込み RA Mを RAM 312- 2から RAM 312- 3に変更して、画像信号 DVuのフレーム「F 2」を RAM31 2- 3に記憶させる。

以下同様にして、 RAM312 - 1〜312- 3に画像信号 DVuを、この画像信号 DVuのフレームレートで書き込み、 RAM312- 1〜312- 3に書き込まれた画像信号 DVuを、画像信号 DVbに同期したフレームレートで書き込んだフレーム順に読み出すことで、画像信号 DVuを画像信号 DVbに同期したフレームレートの画像信号 DVwに変換できる。

ミックス処理部 41は、画像信号 DVbと画像信号 DVwが同期した信号とされていることから、画像信号 DVbと画像信号 DVwを用いて画像信号 D Vmixを生成できる。また、ワイプ処理部 42は、画像信号 DVbと画像信号 DVwが同期した信号とされていることから、画像信号 D Vbと画像信号 D Vwを用、て画像信号 D Vwpを生成できる。

このため、出力選択部 43から画像信号 DVbをモニタ用画像信号 DMTout, S MToutとして出力するように信号選択動作を制御すれば、撮像画像をモニタすることができる。また、画像信号 D Vwをモニタ用画像信号 DMTout, S MTou tとして出力するように信号選択動作を制御すれば、記録媒体 7 0を再生したときの再生画像や入力端子 2 2から入力された画像信号 D Vsに基づく画像を電子ビュ一ファインダーやモニタ装置に表示することができる。

さらに、画像信号 D Vmixをモニタ用画像信号 DMTout, S MToutとして出力するように出力選択部 4 3を制御すれば、画像合成を行つたとき、撮像した被写体が所望の位置となるように撮像方向等を適正に設定することができる。例えば背景画像に被写体画像を合成する場合、フレームレートが異なる背景画像の画像信号 D Vrあるいは画像信号 D Vsを、フレームレート変換部 3 0によって画像信号 D Vbとフレームレートが等しく同期した画像信号 D Vwとする。このとき、モユタ画像では、背景画像に撮像した被写体画像が重畳されて表示されることから、撮像方向や撮像時の被写体の大きさ等を容易に最適化することができる。例えば、図 6 Aに示す背景画像を先に撮像して記録媒体 7 0に記録しておき、この背景画像の画像信号 D Vrをフレームレート変換部 3 0で画像信号 D Vbに同期した画像信号 D Vwに変換する。

また、背景画像に混合させる被写体を撮像して図 6 Bに示す撮像画像の画像信号 D Vbを生成すると、電子ビュ一ファインダーやモニタ装置の画面上には、背景画像に被写体が混合された図 6 Cに示す画像が表示されることとなる。このため、被写体を可変速フレームレートで撮像できる撮像装置を用いたことにより、画像信号 D Vbと画像信号 D Vrのフレームレートが異なっていても、被写体の大きさや位置を背景画像に合わせて撮像することができる。

さらに、画像信号 D Vwpをモニタ用画像信号 DMTout, S MToutとして出力するように出力選択部 4 3を制御すれば、前回の撮影画像と同等の輝度や色相等の撮像画像が得られるように撮像装置を容易に設定できる。例えば、図 6 Dに示す前回の撮像画像の画像信号 D Vrを、フレームレート変換部 3 0で画像信号 D V bに同期した画像信号 D に変換する。

また、図 6 Eに示す現在の撮像画像の画像信号 D Vbを生成すると、電子ビューファインダーやモニタ装置の画面上には、前回の撮像画像と現在の撮像画像が図 6 Fに示すように同時に表示されることとなる。このため、被写体を可変速フレームレートで撮像できる撮像装置を用いても、 2つの撮像画像を比較して、撮像装置の設定を容易に行うことができる。

なお、上述の実施の形態では、フレームレート変換部 3 0で画像信号 D Vuを撮像画像の画像信号 D Vbに同期させるものとしたが、フレームレート変換部 3 pに画像信号 D Vbを入力して、画像信号 D Vbを画像信号 D Vrあるいは画像信号 D V sに同期させても、画像信号 D Vmixや画像信号 D Vwpを生成できる。し力し、フレームレート変換部 3 0に画像信号 D Vbを入力したときには、画像信号 D Vbのフレームレートで書き込んだ信号を、画像信号 D Vrあるいは画像信号 D Vsのフレームレートで読み出すため、撮像中の画像に遅延を生じてしまう場合がある。このため、画像信号 D Vrあるいは画像信号 D Vsのフレームレートを変換して画像信号 D Vbに同期させることが好ましい。

この発明によれば、可変速フレームレート撮像画像の第 1画像信号と外部から供給された第 2画像信号のフレームレートがー致されて、このフレームレートが一致された第 1画像信号と第 2画像信号を用いて、モニタ用画像信号が生成される。このため、フレームレートが異なる画像を 1つの画面上に同時に表示できる。また、第 2画像信号のフレームレートを第 1画像信号のフレームレートに一致させることで、フレームレート変換による信号の遅延が第 1画像信号に生ずることがなく、可変速フレームレート撮像画像を遅延なく表示させることができる。また、第 1画像信号と第 2画像信号を用いて、第 1画像信号に基づく画像と第 2画像信号に基づく画像を混合した画像の画像信号がモニタ用画像信号として生成されるので、例えば予め撮影されている背景画像等に撮像中の画像を重畳して表示させることができる。さらに、第 1画像信号と第 2画像信号を用いて、第 1 画像信号に基づく画像の一部を第 2画像信号に基づく画像に置き換えた画像の画像信号がモニタ用画像信号として生成される。このため、撮像済みの画像と撮像中の画像を 1画面上に同時に表示して、例えば撮像中の画像が撮像済みの画像と同等な輝度や色相等なるように撮像装置を容易に調整できる。産業上の利用可能性以上のように、本発明に係る撮像装置は、撮像中の画像だけでなく、外部から供給された画像信号に基づく画像を撮像中の画像と共に 1つの画面上に表示する場合に好適である。

Claims

請求の範囲

1 . 可変速フレームレート撮像画像の第 1画像信号を生成する画像信号生成手段と、

前記第 1画像信号のフレームレートと外部から供給された第 2画像信号のフレームレートを一致させるフレームレート変換手段と、

前記フレームレート変換手段で、フレームレートがー致された前記第 1画像信号と前記第 2画像信号を用いて、モニタ用画像信号を生成する信号生成手段を有する

ことを特徴とする撮像装置。

2 . 前記フレームレート変換手段は、前記第 2画像信号のフレームレートを前記第 1画像信号のフレームレートに一致させる

ことを特徴とする請求項 1記載の撮像装置。

3 . 前記信号生成手段は、前記第 1画像信号と前記第 2画像信号を用いて、前記第 1画像信号に基づく画像と前記第 2画像信号に基づく画像を混合した画像の画像信号を前記モニタ用画像信号として生成する

ことを特徴とする請求項 1記載の撮像装置。

4 . 前記信号生成手段は、前記第 1画像信号と前記第 2画像信号を用いて、前記第 1画像信号に基づく画像の一部を前記第 2画像信号に基づく画像に置き換えた画像の画像信号を前記モニタ用画像信号として生成する

ことを特徴とする請求項 1記載の撮像装置。

5 . 可変速フレームレート撮像画像の第 1画像信号を生成する画像信号生成部と、前記第 1画像信号のフレームレートと外部から供給された第 2画像信号のフレームレートを一致させるフレームレート変換部と、

前記フレームレート変換部で、フレームレートが一致された前記第 1画像信号と前記第 2画像信号を用いて、モニタ用画像信号を生成する信号生成部を有することを特徴とする撮像装置。