JP4078162B2

JP4078162B2 - 映像信号処理装置及びその制御方法

Info

Publication number: JP4078162B2
Application number: JP2002267675A
Authority: JP
Inventors: 和宏今泉
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-09-13
Filing date: 2002-09-13
Publication date: 2008-04-23
Anticipated expiration: 2022-09-13
Also published as: JP2004104734A

Description

【０００１】
【発明の属する技術分野】
本発明は、光学系と撮像手段とを有する撮像部にて撮像された映像信号の処理装置に関する。
【０００２】
【従来の技術】
映像信号を記録媒体に記録する装置としては、被写体の映像を静止画でメモリ素子又はディスクに記録する所謂ディジタルスチルカメラや、例えば磁気テープを用いてアナログ或はディジタル記録するビデオテープレコーダとしてカメラ一体型ビデオテープレコーダ等が実用化されている。
【０００３】
一般に、ビデオテープレコーダは、例えばカメラ一体型ビデオテープレコーダのように動画記録を行うものとして普及してきているが、最近の装置では、上述したような電子スチルカメラと同様に静止画を記録する装置も提供されてきている。カメラ一体型ビデオテープレコーダは、このような静止画の記録を行うために、通常撮影した映像の１フィールド分の画像を映像メモリに取り込んで行う方法を採用している。
【０００４】
更に、例えば室内のような照明不足の場所で鮮明な静止画を撮影するために内蔵ストロボライトを撮影レンズの近傍に配置するカメラ一体型ビデオテープレコーダ或は外付けストロボライトを撮影レンズの近傍に装着できるように構成したカメラ一体型ビデオテープレコーダも商品化されている。
【０００５】
ところで、前述したように通常のカメラ一体型のビデオテープレコーダでは、フィールド分しか静止画記録を行っていない。この理由は通常のカメラ一体型のビデオテープレコーダで使われる汎用撮像素子が動解像度を重視したフィールド読み出しモードを採用しているためである。
【０００６】
例えば、現行放送方式であるＮＴＳＣ方式においてこれに対応する撮像素子ではＮＴＳＣでのフレーム有効走査線数に相当する約４８０水平ラインを有するが、画像信号読み出し時には垂直方向の２画素を混合して１／６０毎のフィールド読み出しを行い、ＮＴＳＣ方式の全走査線数の半分程度に相当する垂直解像度約２６０ＴＶ本を得るように構成されている。更に、実際には奇数フィールドと偶数フィールドで混合する画素の上下方向の入れ換えを行うことで垂直解像度約３３０ＴＶ本のフレーム画を得るようにしている。即ち、動画に適した読み出しを行っているので、静止画表示時に連続した２フィールドを交互に出力するようにすると画面内で動きのあった動画像部分に激しいブレを生じ、非常に見苦しい画像となってしまうという欠点がある。
【０００７】
しかしながら、撮影した画像の画質が、例えばディジタルスチルカメラのような機器を用いて、撮影を２フィールド分の信号を画素混合を行わずに一度に読み出したフレーム信号から得られた静止画に比べると、カメラ一体型ビデオテープレコーダの場合には特に画面垂直方向の解像度が少なくなり、画質が劣ってしまう。例えば、上記ＮＴＳＣの場合ではディジタルスチルカメラからは約４００ＴＶ本の垂直解像度が得られるのに対して、１フィールド信号から得られる静止画の垂直解像度は説明した通り約２６０ＴＶ本である。
【０００８】
この問題を解決するために、例えば全画素読み出し撮像素子のように１フィールド期間に全水平ラインの信号を画素混合を行わずに一度に読み出せるような撮像素子を使用したカメラ一体型ビデオテープレコーダが商品化されている。或はフレーム蓄積可能な撮像素子を使用してフィールド毎に奇数走査線ラインと偶数走査線ラインを交互に読み出せるようにして動画撮影を行い、更にメカニカルシャッタ機構を静止画撮影時のみ動作させて奇数、偶数フィールドに露出差が出ないように構成したものも考えられている。しかしながら、これらは全て特殊な素子或は機構を必要とするため一般的ではない。
【０００９】
そこで、上記汎用の撮像素子を使用し、且つ、特別な機構を必要とせずに静止画撮影時に高い垂直解像度を得る方法としてクリアスチルと称する映像信号処理手段が実用化されている。これは画像信号処理をディジタルで行う信号処理により可能となった技術である。
【００１０】
この信号処理はメモリ素子を使用して連続する２つのフィールド間で演算を行うもので、動き検出手段とフレーム信号相関判断手段を有しており、動きの無い部分については垂直解像度の高いフレーム信号をそのまま使用し、検出した動きのある部分についてはどちらかの１つのフィールド信号を２フィールドに亘って使用するか或は２つのフィールド間で行った演算結果によって得られた１つの合成フィールド信号でそれぞれの演算前のフィールド信号を置き換える等の方法が採用されている。この結果、動きの無い部分については約３３０ＴＶ本の垂直解像度を得ている。
【００１１】
又、この信号処理は連続した２つのフィールド画像信号があれば処理可能であるため、カメラ一体型ビデオテープレコーダにおいては予め記録時に静止画画像信号に上記処理を行ってから記録する場合と、静止画再生時に上記処理を行ってから信号出力を行う場合の両方が実用化されている。
【００１２】
【発明が解決しようとする課題】
ところで、静止画撮影時に上記信号処理（クリアスチル）を行い、更に前述した室内のような照明不足の場所で鮮明な静止画を撮影するために装着されている内蔵ストロボライト或は外付けストロボライトを動作させる場合、連続した２フィールドに亘って同一の露光量を得るため、フレーム静止画撮影に対応したストロボライト同調駆動方法が必要となる。
【００１３】
上記を実現する方法として、図１に示すように、発光量を発光開始からの時間で管理し、１／２の光量になるまでの時間に着目し、この１／２の光量になる時刻を撮像素子の第１フィールドの露光終了時刻になるように発光タイミングを管理し、第２フィールドの露光時間帯に残り１／２の光量が照射されるようにする方法がある。
【００１４】
しかし、上記方法は第１、第２フィールドでのそれぞれの露光時間をフィールド期間と同じに設定してある場合には良いが、撮像素子での電子シャッタ動作時のように露光期間が間欠動作となる場合には１フレーム期間に相当する長期間発光可能なストロボライトが存在しないため対応できない。
【００１５】
そこで、図２に示すように、第１及び第２フィールド用の露光している期間に１回ずつストロボを発光するように制御する方法が採用されている（以下２回発光方式と表記する）。
【００１６】
第１及び第２フィールド用の露光期間にそれぞれストロボを発光させる手段として、ストロボ光発光制御信号に応じて充電と放電を行い、ストロボライトに瞬間的な放電発光を励起させるためのコンデンサをそれぞれのフィールド用に２個用意する方法と１個のコンデンサを兼用し、充電量に対する放電量を制御して続けて２回発光する方法がある。どちらの場合も第１フィールド用の発光量と第２フィールド用の発光量が同光量、即ち閃光照明によって照明された被写体から得られる第１及び第２フィールドの信号レベルが同等になるように撮像素子の信号読み出しタイミングに合わせて同調制御する。
【００１７】
ところが、上記２回発光方式においては１／６０サイクルという短い期間で続けて発光を行うという特性上、閃光波長の第１及び第２フィールドにおける分光成分が１回目と２回目で大きく異なるという問題があった。
【００１８】
この差異は発光量の大小及び放電時の電圧値で変化するが、差異が生ずる原因は使用するストロボライトであるクセノン管の放電特性による。通常の１回のみの発光の場合には他の人工光源に比べ、より自然昼光に近い分光特性を有するクセノン管放電発光が２回目では図４に示すような分光特性に変化してしまう。
【００１９】
このため、カメラ一体型ビデオテープレコーダにて静止画撮影時に上記信号処理（クリアスチル）を行い、更に装着されている内蔵ストロボライト或は外付けストロボライトをフレーム静止画撮影に対応したストロボライト同調駆動２回発光動作させる場合、連続した２フィールドに亘って同一の露光量を得られるように制御したとしても、奇数フィールド、偶数フィールドで照明用閃光の分光成分が大きく異なり、結果的に得られる被写体からの色信号の状態がフィールド毎に異なり、フィールド周期の色フリッカが出現してしまうという欠点があった。尚、輝度信号成分としてはほぼ同一の信号レベルが得られるため問題はない。
【００２０】
本発明は上記問題に鑑みてなされたもので、その目的とする処は、被写体の色情報については色フリッカの無い安定した静止画像を得ることができる映像信号処理装置及びその制御方法を提供することにある。
【００２１】
【課題を解決するための手段】
上記目的を達成するために、本発明の発明特定事項としては、被写体に対して照明用閃光を発光させる発光手段と、前記発光手段により照明用閃光が発光された被写体の画像信号を取得する撮像手段と、前記撮像手段により得られた２フィールドの画像信号を演算して１フレームの画像を得る信号処理手段とを有し、前記発光手段は、連続した２フィールドにおいて照明用閃光を２回発光させ、前記信号処理手段は、前記２フィールドの画像信号の何れか一方に基づいて被写体の色信号成分を取得して１フレームの画像を得ることを特徴とする。
また、他の本発明の発明特定事項としては、連続した２フィールドにおいて被写体に対して照明用閃光を２回発光させる発光手段と、前記発光手段により照明用閃光が発光された被写体の画像信号を取得する撮像手段とを有する映像処理装置の制御方法であって、
前記撮像手段により得られた２フィールドの画像信号の何れか一方に基づいて被写体の色信号成分を取得して１フレームの画像を得ることを特徴とする。
【００２３】
【発明の実施の形態】
以下に本発明の実施の形態を添付図面に基づいて説明する。
【００２４】
本実施の形態に係る映像信号記録装置は、所謂ディジタルカメラ一体型ビデオテープレコーダに本発明を適用した一例である。
【００２５】
本実施の形態におけるディジタルカメラ一体型ビデオテープレコーダは、例えば図３に示すように、レンズを透過した透過光を結像させるレンズ系１と、このレンズ系１の透過光を電気信号に変換する固体撮像素子２とで構成される撮像部と、固体撮像素子２からの出力信号を入力してカメラにおける信号処理を行うカメラ信号処理部３と、カメラ信号処理部３からの映像信号を入力してＶＴＲ用信号の処理を施すＶＴＲ信号処理部４と、記録時にＶＴＲ信号処理部４からの出力信号を磁気テープに記録して再生時に磁気テープに記録している情報を再生する記録再生系５と、ＶＴＲ信号処理部４からの映像信号を制御信号に応じて一時的に書き込み、又、書き込まれた映像信号を制御信号に応じて読み出す映像メモリ部６と、被写体に対して照明用閃光を発光させる閃光発光手段としてのフラッシュ部７と、レンズ系１、固体撮像素子２、カメラ信号処理部３、ＶＴＲ信号処理部４、記録再生系５、映像メモリ部６及びフラッシュ部７を制御する制御系８とで構成されている。
【００２６】
レンズ系１は、複数のレンズ群で構成されている。レンズ系１は、固体撮像素子２、カメラ信号処理部３を介して供給される信号から制御系８が出力する制御信号でレンズ系１のアイリスメータを制御する。このアイリス制御により、レンズ系１は入射光量を絞って調整されて露出制御が行われる。
【００２７】
固体撮像素子２は、電子シャッタの開閉制御等の各種タイミング制御が制御系８からの制御信号に応じて行われる。又、このタイミング制御によって、固体撮像素子２は、例えば現行放送方式の１つであるＮＴＳＣ方式に準拠した映像信号をカメラ信号処理部３に出力する。
【００２８】
固体撮像素子２を通常良く使用される汎用の色差線順次補色インターラインタイプの場合について例示すると、カメラ信号処理部３では、撮像素子から出力された映像信号を相関二重サンプリング回路（ＣＤＳ）に入力する。ここでは、撮像素子での電荷転送時に発生するリセット雑音や１／ｆノイズを取り除き、黒レベルの変動や横引きノイズのない映像信号として整える。ＣＤＳ回路から出力された映像信号は、自動利得調整（ＡＧＣ）回路によってゲインを調整された後、Ａ／Ｄ変換器によりＡ／Ｄ変換され、ディジタル信号に変換された後、ディジタル信号処理回路（ＤＳＰ）に入力される。
【００２９】
ＤＳＰでは上記信号の輝度、色分離を行い、輝度についてはγ変換部でγ変換を行い、Knee変換部でKnee変換を行い、最後にローパスフイルタによって帯域制限することにより輝度信号成分Ｙを得る。又、色信号を取り出すためには色分離回路から得られる線順次色差信号を同時化した後、輝度信号とのマトリクス処理にてＲ，Ｇ，Ｂの原色に変換した後、ホワイトバランスゲインコントロールを受け、色用のγ変換部でγ変換を行い、Knee変換部でKnee変換を行い、最後にＲ−Ｙ、Ｂ−Ｙの２種類の色差信号にマトリクス変換されて出力される。上記映像信号のホワイトバランスの調整及び映像信号の信号レベルをゲイン調整するＡＧＣ制御を制御系８からの制御信号に応じて行っている。
【００３０】
ＶＴＲ信号処理部４は、カメラ信号処理部３からの映像信号により映像信号を出力端子９を介して出力する。ＶＴＲ信号処理部４には、制御系８からＶＴＲのフォーマットに対応したディジタルＶＴＲ信号を生成する制御信号が供給される。
【００３１】
又、ＶＴＲ信号処理部４は、カメラ信号処理部３からのディジタル映像信号を、制御系８のメモリ制御信号に応じて映像メモリ部６に出力する。ＶＴＲ信号処理部４は、動き検出処理部とフレーム信号相関判断処理部を有し、静止画撮影モード時に制御系８のメモリ制御信号に応じて映像メモリ部から出力される１フィールド前の映像信号とカメラ信号処理部３からの現在のフィールド映像信号間で演算を行い、動きの無い部分については１フィールド前の映像信号と現在のフィールド映像信号を続けてそのまま出力し、動きのある部分については１フィールド前の映像信号か又は現在のフィールド映像信号信号の何れかを２フィールドに亘って使用するか或は２つのフィールド間で行った演算結果によって得られたフィールド信号に置き換えを行って続けて出力する。このＶＴＲ信号処理部４には、特殊効果処理を施すため、供給された映像信号に対してディジタルエフェクト信号処理部を設けている機種もある。
【００３２】
上記映像メモリ部６は、例えばフィールドメモリやフレームメモリで構成される。映像メモリ部６は、上記したように制御系８によるメモリへの信号の書込み／読出し制御が行われる。
【００３３】
記録再生系５は、記録時にＶＴＲ信号処理部４からの供給される映像信号を回転ヘッド・ドラムに配設した回転磁気ヘッドを介して磁気テープの記録トラックにディジタル信号フォーマットにて動画や静止画として記録している。静止画を記録する場合、ＶＴＲ信号処理部４からの１フレーム分の静止画の画像情報を数フレームに亘って連続記録しても良い。
【００３４】
又、再生時に記録再生系５は、磁気テープの記録トラックに記録されているディジタル映像信号を動画や静止画として例えば回転ヘッド・ドラムを介して再生する。
【００３５】
フラッシュ部７は、制御系８からの制御信号を基に点灯タイミングを制御する点灯制御部１０と、この点灯制御部１０から供給される点灯制御信号に応じて充電と放電を行うコンデンサ１１と、コンデンサ１１からの瞬間的な放電によって閃光を発するストロボライト１２とで構成される。これらの構成はカメラ一体型ビデオテープレコーダー筐体内に内蔵する構成を採ることもでき、制御系８からの制御信号によって２回閃光発光方式に対応できるフラッシュ装置であれば外付け別体にて設置しても良い。
【００３６】
静止画記録用スイッチ１３はシャッタボタンとフラッシュスイッチとを兼用して使われる。尚、フラッシュ専用スイッチとしてはユーザが動画用に使用する通常の記録開始のスイッチを兼用させる場合が多い。
【００３７】
次に、動作について説明する。
【００３８】
先ず、静止画記録用スイッチ１３が押され、ストロボライト１２が閃光発光した際に被写体がのレンズ系１で良質な鮮明画像が得られるようにアイリスの絞りが制御される。又、制御系８は、同時にカメラ信号処理部３に対するＡＧＣ制御及び白バランス調整を設定する。特に、制御系８は、ストロボライト１２が発光した際の発光色温度が最適な値で白バランス調整できるように例えば赤（Ｒ）と青（Ｂ）の固定値をそれぞれカメラ信号処理部３に出力する。又、制御系８は、ストロボライト１２が発光した際の発光タイミングに合わせて固体撮像素子２の電子シャッタの開閉が行われるように制御信号を出力する。
【００３９】
前述したフレーム記録を２回発光方式にて行うために、フラッシュ部７を連続する２フィールドで閃光発光させなければならない。そこで、フラッシュ部７は、コンデンサ１１を図３に示すように２つの領域に分けて構成している。このコンデンサ１１はそれぞれのフィールド用に２個用意しても良く、１個のコンデンサを兼用しても良い。点灯制御部１０は、発光タイミングの考慮された制御信号をコンデンサ１１に出力する。点灯制御部１０は、制御系８から供給される点灯制御信号としてのフラッシュ発光信号が供給された後にコンデンサ１１が第１の閃光発光と第２の閃光発光との２回に分けて連続して起こるように発光させる。又、点灯制御部１０は、コンデンサ１１の第１の閃光発光と第２の閃光発光がそれぞれの発光量が同じになるように点灯制御する。
【００４０】
又、前述したフレーム記録を２回発光方式にて行う場合には、説明したようなストロボライトの発光分光成分が第１の閃光発光と第２の閃光発光とで大きく異なることに起因する静止画撮影時の連続するフィールド間での色フリッカ現象の発生を防止するため、ＶＴＲ信号処理部４では被写体の色信号成分については奇数、偶数フィールドから得られる信号の何れか一方に固定して出力する。
【００４１】
図５は本実施の形態における制御系８と点灯制御部１０間の通信制御フローチャートを示している。
【００４２】
この例では、より適正で鮮明な静止画像の露光が行われるようにするために静止画像を取り込む際のメインの2 回閃光発光に先立ち、閃光発光前の被写体の明るさの演算を行い、更にこの演算値とアイリス絞りの制御値及びＡＧＣ制御値、電子シャッタの開閉制御等の各種タイミング制御値から得られる露出制御情報から被写体に対してプリ閃光発光を被写体に対して行い、得られたプリ発光時の被写体の明るさの演算を行うことでメインの２回閃光発光量を演算するように構成している。このようなフローチャートを設定することでメインの２回閃光発光量をより正確に演算できるようにすることが可能である。
【００４３】
以上のように構成することにより、１回の撮影操作で２回閃光発光させた場合の装置に静止画として記録される情報量を、被写体の輝度情報についてはフレーム信号である鮮明な静止画像を、又、被写体の色情報については色フリッカの無い安定した静止画像を得ることができる。
【００４４】
尚、本実施の形態における固体撮像素子は汎用の色差線順次補色インターラインタイプとしたが、このタイプに限定されることはなく、他の単板色コーディング方式であっても良く、更に例えばＲＧＢそれぞれに撮像素子を割り当てる３板撮像素子方式のような多板固体撮像素子を使用する場合であっても良い。又、記録再生系のフォーマットも限定されるものでなく、あらゆるフォーマットのビデオテープレコーダに使用できることは明かである。
【００４５】
更に、本実施の形態では、ストロボライト閃光発光時の露出制御情報を固体撮像被写体の出力映像信号を処理した制御信号より得る構成としたが、この構成のみならず、例えば被写体からの閃光発光時の反射光を受光する素子を別に設け、該素子より得られた被写体露出情報によって２回の閃光発光を制御する構成を採る場合にも本発明は有効である。
【００４６】
又、本実施の形態におけるストロボライト通信制御フローチャートは２回閃光発光量を演算するために２回閃光発光に先立ちプリ閃光発光を行う場合の例を示したが、この例に限定されることはなく、連続した２フィールドに亘って２回連続発光させる閃光発光を行うあらゆる場合の制御フローにおいて本発明が有効なことは明らかである。
【００４７】
【発明の効果】
本発明によれば、被写体の色情報については色フリッカの無い安定した静止画像を得ることができるという効果が得られる。
【図面の簡単な説明】
【図１】従来例のストロボライトの発光強度と読み出しタイミングの関係を説明する図である。
【図２】従来例のストロボライトの発光強度と電子シャッター時の読み出しタイミングの関係を説明する図である。
【図３】本発明に係る映像信号処理装置を示すブロック図である。
【図４】ストロボライトを連続発光させた場合の発光分光成分を説明する図である。
【図５】本発明に係る映像信号処理装置の制御フローを示すフローチャートである。
【符号の説明】
１レンズ系
２固体撮像素子
３カメラ信号処理部
４ＶＴＲ信号処理部
５記録再生系
６映像メモリ部
７フラッシュ部
８制御系
９映像信号出力端子
１０点灯制御部
１１コンデンサ
１２ストロボライト
１３静止画記録用スイッチ

Claims

被写体に対して照明用閃光を発光させる発光手段と、
前記発光手段により照明用閃光が発光された被写体の画像信号を取得する撮像手段と、
前記撮像手段により得られた２フィールドの画像信号を演算して１フレームの画像を得る信号処理手段とを有し、
前記発光手段は、連続した２フィールドにおいて照明用閃光を２回発光させ、
前記信号処理手段は、前記２フィールドの画像信号の何れか一方に基づいて被写体の色信号成分を取得して１フレームの画像を得ることを特徴とする映像信号処理装置。
前記信号処理手段は、前記２フィールドの画像信号に基づいて被写体の輝度信号成分を取得して１フレームの画像を得ることを特徴とする請求項１に記載の映像信号処理装置。
被写体の明るさを取得する取得手段を更に有し、
前記発光手段は、前記取得手段により得られた被写体の明るさに応じた発光量の照明用閃光を発光させることを特徴とする請求項１又は請求項２に記載の映像信号処理装置。
連続した２フィールドにおいて被写体に対して照明用閃光を２回発光させる発光手段と、前記発光手段により照明用閃光が発光された被写体の画像信号を取得する撮像手段とを有する映像処理装置の制御方法であって、
前記撮像手段により得られた２フィールドの画像信号の何れか一方に基づいて被写体の色信号成分を取得して１フレームの画像を得ることを特徴とする映像信号処理装置の制御方法。