JP6276639B2 - ビデオカメラ装置、映像信号の処理方法および映像信号処理装置 - Google Patents

Description

本発明は、フリッカの発生を低減させたビデオカメラ装置、映像信号の処理方法および映像信号処理装置に関するものである。

テレビおよびビデオの映像信号は、飛び越し走査方式または順次走査方式を採用し、その多くは１秒間に３０〜６０フレームの画像を撮影および表示できる性能を有する。一方で、近年、テレビの高解像度化と共に、人間の動物体に対する高い認識能力に対応するためにフレームレートを高く設定して動物体の表現能力を高めたテレビおよびビデオカメラの開発が進められている。そして、次世代放送システムとして規格化の検討が進められているスーパーハイビジョンにおいては、６０〜１２０フレーム／秒にもおよぶフレームレートが国際規格として採択されている。

ところで、国内の商用電源の周波数は、使用される地域により６０Ｈｚまたは５０Ｈｚが用いられている。そして、高周波点灯方式（インバータ方式）を採用したものでない、一般の蛍光灯を使った照明器具では、１秒間に１００回（５０Ｈｚの地域の場合）または１２０回（６０Ｈｚの地域の場合）の輝度変動が生じている。そして、海外においても、例えば欧州では商用電源の周波数として５０Ｈｚが採用されており、蛍光灯の照明等ではやはり１秒間に１００回の輝度変動が生じている。

このような高周波点灯方式以外の蛍光灯を使用した照明のもとでスーパーハイビジョンに対応した例えば６０フレーム／秒のフレームレートのビデオカメラを使用した場合にフリッカの問題が生じうる。ここで、図４を用いてフリッカの発生メカニズムについて説明する。商用電源の周波数が５０Ｈｚの地域においては、供給される交流電源の波形は、図４（ａ）のように１／５０秒の周期で正弦波状に変化する。このとき、高周波点灯方式以外の蛍光灯の輝度は、図４（ｂ）に示すように倍の周波数である１００Ｈｚで変動する。蛍光灯照明に基づく撮像素子の映像信号出力は、図４（ｂ）に示す蛍光灯の輝度の時間積分となるが、ビデオカメラの１フレーム周期（１／６０秒）と蛍光灯の輝度の変動周期（１／１００秒）が合致していないため、図４（ｄ）のようにフレームごとに積分値が変動する。これが、いわゆるフリッカと呼ばれる現象である。このような条件で撮影された映像を再生すると、画像の明るさがフレーム毎に変化することに起因してちらつきが発生する。一方、商用電源６０Ｈｚの地域では、ビデオカメラの１フレーム周期が蛍光灯の輝度の変動周期のちょうど２倍となるため、フリッカは発生しない。

このような原理で発生するフリッカを防止するために、例えば特許文献１では、電子シャッターを使用し、露光時間を１／１００秒に設定している。このような構成とすることにより露光時間内に撮像素子に入射する光量の積分値は各フレーム毎に一定となり、蛍光灯照明によるフリッカを低減することができる。図５を用いてその発明の原理について説明する。この発明では、図５（ｃ）に示すように各フレームにおける電子シャッターが開口している時間を、撮像素子の１フレーム周期より短い蛍光灯の輝度変動周期に合致させている。これにより、各フレームが蛍光灯から受ける影響の度合いが均一になり、図６（ｄ）に示すように、蛍光灯の輝度変動によるフリッカを低減させることができる。

特許第３１２３６５３号公報 特許第２５５３１２３号公報

しかし、スーパーハイビジョンで採択されている、１２０フレーム／秒で動作する映像システムにおいては、１フレーム周期が１／１２０秒であり、蛍光灯の輝度の変動周期（１／１００秒）よりも短い。電子シャッターを用いて露光時間を１／１００秒に設定することができないため、従来フリッカ除去に効果的であった特許文献１のような手法が有効に機能しない。従って、図６（ｄ）に示すようなフリッカが発生してしまう。

また、特許文献２では、照明光の輝度変動周期の整数倍の間隔で露光終了パルスを生成するようにしてフリッカ除去をおこなう方法が提案されている、しかし、この手法においても、１フレーム周期（１／１２０秒）が、照明光の輝度変動周期（１／１００秒）よりも短いため、フレーム毎に確実に露光開始パルスと露光終了パルスを得ることができず、フリッカを効果的に除去することができない。

また、その他の手法としてフレーム毎の信号レベルの変動を検知し、その変動に合わせて読み出しアンプのゲインを変えることによりフリッカを低減する方法も考えられる。しかし、その手法によると、輝度が変動する照明と、輝度が変動しない照明が混在した場合には、かえってフリッカの発生を助長してしまう可能性がある。

かかる点に鑑みてなされた本発明の目的は、フリッカの発生を低減させたビデオカメラ装置、映像信号の処理方法および映像信号処理装置を提供することにある。

上記課題を解決するため、本発明に係るビデオカメラ装置は、ビデオカメラ装置であって、前記ビデオカメラ装置が出力する最終映像信号のフレームレートと、被写体を照らす照明の輝度の変動周波数との最小公倍数となるフレームレートで映像信号を生成する撮像部と、前記照明の輝度の変動周期に等しい時間にわたって前記撮像部が生成する映像信号を、フレーム単位で加算する加算部を有する信号処理部とを備え、前記信号処理部は、前記加算部により前記変動周期に等しい時間にわたって加算された映像信号を１フレームの映像信号として、前記最終映像信号を出力することを特徴とする。

また、前記加算部は、第１加算器と、第２加算器とを備え、前記第２加算器は、前記第１加算器よりも、前記最終映像信号のフレーム周期に相当する時間だけ遅れたフレームから前記加算を開始し、前記第１加算器および前記第２加算器は、それぞれ前記変動周期に等しい時間にわたって前記撮像部が生成する映像信号をフレーム単位で加算をおこない、前記信号処理部は、前記第１加算器による加算後の映像信号と、前記第２加算器による加算後の映像信号とを、前記最終映像信号のフレーム周期で交互に出力することが好ましい。

また、上記課題を解決するため、本発明に係る映像信号の処理方法は、映像信号の処理方法であって、前記処理方法により生成された最終映像信号のフレームレートと、被写体を照らす照明の輝度の変動周波数との最小公倍数となるフレームレートで映像信号を生成する撮像ステップと、前記照明の輝度の変動周期に等しい時間にわたって、前記撮像ステップにより生成された映像信号をフレーム単位で加算する加算ステップと前記加算ステップにより前記変動周期に等しい時間にわたって加算された映像信号を１フレームの映像信号として、前記最終映像信号を出力する映像出力ステップとを含むことを特徴とする。

また、上記課題を解決するため、本発明に係る映像信号処理装置は、映像信号処理装置であって、前記映像信号処理装置が出力する最終映像信号のフレームレートと、被写体を照らす照明の輝度の変動周波数との最小公倍数となるフレームレートの映像信号を撮像部から受信する受信部と、前記照明の輝度の変動周期に等しい時間にわたって、前記撮像部からの前記映像信号をフレーム単位で加算する加算部とを備え、前記加算部により前記変動周期に等しい時間にわたって加算された映像信号を１フレームの映像信号として、前記最終映像信号を出力することを特徴とする。

本発明によれば、フリッカの発生を低減させたビデオカメラ装置、映像信号の処理方法および映像信号処理装置を提供することができる。

本発明の一実施形態に係るビデオカメラ装置のブロック図である。 本発明の一実施形態に係るビデオカメラ装置において、フリッカ除去の原理を説明するためのタイミング図である。 本発明の一実施形態に係るビデオカメラ装置のブロック図（動作時）である。 従来のビデオカメラ装置等において、フリッカ発生の原理を説明するためのタイミング図である。 特許文献１に係る固体撮像装置における、フリッカ除去の原理を説明するためのタイミング図である。 特許文献１に係る固体撮像装置において、フレームレートを１２０フレーム／秒に高めた場合のタイミング図である。

以下、本発明に係る実施形態について、図面を参照して説明する。

（一実施形態）
図１は、本発明の一実施形態に係るビデオカメラ装置４００のブロック図である。本実施形態に係るビデオカメラ装置４００は、撮像部４０１と、映像信号処理部４０２と、記録処理部４０３と、制御部４０４とを備える。なお、図１では、映像信号の流れを実線で示し、タイミング信号等の制御信号の流れを破線で示している。

まず、撮像部４０１の構成について説明する。

撮像部４０１は、レンズ４１と、撮像素子４２と、撮像素子駆動回路４３とを備える。撮像部４０１は、被写体の像を撮像素子４２上に結像させ、映像信号を得る役割を果たす。

レンズ４１は、被写体の像を後述する撮像素子４２に結像させるための複数枚のレンズである。複数枚のレンズの内の一部のレンズは、図示しない駆動装置の可動部上に配置され、後述する制御部４０４からの制御信号により光軸方向に駆動される。このレンズ駆動により、ビデオカメラ装置４００のズームレンズ機能およびオートフォーカス機能が実現される。

撮像素子４２は、レンズ４１を介して導かれた被写体からの光を検出して映像信号を生成する。撮像素子４２には、例えばＣＣＤ(Charge Coupled Device)イメージセンサまたはＣＭＯＳ(Complementary Metal-Oxide Semiconductor)イメージセンサ等を用いることができる。撮像素子４２は、イメージセンサ上に図示しない各種カラーフィルタを配置することにより、単板イメージセンサから３原色の映像信号を得るように構成することができる。また、撮像素子４２は、受光素子上に図示しないマイクロレンズ等を配置することにより光利用効率を高めることができる。

撮像素子駆動回路４３は、撮像素子４２を動作させるための回路である。撮像素子駆動回路４３は、図１に破線で示すように、制御部４０４からタイミング信号等を受信する。それらのタイミング信号等に基づき、撮像素子駆動回路４３は、撮像素子４２を動作させるための露光クロック、蓄積クロック等の信号を生成し、撮像素子４２に供給をおこなう。

撮像素子駆動回路４３は、制御部４０４からの制御信号に基づき、撮像素子４２が６００フレーム／秒のフレームレートで動作するように制御をおこなう。なお、詳細については後述する。

次に、映像信号処理部４０２の構成について説明する。

映像信号処理部４０２は、第１加算器４４と、第２加算器４５と、スイッチ４６とを備える。本実施形態において、第１加算器４４および第２加算器４５は、撮像素子４２から出力される６００フレーム／秒の映像信号の連続する６フレーム分の加算をおこない出力する機能を備える。ここで、第２加算器４５は、第１加算器４４が連続する５フレームを加算した後の６フレーム目から加算を開始する。すなわち、第１加算器４４および第２加算器４５は、それぞれ連続する６フレームの映像信号を加算するが、その６フレームの内の１フレームのみが加算器４４，４５間でオーバーラップするように加算をおこなう。第１加算器４４および第２加算器４５は、加算した６フレーム分の映像信号を、少なくとも１／１２０秒の間スイッチ４６に対して出力する。そして、第２加算器４５は、第１加算器４４に対して１／１２０秒だけ遅れてスイッチ４６に映像信号を出力するように構成される。スイッチ４６は、制御部４０４からの制御信号に基づき、第１加算器４４が映像信号を出力する１／１２０秒の間は、第１加算器４４の出力が記録処理部１０３に伝送されるように切り替えられる。そしてスイッチ４６は、第２加算器４５が映像信号を出力する１／１２０秒の間は、第２加算器４５の出力が記録処理部１０３に伝送されるように切り替えられる。なお、スイッチ４６は、リレー、トランジスタなどにより構成される。

次に、記録処理部４０３の構成について説明する。

記録処理部４０３は、エンコーダ４７と、変調回路４８と、記録装置４９とを備える。

エンコーダ４７は、映像信号処理部４０２により処理された、撮像素子４２からの映像信号を符号化し画像圧縮をおこなう機能を備える。このエンコーダ４７が対応する符号化方式としては、例えばMPEG-2方式、MPEG-4 Part 10 Advanced Video Coding方式等である。

変調回路４８は、エンコーダ４７が出力するデータを、記録装置４９内の記録媒体に記録可能なフォーマットに変調する機能を備える。

記録装置４９は、変調回路４８により変調された映像信号を記録媒体に記録する機能を備える。本実施形態において、映像信号の記録に用いることができる記録媒体は、例えばフラッシュメモリ、ＨＤＤ（登録商標）（Hard Disc Drive）、ＤＶＤ（登録商標）（Digital Versatile Disc）またはＢＤ（Blu-ray（登録商標）Disc）等である。

なお、記録処理部４０３内に図示しないバッファメモリ等を適宜設けて、各ブロックにおける処理がより円滑におこなわれるように構成してもよい。

また、本実施形態では、記録装置４９により映像信号を記録媒体に記録させるように構成したが、この形態には限定されない。例えばエンコーダ４７により符号化された映像信号を、有線または無線ネットワークによりデータサーバーに伝送し、データサーバー上で映像信号の管理および保存をおこなってもよい。

次に、制御部４０４について説明する。

制御部４０４は、撮像部４０１内のレンズ４１および撮像素子駆動回路４３、映像信号処理部４０２内の第１加算器４４、第２加算器４５およびスイッチ４６、並びに記録処理部４０３内のエンコーダ４７、変調回路４８および記録装置４９等に対して制御信号を伝送し、これらの制御をおこなう機能を備える。制御部４０４は、例えばプログラムを実行可能なマイコン等により構成することができる。

なお、本実施形態における制御部４０４および映像信号処理部４０２は、本発明の「映像信号処理装置」を構成する。

次に、図２に示すタイミング図を用いて、本実施形態によるフリッカ除去の原理を説明する。

図２（ａ）は、系統から供給される商用電源の波形（５０Ｈｚ）を示し、図２（ｂ）は、この商用電源から電力を供給して点灯させた蛍光灯の輝度の時間変化を示す。蛍光灯の輝度波形は図２（ｂ）から分かるように、商用電源周波数の倍の周波数である１００Ｈｚ周期で変動する波形となる。

図２（ｃ）は、撮像素子４２が、６００フレーム／秒のフレームレートで出力する映像信号における輝度信号の時間変化を示す。図２（ｂ）に示す蛍光灯の輝度の時間変化に対応して映像信号の輝度信号が変化していることが分かる。加算器４４，４５は、この６００フレーム／秒で出力される連続する６フレームの映像信号の加算をそれぞれおこなう。そして、第１加算器４４および第２加算器４５は交互に用いられる。まず、第１加算器４４は、図２（ｃ）における最初の６フレームの映像信号の加算をおこなう。そして、加算後の映像信号を少なくとも１／１２０秒間スイッチ４６へと出力する。制御部４０４は、第１加算器４４が加算後の映像信号を出力すると同時にスイッチ４６を切り替え、第１加算器４４の映像信号出力が記録処理部４０３に伝送されるように制御をおこなう。

第１加算器４４が６フレーム目の加算をおこなう時、第２加算器４５は、当該フレームを１フレーム目として連続する６フレームの加算を開始する。すなわち、第１加算器４４および第２加算器４５は、１フレームのみをオーバーラップさせながらそれぞれ連続する６フレームの加算をおこなう。

第２加算器４５は、図２（ｃ）における６フレーム目から、連続する６フレームの映像信号の加算をおこなう。そして、加算後の映像信号を少なくとも１／１２０秒間スイッチ４６へと出力する。制御部４０４は、第２加算器４５が加算後の映像信号を出力すると同時にスイッチ４６を切り替え、第２加算器４５の映像信号出力が記録処理部４０３に伝送されるように制御をおこなう。なお、第１加算器４４および第２加算器４５は、これまでの説明から分かるように加算対象のフレームが５フレーム分、すなわち１／６００×５＝１／１２０秒だけずれている。従って、加算器４４，４５がそれぞれ加算後の映像信号を出力するタイミングも１／１２０秒だけずれる。そのため、制御部４０４は、１／１２０秒ごとにスイッチ４６の切り替え制御をおこない、第１加算器４４からの映像信号と、第２加算器４５からの映像信号とを交互に記録処理部４０３へと伝送する。

このように、第１加算器４４および第２加算器４５から１／１２０秒ごとに映像信号が出力されることにより、映像信号処理部４０２は、１２０フレーム／秒の映像信号を生成する。ところで、この生成された各フレームの信号は、撮像素子４２が出力する６００フレーム／秒の映像信号の連続する６フレーム分、すなわち１／１００秒間に検知した被写体光から生成されている。この１／１００秒間は、照明光である蛍光灯の輝度の変動周期に等しいため、映像信号処理部４０２が出力する１２０フレーム／秒の映像信号は、蛍光灯の輝度変動の影響を受けない。図２（ｄ）は、映像信号処理部４０２が出力する映像信号における輝度信号の大きさの時間変化を示しており、フリッカは発生しない。

なお、先述のように、映像信号処理部４０２は、図２（ｃ）に示す撮像素子４２からの連続する６フレームの映像信号を加算することにより、１２０フレーム／秒の映像信号の１フレームを生成するように構成されている。その対応関係を示すために、図２（ｃ）における連続した６フレームが出力されている時に、図２（ｄ）において加算後の映像信号が出力されるように記載している。しかし、図２（ｄ）の映像信号は、図２（ｃ）における６フレーム目が出力されたときに初めて確定する。従って、図２（ｄ）の映像信号の出力は、実際には図２（ｃ）における６フレーム目が出力された後におこなわれる。

図３は、図２に示すタイミングで映像信号を処理する場合における、ビデオカメラ装置４００内の各映像信号の流れを模式的に示す。図３において、撮像素子４２から供給された６００フレーム／秒の信号におけるフレーム（１）乃至（１１）のうち、フレーム（１）乃至（６）が第１加算器４４において加算され、フレーム（６）乃至（１１）が第２加算器４５において加算される。加算器４４，４５において加算された各映像信号は、スイッチ４６により切り替えられることにより１２０フレーム／秒の映像信号となり、記録処理部４０３に伝送される。

なお、本実施形態においては、照明光の輝度の変動周波数が１００Ｈｚである場合について説明したが、この形態には限定されない。例えば、第１加算器４４および第２加算器４５において連続する５フレームをそれぞれ加算して出力するように構成することにより、１２０Ｈｚの輝度の変動周波数に対応することができる。

また、本実施形態においては、フレームレートが１２０フレーム／秒である場合について説明したが、この形態に限定されない。例えば、第１加算器４４および第２加算器４５において、加算対象のフレームが４フレーム分、すなわち１／６００×４＝１／１５０秒だけずれるように構成し、スイッチ４６を１／１５０秒ごとに切り替えることにより、１５０フレーム／秒の映像信号を生成することができる。

また、本実施形態においては、照明光の変動周期がフレーム周期よりも長い場合について説明したが、照明光の変動周期の方が短い場合にも適用することができる。

以上のように、本実施形態によれば、撮像素子４２から出力される６００フレーム／秒の映像信号の連続する６フレームを加算して１フレームの映像信号とするように構成したので、１００Ｈｚの周波数で変動する照明光のもとでの撮影をおこなっても、フリッカの発生を抑えることができる。また、撮像素子を１つしか用いないため、低価格の装置を提供することができる。

また、本実施形態によれば、映像信号処理部４０２が出力する映像信号のフレームレートを１２０フレーム／秒としたので、スーパーハイビジョンに対応した映像信号におけるフリッカの発生を抑えることができる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。また、本発明について装置を中心に説明してきたが、本発明は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。

４１ レンズ
４２ 撮像素子
４３ 撮像素子駆動回路
４４ 第１加算器
４５ 第２加算器
４６ スイッチ
４７ エンコーダ
４８ 変調回路
４９ 記録装置
４００ ビデオカメラ装置
４０１ 撮像部
４０２ 映像信号処理部
４０３ 記録処理部
４０４ 制御部

Claims (4)

1. ビデオカメラ装置であって、
   前記ビデオカメラ装置が出力する最終映像信号のフレームレートと、被写体を照らす照明の輝度の変動周波数との最小公倍数となるフレームレートで映像信号を生成する撮像部と、
   前記照明の輝度の変動周期に等しい時間にわたって前記撮像部が生成する映像信号を、フレーム単位で加算する加算部を有する信号処理部と
   を備え、
   前記信号処理部は、前記加算部により前記変動周期に等しい時間にわたって加算された映像信号を１フレームの映像信号として、前記最終映像信号を出力することを特徴とするビデオカメラ装置。
2. 前記加算部は、第１加算器と、第２加算器とを備え、
   前記第２加算器は、前記第１加算器よりも、前記最終映像信号のフレーム周期に相当する時間だけ遅れたフレームから前記加算を開始し、
   前記第１加算器および前記第２加算器は、それぞれ前記変動周期に等しい時間にわたって前記撮像部が出力する映像信号をフレーム単位で加算をおこない、
   前記信号処理部は、前記第１加算器による加算後の映像信号と、前記第２加算器による加算後の映像信号とを、前記最終映像信号のフレーム周期で交互に出力する、請求項１に記載のビデオカメラ装置。
3. 映像信号の処理方法であって、
   前記処理方法により生成された最終映像信号のフレームレートと、被写体を照らす照明の輝度の変動周波数との最小公倍数となるフレームレートで映像信号を出力する撮像ステップと、
   前記照明の輝度の変動周期に等しい時間にわたって、前記撮像ステップにより生成された映像信号をフレーム単位で加算する加算ステップと
   前記加算ステップにより前記変動周期に等しい時間にわたって加算された映像信号を１フレームの映像信号として、前記最終映像信号を出力する映像出力ステップと
   を含むことを特徴とする映像信号の処理方法。
4. 映像信号処理装置であって、
   前記映像信号処理装置が出力する最終映像信号のフレームレートと、被写体を照らす照明の輝度の変動周波数との最小公倍数となるフレームレートの映像信号を撮像部から受信する受信部と、
   前記照明の輝度の変動周期に等しい時間にわたって、前記撮像部からの前記映像信号をフレーム単位で加算する加算部とを備え、
   前記加算部により前記変動周期に等しい時間にわたって加算された映像信号を１フレームの映像信号として、前記最終映像信号を出力することを特徴とする映像信号処理装置。

Images