JP6401473B2 - 撮像システムおよび撮像装置 - Google Patents

Description

本発明は、フリッカ成分による撮像画像の画質劣化を防止する技術に関するものである。

現在、スーパーハイビジョンなどに代表される、高解像度の動画像の撮像が行われるようになってきている。一方、解像度の向上だけでなく、画質の向上を図るために、ハイビジョン（フレーム周波数：６０Ｈｚ）よりも高いフレーム周波数で撮像可能な撮像装置も研究・試作されている。また、ＩＴＵ−Ｒ規格（Ｒｅｃ．ＩＴＵ−Ｒ ＢＴ．２０２０）では、スーパーハイビジョンのフレーム周波数として１２０Ｈｚが規定されている。

このような高いフレーム周波数で動画像の撮像を行う場合の課題として、フリッカ（画像のちらつき）問題が挙げられる。フリッカは、ハロゲンランプや水銀ランプ、蛍光灯などの輝度変化（光量変化）が大きい照明下において、フレーム周波数が照明周波数より大きい撮像装置で動画像を撮像した場合に生じる。ここで、照明周波数は、照明の電源周波数の２倍となる。例えば、日本においては、東日本の照明の電源周波数は５０Ｈｚである。この場合、撮像装置のフレーム周波数が前記した規格に定められた１２０Ｈｚであると、｛撮像装置のフレーム周波数−（照明の電源周波数×２）｝により、撮像装置のフレーム周波数が照明周波数よりも２０Ｈｚ大きくなるため、フリッカが生じる。

ここで、図４に示すのは、照明の電源周波数が５０Ｈｚで、電源に起因する輝度変化（光量変化）が大きい照明下において、フレーム周波数が１２０Ｈｚの従来の撮像装置によって被写体の動画像を撮像した場合における、撮像画像の出力例を示すグラフである。図４に示すグラフにおいて、横軸は、時間［ｓ］であり、縦軸は、画像レベルを示し、波形は、撮像画像（画像出力）Ｉ（ｎ）を示している。ここでは、従来の撮像装置によって１６階調の画像が撮像されるため、画像レベルが０〜６５５３５で表されるが、図４に示すグラフでは、明るい画像出力が得られている部分（画像レベルが４８０００〜５２５００の部分）のみを表示している。

図４に示すように、撮像画像Ｉ（ｎ）は、画像レベルが、４８７００付近と５１０００付近とを短時間で行ったり来たりする正弦波で表されている。つまり、本来、一定の値が続くべき画像出力に、画像レベル（明るさ、輝度）の時間変動が生じていることがわかる。

図４に示す撮像画像Ｉ（ｎ）では、照明周波数（１００Ｈｚ）と撮像装置のフレーム周波数（１２０Ｈｚ）とのずれにより生じる画像レベル（明るさ、輝度）の時間変動を表す成分であるフリッカ成分ｆ（ｎ）が含まれていることになる。

例えば、ハイビジョンカメラのようにフレーム周波数が６０Ｈｚの場合、撮像時に１／１００秒のシャッタを挿入し、照明の輝度変化の周期とシャッタスピードの周期とを合わせることでフリッカを防ぐことが可能である。一方で、照明の電源周波数が５０Ｈｚの地域でフレーム周波数が１２０Ｈｚのスーパーハイビジョンカメラで撮像する場合、１フレーム時間よりも長いシャッタを挿入することは原理的に不可能であるため、撮像時に１／１００秒のシャッタを挿入することができない。したがって、前記したように、撮像装置のフレーム周波数と照明周波数とに差が生じることによって撮像画像にフリッカが生じることは避けられない。

なお、撮像画像にフリッカが生じるような照明は、現在、放送局のスタジオではほとんど使用されていない。しかし、大きなスポーツスタジアムなどでは、主な光源として水銀ランプなどが現在も使用されている。よって、スポーツ中継などを、スーパーハイビジョンカメラなどの高いフレーム周波数の撮像装置で撮像する場合、撮像画像にフリッカが生じることは避けられない。

このようなフリッカは、撮像画像の画質を劣化させる大きな要因となるため、従来から、フリッカを抑制するための様々な手法が試みられている。その一例として、撮像画像に含まれるフリッカ成分を推定し、推定したフリッカ成分を撮像画像から除去する方法が提案されている（特許文献１，２参照）。

特許第４４２３８８９号公報 特許第４３７１１０８号公報

しかしながら、撮像画像からフリッカ成分を推定する手法では、例えば、動きの速い被写体をフリッカ成分と推定してしまうなどの推定誤差が生じやすく、フリッカ成分を高精度に推定することが困難であった。

そこで、本発明は、フリッカ成分を含まない撮像画像を取得可能な撮像システムおよび撮像装置を提供することを課題とする。

前記した課題を解決するため、本発明は、照明光の強度を時系列に沿って測定し、測定時間内における前記照明光の強度の変化を示す波形を出力する受光素子と、前記受光素子から出力波形を入力し、この出力波形のピーク間の時間を検出し、検出した前記ピーク間の時間の逆数を照明周波数として推定する照明周波数推定装置と、１／１００秒のシャッタを備えず、フレーム周波数を任意に設定可能なスーパーハイビジョンの撮像装置と、前記撮像装置のフレーム周波数を前記照明周波数と同じ値に設定するフレーム周波数設定装置と、前記撮像装置によって前記照明周波数と同じフレーム周波数で撮像された画像を、補間により、所望のフレーム周波数の画像に変換するフォーマット変換装置と、を備えることを特徴とする。

かかる構成によれば、撮像システムは、フレーム周波数設定装置によって、撮像装置のフレーム周波数を、予め設定した照明周波数と同じ周波数に設定する。フリッカは、撮像装置のフレーム周波数と照明周波数との差によって生じるため、撮像装置のフレーム周波数と照明周波数とを同じ周波数に設定することで、撮像時にフリッカが生じないようにすることができる。このようにして、撮像時にフリッカが生じないフレーム周波数に設定された撮像装置によって被写体を撮像することで、フリッカ成分を含まない撮像画像を取得することができる。

また、撮像システムは、フォーマット変換装置によって、照明周波数と同じフレーム周波数に設定された撮像装置によって撮像された画像を、所望のフレーム周波数の画像に変換する。これによって、所望のフレーム周波数で、フリッカ成分を含まない撮像画像を取得することができる。

また、本発明は、１／１００秒のシャッタを備えず、フレーム周波数を任意に設定可能なスーパーハイビジョンの撮像装置であって、照明光の強度を時系列に沿って測定し、測定時間内における前記照明光の強度の変化を示す波形を出力する受光素子と、前記受光素子から出力波形を入力し、この出力波形のピーク間の時間を検出し、検出した前記ピーク間の時間の逆数を照明周波数として推定する照明周波数推定手段と、前記撮像装置のフレーム周波数を前記照明周波数と同じ値に設定するフレーム周波数設定手段と、当該撮像装置によって前記照明周波数と同じフレーム周波数で撮像された画像を、補間により、所望のフレーム周波数の画像に変換するフォーマット変換手段と、を備えることを特徴とする撮像装置として構成してもよい。

本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、所望のフレーム周波数で、フリッカ成分を含まない撮像画像を取得することができるので、フリッカ成分による撮像画像の画質劣化を防止することができる。

本発明の実施形態に係る撮像システムの構成を示すブロック図である。 図１に示す受光素子の出力例を示すグラフである。 本発明の実施形態に係る撮像システムの動作を示すフローチャートである。 従来の撮像装置で撮像された撮像画像の出力例を示すグラフである。

以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、以下の説明において、同一の名称および符号については原則として同一もしくは同質の部材を示しており、詳細説明を適宜省略する。

［撮像システムの構成］
図１に示すように、本発明の実施形態に係る撮像システム１は、受光素子２と、照明周波数推定装置３と、フレーム周波数設定装置４と、撮像装置５と、フォーマット変換装置６とを備えている。

受光素子２は、撮像装置５に近接して配置され、撮像環境に設置された照明Ｌから入射した照明光の強度を測定し、測定した照明光の強度を電気信号に変えて出力するセンサである。受光素子２は、ここでは、照明Ｌから入射した照明光の強度に応じて電圧を生じるようになっており、測定時間内における出力電圧の変化を示す波形を出力する。このような受光素子２は、例えば、一般的なフォトダイオードなどを用いることができる。

ここで、図２に示すのは、照明Ｌがハロゲンランプである場合の受光素子２の出力例を示すグラフである。図２に示すグラフにおいて、横軸は時間［ｓ］であり、縦軸は出力電圧［ｖ］である。受光素子２の出力波形は、照明周波数推定装置３に出力される。

照明周波数推定装置３は、測定時間内における出力電圧の変化を時系列に沿って示す出力波形を受光素子２から入力し、この出力波形から撮影環境の照明周波数を推定するものである。以下では、照明周波数を「照明周波数ｆ_Ｌ」と表記する。
照明周波数推定装置３は、ここでは、受光素子２から入力した出力波形のピーク間の時間（ピークから次のピークが来るまでの時間）を検出し、検出したピーク間の時間に基づいて照明周波数ｆ_Ｌを推定する。例えば、照明周波数推定装置３は、検出したピーク間の時間の逆数を照明周波数ｆ_Ｌと推定する。図２に示す出力波形の場合、ピークｐ_１−ピークｐ_２間の時間が０．０１［ｓ］であるので、照明周波数推定装置３は、照明周波数ｆ_Ｌを１００Ｈｚと推定する。照明周波数推定装置３は、推定した照明周波数ｆ_Ｌをフレーム周波数設定装置４に出力する。

図１に示すフレーム周波数設定装置４は、撮像装置５のフレーム周波数を設定するものである。以下では、撮像装置５のフレーム周波数を、「フレーム周波数ｆ_Ｃａｍ１」と表記する。フレーム周波数設定装置４は、照明周波数推定装置３によって推定された照明周波数ｆ_Ｌを入力し、撮像装置５のフレーム周波数ｆ_Ｃａｍ１を、この照明周波数ｆ_Ｌと同じ値に設定する。フレーム周波数設定装置４は、例えば、照明周波数推定装置３によって照明周波数ｆ_Ｌが１００Ｈｚと推定された場合、撮像装置５のフレーム周波数ｆ_Ｃａｍ１を１００Ｈｚに設定する。

撮像装置５は、被写体を撮像するものであって、フレーム周波数ｆ_Ｃａｍ１を任意に設定可能となっている。撮像装置５は、フレーム周波数設定装置４によって設定されたフレーム周波数ｆ_Ｃａｍ１で被写体の動画像を撮像する。撮像装置５は、ここでは、ハイビジョンやスーパーハイビジョンなどの高いフレーム周波数で被写体を撮像可能なカメラを指す。撮像装置５は、撮像画像をフォーマット変換装置６に出力する。

フォーマット変換装置６は、撮像装置５によってフレーム周波数ｆ_Ｃａｍ１で撮像された撮像画像を入力し、この撮像画像を、所望のフレーム周波数の画像に変換するものである。以下では、所望のフレーム周波数を「フレーム周波数ｆ_Ｃａｍ２」と表記する。
例えば、フレーム周波数ｆ_Ｃａｍ１が１００Ｈｚであり、所望のフレーム周波数ｆ_Ｃａｍ２が１２０Ｈｚである場合、フォーマット変換装置６は、撮像装置５から入力したフレーム周波数ｆ_Ｃａｍ１＝１００Ｈｚで撮像された撮像画像から、フレーム周波数ｆ_Ｃａｍ２＝１２０Ｈｚの画像を生成する。

このとき、フォーマット変換装置６は、一般的な補間の手法により、足りないフレーム（１秒間に２０フレーム分）を補間する処理を行う。フォーマット変換装置６は、足りないフレームを補間するために、例えば、同一フレームを複数フレームに亘って連続して使用してもよいし、また、例えば、隣接する２つ以上のフレームの特徴を合わせた中間のフレームを新たに生成して挿入してもよい。

フォーマット変換装置６は、入力手段（図示せず）などを介した外部からのフレーム周波数ｆ_Ｃａｍ２の指定の入力を適宜受け付け、撮像装置５から入力したフレーム周波数ｆ_Ｃａｍ１で撮像された撮像画像を、指定されたフレーム周波数ｆ_Ｃａｍ２の画像に変換してもよい。また、フォーマット変換装置６は、撮像装置５から入力したフレーム周波数ｆ_Ｃａｍ１の撮像画像を、予め設定されたフレーム周波数ｆ_Ｃａｍ２の画像に変換してもよい。なお、フォーマット変換装置６は、公知のものを適宜用いることができる。

［撮像システムの動作］
次に、図３を参照して、本発明の実施形態に係る撮像システム１の動作について説明する。
図３に示すように、撮像システム１は、受光素子２によって、照明光の強度を測定する（ステップＳ１）。撮像システム１は、受光素子２によって、測定時間内における照明光の強度の変化を時系列に沿って示す波形を出力する。

また、撮像システム１は、照明周波数推定装置３によって、受光素子２からの出力波形を入力し、この出力波形のピーク間の時間を検出し、検出したピーク間の時間に基づいて照明周波数ｆ_Ｌを推定する（ステップＳ２）。撮像システム１は、照明周波数推定装置３によって、推定した照明周波数ｆ_Ｌをフレーム周波数設定装置４に出力する。

さらに、撮像システム１は、フレーム周波数設定装置４によって、照明周波数推定装置３から照明周波数ｆ_Ｌを入力し、撮像装置５のフレーム周波数ｆ_Ｃａｍ１を、入力した照明周波数ｆ_Ｌと同じ値に設定する（ステップＳ３）。
続いて、撮像システム１は、撮像装置５によって、照明周波数ｆ_Ｌと同じフレーム周波数ｆ_Ｃａｍ１で被写体を撮像し、撮像画像をフォーマット変換装置６に出力する（ステップＳ４）。

そして、撮像システム１は、フォーマット変換装置６によって、撮像装置５から照明周波数ｆ_Ｌと同じフレーム周波数ｆ_Ｃａｍ１で撮像された撮像画像を入力し、この撮像画像を、所望のフレーム周波数ｆ_Ｃａｍ２の画像に変換する（ステップＳ５）。
撮像システム１は、以上のように動作する。

以上説明した、本実施形態に係る撮像システム１によれば、フレーム周波数設定装置４によって、撮像装置５のフレーム周波数ｆ_Ｃａｍ１をフリッカが生じない値、つまり、照明周波数ｆ_Ｌと同じ値に予め設定し、この撮像装置５によって被写体を撮像することで、フリッカ成分を含まない撮像画像を取得することができる。このように、撮像システム１によれば、フリッカ成分を含む撮像画像を取得し、この撮像画像に含まれるフリッカ成分を推定するのではなく、そもそもフリッカ成分を含まない撮像画像を取得するため、フリッカ成分の推定誤差が生じるおそれがない。

そして、撮像システム１によれば、フォーマット変換装置６によって、撮像装置５においてフレーム周波数ｆ_Ｃａｍ１で撮像された撮像画像から、所望のフレーム周波数ｆ_Ｃａｍ２の画像を生成することができる。したがって、撮像システム１によれば、所望のフレーム周波数で、フリッカ成分を含まない画像を取得することができる。
よって、本実施形態に係る撮像システム１によれば、フリッカ成分による撮像画像の画質劣化を防止することができる。

なお、本発明は、前記した実施形態に限定されず、その趣旨を逸脱しない範囲で様々な変形を加えることができる。
例えば、前記した実施形態では、撮像システム１は、照明周波数推定装置３によって、受光素子２からの出力波形のピーク間の時間に基づいて照明周波数ｆ_Ｌを推定することとしたが、これに限られない。例えば、撮像システム１は、照明周波数推定装置３によって、受光素子２からの出力波形をフーリエ変換することによって、照明周波数ｆ_Ｌを推定してもよい。

また、例えば、前記した実施形態では、撮像システム１は、照明周波数推定装置３によって、受光素子２からの出力波形に基づいて照明周波数ｆ_Ｌを推定することとしたが、これに限られない。
具体的には、撮像システム１は、照明周波数推定装置３によって、撮像環境における既知の電源周波数の２倍の値を、照明周波数ｆ_Ｌと推定してもよい。例えば、撮像環境が東日本であれば、電源周波数が５０Ｈｚであるので、照明周波数推定装置３は、照明周波数ｆ_Ｌを１００Ｈｚと推定する。また、例えば、撮像環境が西日本であれば、電源周波数が６０Ｈｚであるので、照明周波数推定装置３は、照明周波数ｆ_Ｌを１２０Ｈｚと推定する。これによれば、照明周波数推定装置３による照明周波数ｆ_Ｌの推定処理の負荷を軽減することができる。さらに、受光素子２を省略することができるので、撮像システム１の構成をより簡素化することができる。

また、撮像システム１は、入力手段（図示せず）等を介して既知の照明周波数ｆ_Ｌがフレーム周波数設定装置４に与えられた場合、フレーム周波数設定装置４によって、撮像装置５のフレーム周波数ｆ_Ｃａｍ１を当該既知の照明周波数ｆ_Ｌと同じ値に設定してもよい。
この場合、受光素子２および照明周波数推定装置３を省略することができるので、撮像システム１の構成をより簡素化することができる。

さらに、本発明は、前記したフレーム周波数設定装置４と同様に構成されたフレーム周波数設定手段と、前記したフォーマット変換装置６と同様に構成されたフォーマット変換手段とを備え、フレーム周波数を任意に設定可能な撮像装置として構成してもよい。この撮像装置は、さらに、前記した受光素子２と同様に構成された受光素子と、前記した照明周波数推定装置３と同様に構成された照明周波数推定手段を備えていてもよい。かかる撮像装置によれば、所望のフレーム周波数で、フリッカ成分を含まない画像を取得することができるので、フリッカ成分による撮像画像の画質劣化を防止することができる。

１ 撮像システム
２ 受光素子
３ 照明周波数推定装置
４ フレーム周波数設定装置
５ 撮像装置
６ フォーマット変換装置

Claims (2)

1. 照明光の強度を時系列に沿って測定し、測定時間内における前記照明光の強度の変化を示す波形を出力する受光素子と、
   前記受光素子から出力波形を入力し、この出力波形のピーク間の時間を検出し、検出した前記ピーク間の時間の逆数を照明周波数として推定する照明周波数推定装置と、
   １／１００秒のシャッタを備えず、フレーム周波数を任意に設定可能なスーパーハイビジョンの撮像装置と、
   前記撮像装置のフレーム周波数を前記照明周波数と同じ値に設定するフレーム周波数設定装置と、
   前記撮像装置によって前記照明周波数と同じフレーム周波数で撮像された画像を、補間により、所望のフレーム周波数の画像に変換するフォーマット変換装置と、を備えることを特徴とする撮像システム。
2. １／１００秒のシャッタを備えず、フレーム周波数を任意に設定可能なスーパーハイビジョンの撮像装置であって、
   照明光の強度を時系列に沿って測定し、測定時間内における前記照明光の強度の変化を示す波形を出力する受光素子と、
   前記受光素子から出力波形を入力し、この出力波形のピーク間の時間を検出し、検出した前記ピーク間の時間の逆数を照明周波数として推定する照明周波数推定手段と、
   前記撮像装置のフレーム周波数を前記照明周波数と同じ値に設定するフレーム周波数設定手段と、
   当該撮像装置によって前記照明周波数と同じフレーム周波数で撮像された画像を、補間により、所望のフレーム周波数の画像に変換するフォーマット変換手段と、を備えることを特徴とする撮像装置。

Images