JPWO2017064829A1 - 映像信号処理装置、映像信号処理方法およびプログラム - Google Patents

映像信号処理装置、映像信号処理方法およびプログラム Download PDF

Info

Publication number
JPWO2017064829A1
JPWO2017064829A1 JP2017545078A JP2017545078A JPWO2017064829A1 JP WO2017064829 A1 JPWO2017064829 A1 JP WO2017064829A1 JP 2017545078 A JP2017545078 A JP 2017545078A JP 2017545078 A JP2017545078 A JP 2017545078A JP WO2017064829 A1 JPWO2017064829 A1 JP WO2017064829A1
Authority
JP
Japan
Prior art keywords
frames
frame
video signal
weighting factor
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017545078A
Other languages
English (en)
Inventor
壮平 岡田
壮平 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017064829A1 publication Critical patent/JPWO2017064829A1/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)

Abstract

この映像信号処理装置は、連続するM（Mは複数）個のフレームの映像信号に対して、M個のフレーム中の各順位のフレームに対して個別に設定された重み係数を掛け、それらの結果を加算平均して、M個のフレーム中で所定順位のフレームの補正映像信号を生成する輝度補正回路を具備し、M個のフレーム中の各順位のフレームに対して個別に設定された重み係数の値のうち、所定順位のフレームに対して設定された重み係数の値が最大とされる。

Description

本技術は、時間的な輝度変化を伴って入力される映像信号の輝度変化成分を抑制する映像信号処理装置、映像信号処理方法およびプログラムに関する。
イメージセンサは面単位、若しくはライン単位で電荷の蓄積タイミングが異なる。一般的に、面単位で電荷の蓄積タイミングを合わせる方式をグローバルシャッタ方式と呼び、ライン単位で電荷の蓄積タイミングを合わせる方式をローリングシャッタ方式と呼ぶ。これまでイメージセンサではグローバルシャッタ方式を採用したＣＣＤイメージセンサが主流であったが、近年、ＣＣＤイメージセンサより消費電力が小さく、部品点数も少なく安価に生産できるＣＭＯＳイメージセンサが注目されている。このＣＭＯＳイメージセンサは構造的な問題によりローリングシャッタ方式を採用している場合が多い。どちらの方式でも、点滅を繰り返す光源の下で撮影した場合は、センサでの電荷蓄積タイミングの違いにより、面全体に明暗の違い（面フリッカ）やライン毎による明暗の違い（ラインフリッカ）が現れる。
フリッカを補正する技術としては、連続するM個のフレームの映像信号の加算平均によってフリッカ補正画像を得る方式が知られている（特許文献１参照）。この特許文献１では、フレームレートを光源周波数（電源周波数×2）で割って得られる値を丸めた整数を加算対象となるフレーム数Mとして、これらM個のフレームの加算平均が行われることとしている。
特開２００９−１３５７９２号公報
しかしながら、上記のフリッカ補正など、時間的な輝度変化を伴って伝送される映像信号の輝度変化成分を抑制する技術においては、未だ解決すべき課題が多々残されている。
以上のような事情に鑑み、本技術の目的は、時間的な輝度変化を伴って伝送される映像信号の輝度変化成分を抑制する信号処理がもつ様々な課題を解決することのできる映像信号処理装置、映像信号処理方法およびプログラムを提供することにある。
上記の課題を解決するために、本技術に係る一形態の映像信号処理装置は、
連続するM（Mは複数）個のフレームの映像信号に対して、前記M個のフレーム中の各順位のフレームに対して個別に設定された重み係数を掛け、それらの結果を加算平均して、前記M個のフレーム中で所定順位のフレームの補正映像信号を生成する輝度補正回路を具備し、
前記M個のフレーム中の各順位のフレームに対して個別に設定された重み係数の値のうち、前記所定順位のフレームに対して設定された重み係数の値が最大であることとする。
本技術に係る一形態の映像信号処理装置は、
前記所定順位のフレーム以外の(M-1)個のフレーム中の前記所定順位のフレームからの距離が互いに異なる複数のフレームについて、前記距離が相対的に長いフレームに設定された重み係数の値が前記距離が相対的に短いフレームに設定された重み係数の値以下に設定されたものであってよい。
前記Mは、フレームレートを撮影環境の光源周波数で割って得られる値を丸めた整数を上限として予め設定された値であってよい。
本技術に係る一形態の映像信号処理装置は、
前記M個のフレーム中の各順位のフレームに個別に対応付けられるM個の重み係数の値を重み係数セットとして、複数の種類の前記重み係数セットが格納されたメモリと、
前記メモリに格納された複数の種類の重み係数セットの中から１つの重み係数セットの選択をユーザより受け付ける操作入力部と、
前記操作入力部を用いてユーザにより選択された前記重み係数セットのM個の重み係数の値を前記輝度補正回路に設定する制御部と
をさらに具備するものであってよい。
本技術に係る一形態の映像信号処理装置は、
前記メモリに格納された前記複数の種類の重み係数セットを指定する複数の指定情報を、補正の強度の高い順および低い順のいずれか一方の順に表示部の画面に規則的に表示させるための表示データを生成する表示データ生成部
をさらに具備するものであってよい。
本技術に係る一形態の映像信号処理装置は、
補正対象の映像信号の動きを検出する動き検出回路と、
前記検出された動きの速度情報をもとに、前記各順位のフレームに対して個別に設定された重み係数の値を調整する重み係数調整回路と
を具備するものであってよい。
本技術に係る別の形態の映像信号処理方法は、
連続するM（Mは複数）個のフレームの映像信号に対して、前記M個のフレーム中の各順位のフレームに対して個別に設定された重み係数を掛け、それらの結果を加算平均して、前記M個のフレーム中で所定順位のフレームの補正映像信号を生成する方法であって、
前記M個のフレーム中の各順位のフレームに対して個別に設定された重み係数の値のうち、前記所定順位のフレームに対して設定された重み係数の値が最大であることとしたものである。
本技術に係る別の形態のプログラムは、
連続するM（Mは複数）個のフレームの映像信号に対して、前記M個のフレーム中の各順位のフレームに対して個別に設定された重み係数を掛け、それらの結果を加算平均して、前記M個のフレーム中で所定順位のフレームの補正映像信号を生成する輝度補正回路としてコンピュータを機能させるプログラムであって、
前記M個のフレーム中の各順位のフレームに対して個別に設定された重み係数の値のうち、前記所定順位のフレームに対して設定された重み係数の値が最大であることとする。
以上のように、本技術によれば、時間的な輝度変化を伴って伝送される映像信号の輝度変化成分を抑制する信号処理がもつ様々な課題を解決することができる。
本技術に係る映像処理装置の第１の実施形態である撮像装置１の構成を示すブロック図である。 図１の撮像装置１におけるフリッカ補正回路３２の構成を示すブロック図である。 本実施形態の撮像装置１による加重加算型フリッカ補正の具体例を示す図である。 複数の重み係数セットの例を示す図である。 フリッカ補正条件の設定画面の例を示す図である。 本技術に係る第１の実施形態の撮像装置１におけるフリッカ補正回路３２Ａの変形例の構成を示すブロック図である。 図６の変形例による重み係数調整の例を示す図である。 図６の変形例による重み係数調整の他の例を示す図である。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
図１は、本技術に係る映像信号処理装置の第１の実施形態である撮像装置１の構成を示すブロック図である。
同図に示すように、この撮像装置１は、レンズ部１０、撮像部２０、信号補正回路３０、ニー・ガンマ補正回路４０、ファインダ出力生成部５０、本線系信号処理部６０、ファインダ７０、操作入力部８０、不揮発性メモリ９０およびＣＰＵ（Central Processing Unit）１００を備える。
レンズ部１０は、撮影用のレンズまたは複数のレンズの組み合わせで構成される。レンズ部１０は、被写体からの光を集光し、撮像部２０の撮像面に結像させる。
撮像部２０は、例えば、行列配列された画素が設けられた撮像面を有するＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）などの撮像素子からなる。撮像部２０は、レンズ部１０を介して入射した被写体の光を撮像面で受光し、画素単位で光電変換することで得られた映像信号を信号補正回路３０に供給する。
信号補正回路３０は、撮像部２０にて生成された映像信号に対して各種の補正を行う。信号補正回路３０は、欠陥補正回路３１とフリッカ補正回路３２（輝度補正回路）を有する。欠陥補正回路３１は、撮像部２０において欠陥画素の位置に対応する映像信号の検出及びその映像信号の補正を行う。但し、本技術において、欠陥補正回路３１は必ずしも必要とされるものではない。フリッカ補正回路３２は、電源周波数とフレームレートとの違いに起因して映像信号に発生するフリッカの消去を行う。信号補正回路３０は、補正された映像信号をニー・ガンマ補正回路４０に供給する。
ニー・ガンマ補正回路４０は、信号補正回路３０から供給された映像信号に対してニー補正とガンマ補正を行い、その結果をファインダ出力生成部５０及び本線系信号処理部６０に供給する。
ファインダ出力生成部５０は、ニー・ガンマ補正回路４０より供給された映像信号をファインダ表示用の映像信号に変換し、変換したファインダ表示用の映像信号をファインダ７０に出力する。また、ファインダ出力生成部５０（表示データ生成部）は操作入力部８０を用いてユーザに各種の情報の入力を受け付けるためのＧＵＩ（Graphical User Interface）の表示データを生成し、ファインダ７０、あるいはモニター、あるいは外部に接続されたパーソナルコンピュータのモニターなどに出力することができる。
ファインダ７０は、撮影中の映像や、ストレージに保存された映像データを再生した映像を表示する。また、ファインダ７０はファインダ出力生成部５０によって生成されたＧＵＩの表示データを表示することができる。
本線系信号処理部６０は、ニー・ガンマ補正回路４０より供給された映像信号に対して圧縮符号化、誤り訂正符号化などの処理を行い、図示しないストレージに保存したり、伝送ケーブルを通じて外部機器に伝送したりする。
操作入力部８０は、例えば、ユーザからの各種の撮影条件などの設定情報の入力を受け付ける。
不揮発性メモリ９０（特許請求の範囲の「メモリ」に相当する。）は、例えば、フリッカ補正回路３２において用いられる複数の重み係数のセットなどが格納されたメモリである。
ＣＰＵ１００（特許請求の範囲の「制御回路」に相当する。）は、撮像装置１の全体的な制御を行う制御回路である。
図２は、信号補正回路３０におけるフリッカ補正回路３２の構成を示すブロック図である。
フリッカ補正回路３２は、メモリコントローラ３２１、メモリ３２２および加重加算回路３２３を有する。フリッカ補正回路３２は、次のようにしてＣＰＵ１００より与えられたフリッカ補正条件に基づいて映像信号に対するフリッカ補正を行う。
ＣＰＵ１００は、例えば、撮像装置１に設けられた操作入力部８０を使ってユーザから入力された各種の設定情報に従って信号補正回路３０の各種補正条件等を設定する。ユーザは設定情報の１つとしてフリッカ補正に関する設定情報を入力することができる。フリッカ補正に関する設定情報には、電源周波数と、フレームレートと、フリッカ補正モードを指定するACCUMULATION TYPE（以下「ACM TYPE」と呼ぶ。）がある。
ここで、フリッカ補正に関する設定情報について説明する。
電源周波数には、例えば、50Hz、60Hzなどの選択肢がある。ユーザは撮像装置１を使用する地域に供給される商用電源周波数に合せて電源周波数の設定値を選択すればよい。
フレームレートには、例えば、400fps、480fpsなどの選択肢がある。フレームレートが電源周波数の２倍つまり蛍光管の発光周波数よりも低い場合には、蛍光管の発光周波数でシャッターを駆動させることによってフリッカを消去できる。しかしながら、フレームレートが400fps、480fpsなどのように電源周波数の２倍（蛍光管の発光周波数）よりも高い場合にはシャッターによるフリッカの消去は不可である。そこで、フリッカ補正回路３２による信号処理によってフリッカ補正を行う必要がある。
ACM TYPEは、加重加算回路３２３によるフリッカ補正のための加重加算対象となるM個のフレーム各々に付与する重み係数のセットを指定するための情報である。
ＣＰＵ１００は、操作入力部８０を操作してユーザにより入力された設定情報をもとに重み係数のセットを判定し、加重加算回路３２３に各々の重み係数を設定する。
また、ＣＰＵ１００は、操作入力部８０を操作してユーザにより入力された設定情報をもとにメモリ３２２に保存するフレームの数をメモリコントローラ３２１に設定する。
メモリコントローラ３２１は、ＣＰＵ１００による制御の下、信号補正回路３０内の前段の補正回路によって補正された映像信号をメモリ３２２に保存し、設定されたM個のフレームの映像信号がメモリ３２２に保存されたところでメモリ３２２からそれらM個のフレームの映像信号を読み込み、加重加算回路３２３に供給する。
メモリ３２２は、信号補正回路３０内の前段の補正回路によって補正された映像信号が少なくともMフレーム分保存される記憶領域である。メモリ３２２には、常に新しく入力された少なくともMフレーム分の映像信号が保存される。メモリ３２２に保存されるフレーム数はMより多くてもよい。
加重加算回路３２３は、メモリコントローラ３２１によってメモリ３２２から読み出されて連続して供給されたMフレームの映像信号を入力し、これらのフレームの映像信号に対してＣＰＵ１００によって設定された重み係数を用いた加重加算および平均化を実行してフリッカ補正映像を生成する回路である。
（典型的な第１の加算型フリッカ補正方式とその課題）
ここで、典型的な第１の加算型フリッカ補正方式とその課題について説明する。
典型的な加算型フリッカ補正方式では、連続するMフレームの映像信号を画素毎に加算し、平均化してフリッカ補正映像を生成する加算回路が用いられる。
この加算回路は、加算対象となるフレーム数Mを下記の式から求める。
M＝LCM（電源周波数×2，フレームレート）／（電源周波数×2）
ここで、LCM(Element1, Element2)はElement1とElement2の最小公倍数である。例えば、電源周波数50Hzに対し、フレームレートを"480"とした場合、Mは"24"となる。
加算回路は、M個のフレームの映像信号について、対応する（同じ位置の）画素毎に値を加算し、その加算結果をMの値で割ることによって平均化した値をフリッカ補正映像として得る。
この典型的な加算型フリッカ補正方式によれば、完全にフリッカが消去されたフリッカ補正映像が得られる。しかし、加算対象のフレーム群の中に高速に動く被写体の像（動体像）が存在する場合、最大でM個つまり上記の例では最大24個のフレーム中の動体像の映像成分の加算平均の結果として不自然に大きいモーションブラーが発生する。そのため動画の鑑賞者に違和感が与えるおそれがある。
（典型的な第２の加算型フリッカ補正方式とその課題）
典型的な第２の加算型フリッカ補正方式では、フレームレートを光源周波数（電源周波数×2）で割って得られる値を丸めた整数を加算の対象となるフレーム数Mとする。加算回路は、例えば、電源周波数50Hzに対し、フレームレートを"400"とした場合、Mの値は"4"となる。また、電源周波数50Hzに対し、フレームレートを"480"とした場合、Mの値は丸め処理によって"5"となる。
この第２の加算型フリッカ補正方式では、フリッカを完全には消去できないまでも、モーションブラーの量を上記の典型的な第１の加算型フリッカ補正方式に比べ小さくすることができ、モーションブラーの大きさの違和感を低減できる。
しかしながら、この典型的な第２の加算型フリッカ補正方式によっても、複数のフレームの映像信号の加算平均の結果をフリッカ補正映像として得る以上は動体像全体のブレの程度が均一傾向となるため、やはり見た目の不自然さが残る。
（本実施形態の加重加算型フリッカ補正方式）
本実施形態の撮像装置１において採用された加重加算型フリッカ補正方式は、加重加算対象である連続するM個のフレームの映像信号に対して、M個のフレーム中の各順位のフレームに対して個別に設定された重み係数を掛け、それらの結果を加算平均した結果を、M個のフレーム中の基準フレームの映像信号に対するフリッカ補正結果とする。
ここで、基準フレームは、例えば、フリッカ補正回路３２に連続して供給されたM個のフレームのうち所定順位のフレーム、例えば、最後に供給されたフレームなどである。最後に供給されたフレームを基準フレームとする場合、加重加算対象であるM個の連続フレームとは、この基準フレームと、基準フレームより時間的に前にフリッカ補正回路３２に連続して供給された(M-1)個のフレームのことである。但し、本技術は、これに限定されない。
"M"の値は、フレームレートを光源周波数（電源周波数×2）で割って得られる値を丸めた整数を上限として設定された２以上の整数である。
図３は、本実施形態の撮像装置１による加重加算型フリッカ補正の具体例を示す図である。ここではわかりやすさのために任意のシャッターを切った状態を示してあるが、シャッターが切っているかいないかは本技術と無関係である。
加重加算対象のフレーム数Mを"4"とし、M個の連続フレームにおける各順位のフレームに予め個別に設定された重み係数の値を基準フレームの側から"4"，"3"，"2"，"1"とする。これらの重み係数の値は、ユーザが操作入力部８０を使って予め手入力したものであってよいし、不揮発性メモリ９０に予め格納されたものであってよい。
なお、このようにM個の連続フレームにおける各順位のフレームに対応付けられる複数の重み係数の値のまとまりを、以降「重み係数セット」と呼ぶ。
以上の条件において、加重加算回路３２３は、次のように動作する。
まず、加重加算回路３２３は、基準フレームの映像信号に重み係数"4"を掛けて、基準フレームの加重映像信号を生成する。
加重加算回路３２３は、基準フレームの直前に入力されたフレーム(-1F)の映像信号に重み係数"3"を掛けて、フレーム(-1F)の加重映像信号を生成する。
加重加算回路３２３は、フレーム(-1F)の直前に入力されたフレーム(-2F)の映像信号に重み係数"2"を掛けて、フレーム(-2F)の加重映像信号を生成する。
加重加算回路３２３は、フレーム(-2F)の直前に入力されたフレーム(-3F)の映像信号に重み係数"1"を掛けて、フレーム(-3F)の加重映像信号を生成する。
次に、加重加算回路３２３は、基準フレームの加重映像信号、フレーム(-1F)の加重映像信号、フレーム(-2F)の加重映像信号、およびフレーム(-3F)の加重映像信号について、対応する（同じ位置の）画素毎に値を加算してMフレーム分の加重加算映像信号を生成する。
次に、加重加算回路３２３は、Mフレーム分の加重加算映像信号を、重み係数セットにおける重み係数の合算値で除算する。この結果が基準フレームの映像信号に対するフリッカ補正映像となる。
このような加重加算型フリッカ補正方式によってフリッカ補正を行うことによって、フリッカ補正映像における動体像全体のブレ方が均一傾向となることを防止することができ、より自然な見え方のモーションブラーを得ることができる。
また、M個のフレーム中の各順位のフレームに対して個別に設定された重み係数の値のうち、基準フレームに対して設定された重み係数の値を最大にすることによって、基準フレームの動体像から離れるにつれてかすれ具合が増すより自然なモーションブラーを得ることができる。
ところで、重み係数セットにおける各重み係数の値の差はフリッカ補正映像にフリッカ成分を残す要因ともなる。一方、モーションブラーの見え方は動体像のサイズ、色、速度などの様々な条件によって変わってくる。このため、モーションブラーの見え方だけに着目して重み係数セットにおける各重み係数の値を選定すると、場合によっては、フリッカ補正された映像に目立つフリッカが残ってしまう可能性がある。
そこで、本実施形態の撮像装置１では、モーションブラーの見え方とフリッカ消去効果の両面から最良の重み係数セットをユーザが選択できるようにしている。
（フリッカ補正モード（ACM TYPE）の選択）
図４は、撮像装置１の不揮発性メモリ９０に格納された重み係数セットを示す図である。
この例では、"1"から"3"までの３種類のACM TYPEとによって重み係数セットが選択できるようになっている。
なお、図４において、重み係数の値が"0"のフレームは、映像信号に"0"が掛けられることによって結果的に加重加算対象ではなくなる。加重加算の対象となるフレーム数Mの上限とは、この意味で使われている。
図４では、電源周波数とフレームレートとの１つの組み合わせに対し、"1"から"3"までのACM TYPEによって計３種類の重み係数セットが選択できるものとしたが、さらに多くの種類の重み係数セットが用意されてもよい。
なお、重み係数セットにおける各々の重み係数の値は、電源周波数とフレームレートとの組み合わせ毎に決められるものである。
個々の重み係数セットにおいて、基準フレームに割り当てられる重み係数の値は最大値とされる。基準フレーム以外の(M-1)個のフレームの重み係数の値は、基準フレームから時間的に離れたフレームの重み係数の値が、そのフレームよりも基準フレームに時間的に近いフレームの重み係数の値よりも大きくならないように決められる。言い換えれば、所定順位のフレーム以外の(M-1)個のフレーム中の所定順位のフレームからの距離が互いに異なる複数のフレームについて、距離が相対的に長いフレームに設定された重み係数の値は距離が相対的に短いフレームに設定された重み係数の値以下に設定されている。これにより、基準フレームから時間的により離れたフレーム中の動体像成分によるフリッカ補正映像への影響度を抑制することができ、より自然な見た目のモーションブラーを得ることができる。
また、ACM TYPEによって選択される複数の種類の重み係数セットにおいて、ACM TYPEが"1"の重み係数セットは、フリッカ補正の強度つまりモーションブラーの見え方に影響を与える強度が最も高く、ACM TYPEが"2"、"3"になるにつれて強度が次第に低くなるように、重み係数セット内の重み係数の値が設定されている。
なお、ACM TYPEにより選択される重み係数セットの１つに、重み係数の値が同一のものが存在してもかまわない。この重み係数セットが選択された場合には上記の典型的な第２の加算型フリッカ補正方式によるフリッカ補正が行われることになる。
ユーザは、例えば、撮像装置１に設けられた操作入力部８０などを操作することによって、電源周波数、フレームレートおよびACM TYPEを選択することができる。図５は、例えば、ファインダ７０に表示されるフリッカ補正条件設定画面の例を示す図である。この例は、フリッカ補正条件として、電源周波数"60Hz"、フレームレート"400fps"、ACM TYPE"1"が設定された場合を示している。
操作入力部８０を用いてユーザによって選択された電源周波数、フレームレートおよびACM TYPEはＣＰＵ１００に与えられる。ＣＰＵ１００は不揮発性メモリ９０から、上記与えられた電源周波数、フレームレートおよびACM TYPEの組み合わせに対応する重み係数セットを参照して、その重み係数セットにおける各順位のフレーム毎の重み係数の値を加重加算回路３２３に設定する。これにより、加重加算回路３２３は、入力された連続するM個のフレームの映像信号に対して、設定された重み係数の値による加重加算を用いたフリッカ補正を実行する。
ユーザは、自身で設定したフリッカ補正条件で得られたフリッカ補正映像におけるモーションブラーの見え方とフリッカ消去効果を、例えば、本線出力先のモニターなどの画面を通して確認する。この後、ユーザは操作入力部８０などを操作してACM TYPEのみを変更（例えば、ACM TYPEを"1"から"2"に変更）した次のフリッカ補正条件を設定し、このフリッカ補正条件でフリッカ補正を実行させることによって得られたフリッカ補正映像を確認する。ユーザは、このようにしてACM TYPEの変更とフリッカ補正映像の確認を繰り返し、モーションブラーの表れ方とフリッカ成分の消去の程度が最良のACM TYPEを決定する。
撮像装置１の多くの運用環境では、電源周波数とフレームレートが決められたなかで、ユーザはACM TYPEのみを切り替えて、その都度フリッカ補正映像を確認し、最良のACM TYPEを決定することになる。
ACM TYPEによって選択される複数の種類の重み係数セットにおいて、ACM TYPEが"1"の重み係数セットは、モーションブラーの見え方に影響を与える強度が最も高く、ACM TYPEが"2"、"3"になるにつれて強度が次第に低くなるように、重み係数セット内の重み係数の値が設定されている。そこで、ユーザは、最初にACM TYPEが"1"の重み係数セットを選択することによってモーションブラーの見え方を大きく変えたフリッカ補正映像を確認し、その後、"2"、"3"のACM TYPEを順に選択してフリッカ補正映像を確認することができる。これにより、ユーザはモーションブラーの見え方の変化を段階的に抑えたフリッカ補正映像を順番に確認することができ、最適な重み係数セットを決定する際の混乱が生じにくくなる。
なお、ここではACM TYPEが"1"、"2"、"3"の順に、重み係数セットがモーションブラーの見え方に影響を与える強度が弱くなるように重み係数セット内の重み係数の値が設定されることとしたが、逆に、ACM TYPEが"1"、"2"、"3"の順に、重み係数セットがモーションブラーの見え方に影響を与える強度が強くなるように重み係数セット内の重み係数の値が設定されてもよい。
このように、本実施形態の撮像装置１によれば、モーションブラーの見え方とフリッカ消去効果の両面から最良の重み係数セットを、容易に撮像装置１に設定することができる。
＜変形例１＞
図６は、本技術に係る第１の実施形態の撮像装置１におけるフリッカ補正回路３２Ａの変形例の構成を示すブロック図である。
この変形例のフリッカ補正回路３２Ａは、第１の実施形態の撮像装置１におけるフリッカ補正回路３２の構成に、動き検出回路３２４Ａと重み係数調整回路３２５Ａがさらに付加されたものである。
動き検出回路３２４Ａは、フリッカ補正対象である連続するフレーム間の映像の動きを検出する。動き検出回路３２４Ａは、例えば、加重加算対象であるM個のフレーム間における映像の動きの平均速度や最高速度などの速度情報を検出する。動き検出回路３２４Ａは、例えば、検出した速度情報を重み係数調整回路３２５Ａに供給する。
重み係数調整回路３２５Ａは、ＣＰＵ１００Ａから加重加算回路３２３Ａに設定するために出力された重み係数の各値を、動き検出回路３２４Ａからの速度情報をもとに調整して加重加算回路３２３Ａに設定する。例えば、映像の動きの速度が高いほどモーションブラーは大きくなるので、モーションブラーが過大にならないように、重み係数調整回路３２５Ａは加重加算対象のフレーム数Mを減らしたり、重み係数セットにおける各重み係数の値のバランスを調整したりする。
例えば、図３に示したように、基準フレームの側から"4"，"3"，"2"，"1"の重み係数による加重加算を用いたフリッカ補正が行われる中、動き検出回路３２４Ａによって検出された速度の値が第１の閾値を超えていた場合、重み係数調整回路３２５Ａは、例えば、次のように重み係数セットにおける各重み係数の値を調整する。
図７Ａ、図７Ｂは本変形例による重み係数調整の例を示す図である。
図７Ａに示すように、重み係数調整回路３２５Ａは、基準フレームから最も時間的に離れたフレームに対する重み係数の値を"0"にして、加重加算対象のフレーム数Mを１つ減らす。また、重み係数調整回路３２５Ａは、残る３フレームに対する"4"，"3"，"2"の重み係数の値の差を広げる。例えば"5"，"3"，"1"のようにする。
また、基準フレームの側から"5"，"3"，"1"の重み係数による加重加算を用いたフリッカ補正が行われる中、動き検出回路３２４Ａによって検出された速度の値が第２の閾値（第２の閾値＞第１の閾値）を超えていた場合、重み係数調整回路３２５Ａは、図７Ｂに示すように、例えば、加重加算対象のフレーム数Mをさらに１つ減らす。また、重み係数調整回路３２５Ａは、残る２フレームに対する"5"，"3"の重み係数の値を、例えば"5"，"1"のように調整する。このように、映像の動きの速度に対して適応的に加重加算対象のフレーム数を変更したり、重み係数セットにおける各重み係数の値のバランスを調整することによって、モーションブラーが過大にならないようにし、モーションブラーの見た目を自然なものにすることができる。
以上の動き検出結果に基づく重み係数の値の調整機能は、ユーザがON/OFFを選択できるようにしてもよい。
＜変形例２＞
以上説明した実施形態では、例えば、フリッカ補正回路３２に連続して供給されたM個のフレームのうち、最後に供給されたフレームを基準フレームとして、この基準フレームの映像信号と、その前に供給された連続する(M-1)個のフレームの映像信号の加重加算を用いてフリッカ補正を行うこととした。
本技術は、これに限定されるものではなく、例えば、フリッカ補正回路３２に連続して供給されたM個のフレームのうち、最初に供給されたフレームを基準フレームとして、この基準フレームの映像信号と、その後に供給された連続する(M-1)個のフレームの映像信号の加重加算を用いてフリッカ補正を行うようにしてもよい。
さらには、例えば、フリッカ補正回路３２に連続して供給されたM個のフレームのうち、先頭からN(但し、1<N<M)番目に供給されたフレームを基準フレームとして、この基準フレームの映像信号と、基準フレームの後に供給された連続する(M-N)個のフレームの映像信号と、基準フレームの前に供給された連続する(N-1)個のフレームの映像信号との加重加算を用いてフリッカ補正を行うようにしてもよい。
以上、本技術をフリッカ補正に用いた実施形態を説明したが、本技術は、時間的な輝度変化を有する映像全般の輝度補正処理に同様に応用することができる。
時間的な輝度変化を有する映像には、光源周波数の影響による上記のフリッカの他、撮影時刻がずれた複数の静止画を時間順に連続再生するタイムラブスやハイパーラプス、フラッシュが炊かれた瞬間に輝度が高くなるフラッシュバンドが生じた映像、手振れ補正された映像などがある。本技術は、これら様々な種類の映像の輝度変化による影響を補正する処理に応用することによって、モーションブラーの見え方が自然で、輝度変化の目立たない補正映像が得られる。
本技術は、撮像装置単体で実施されることに限定されるものではなく、撮像装置と、これを制御するコンピュータとで構成されるシステムとしても実施され得る。
なお、本技術は以下のような構成もとることができる。
（１） 連続するM（Mは複数）個のフレームの映像信号に対して、前記M個のフレーム中の各順位のフレームに対して個別に設定された重み係数を掛け、それらの結果を加算平均して、前記M個のフレーム中で所定順位のフレームの補正映像信号を生成する輝度補正回路を具備し、
前記M個のフレーム中の各順位のフレームに対して個別に設定された重み係数の値のうち、前記所定順位のフレームに対して設定された重み係数の値が最大である
映像信号処理装置。
（２）上記（１）の映像信号処理装置であって、
前記所定順位のフレーム以外の(M-1)個のフレーム中の前記所定順位のフレームからの距離が互いに異なる複数のフレームについて、前記距離が相対的に長いフレームに設定された重み係数の値が前記距離が相対的に短いフレームに設定された重み係数の値以下に設定された
映像信号処理装置。
（３）上記（１）または（２）の映像信号処理装置であって、
前記Mは、フレームレートを撮影環境の光源周波数で割って得られる値を丸めた整数を上限として予め設定された値である
映像信号処理装置。
（４）上記（１）ないし（３）のいずれかの映像信号処理装置であって、
前記M個のフレーム中の各順位のフレームに個別に対応付けられるM個の重み係数の値を重み係数セットとして、複数の種類の前記重み係数セットが格納されたメモリと、
前記メモリに格納された複数の種類の重み係数セットの中から１つの重み係数セットの選択をユーザより受け付ける操作入力部と、
前記操作入力部を用いてユーザにより選択された前記重み係数セットのM個の重み係数の値を前記輝度補正回路に設定する制御部と
をさらに具備する映像信号処理装置。
（５）上記（４）の映像信号処理装置であって、
前記メモリに格納された前記複数の種類の重み係数セットを指定する複数の指定情報を、補正の強度の高い順および低い順のいずれか一方の順に表示部の画面に規則的に表示させるための表示データを生成する表示データ生成部
をさらに具備する映像信号処理装置。
（６）上記（１）ないし（５）のいずれかの映像信号処理装置であって、
補正対象の映像信号の動きを検出する動き検出回路と、
前記検出された動きの速度情報をもとに、前記各順位のフレームに対して個別に設定された重み係数の値を調整する重み係数調整回路と
をさらに具備する映像信号処理装置。
１…撮像装置
１０…レンズ部
２０…撮像部
３０…信号補正回路
３１…欠陥補正回路
３２…フリッカ補正回路
４０…ニー・ガンマ補正回路
５０…ファインダ出力生成部
６０…本線系信号処理部
７０…ファインダ
８０…操作入力部
９０…不揮発性メモリ
１００…ＣＰＵ

Claims (8)

  1. 連続するM（Mは複数）個のフレームの映像信号に対して、前記M個のフレーム中の各順位のフレームに対して個別に設定された重み係数を掛け、それらの結果を加算平均して、前記M個のフレーム中で所定順位のフレームの補正映像信号を生成する輝度補正回路を具備し、
    前記M個のフレーム中の各順位のフレームに対して個別に設定された重み係数の値のうち、前記所定順位のフレームに対して設定された重み係数の値が最大であり、前記所定順位のフレーム以外の(M-1)個のフレームの中の少なくとも１つのフレームに対して設定された重み係数の値が前記所定順位のフレームに対して設定された重み係数の値より小さい
    映像信号処理装置。
  2. 請求項１に記載の映像信号処理装置であって、
    前記所定順位のフレーム以外の(M-1)個のフレーム中の前記所定順位のフレームからの距離が互いに異なる複数のフレームについて、前記距離が相対的に長いフレームに設定された重み係数の値が前記距離が相対的に短いフレームに設定された重み係数の値以下に設定された
    映像信号処理装置。
  3. 請求項２に記載の映像信号処理装置であって、
    前記Mは、フレームレートを撮影環境の光源周波数で割って得られる値を丸めた整数を上限として予め設定された値である
    映像信号処理装置。
  4. 請求項３に記載の映像信号処理装置であって、
    前記M個のフレーム中の各順位のフレームに個別に対応付けられるM個の重み係数の値を重み係数セットとして、複数の種類の前記重み係数セットが格納されたメモリと、
    前記メモリに格納された複数の種類の重み係数セットの中から１つの重み係数セットの選択をユーザより受け付ける操作入力部と、
    前記操作入力部を用いてユーザにより選択された前記重み係数セットのM個の重み係数の値を前記輝度補正回路に設定する制御部と
    をさらに具備する映像信号処理装置。
  5. 請求項４に記載の映像信号処理装置であって、
    前記メモリに格納された前記複数の種類の重み係数セットを指定する複数の指定情報を、補正の強度の高い順および低い順のいずれか一方の順に表示部の画面に規則的に表示させるための表示データを生成する表示データ生成部
    をさらに具備する映像信号処理装置。
  6. 請求項５に記載の映像信号処理装置であって、
    補正対象の映像信号の動きを検出する動き検出回路と、
    前記検出された動きの速度情報をもとに、前記各順位のフレームに対して個別に設定された重み係数の値を調整する重み係数調整回路と
    をさらに具備する映像信号処理装置。
  7. 連続するM（Mは複数）個のフレームの映像信号に対して、前記M個のフレーム中の各順位のフレームに対して個別に設定された重み係数を掛け、それらの結果を加算平均して、前記M個のフレーム中で所定順位のフレームの補正映像信号を生成する方法であって、
    前記M個のフレーム中の各順位のフレームに対して個別に設定された重み係数の値のうち、前記所定順位のフレームに対して設定された重み係数の値が最大であり、前記所定順位のフレーム以外の(M-1)個のフレームの中の少なくとも１つのフレームに対して設定された重み係数の値が前記所定順位のフレームに対して設定された重み係数の値より小さい
    映像信号処理方法。
  8. 連続するM（Mは複数）個のフレームの映像信号に対して、前記M個のフレーム中の各順位のフレームに対して個別に設定された重み係数を掛け、それらの結果を加算平均して、前記M個のフレーム中で所定順位のフレームの補正映像信号を生成する輝度補正回路としてコンピュータを機能させるプログラムであって、
    前記M個のフレーム中の各順位のフレームに対して個別に設定された重み係数の値のうち、前記所定順位のフレームに対して設定された重み係数の値を最大とした
    プログラム。
JP2017545078A 2015-10-15 2016-08-30 映像信号処理装置、映像信号処理方法およびプログラム Pending JPWO2017064829A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015203660 2015-10-15
JP2015203660 2015-10-15
PCT/JP2016/003957 WO2017064829A1 (ja) 2015-10-15 2016-08-30 映像信号処理装置、映像信号処理方法およびプログラム

Publications (1)

Publication Number Publication Date
JPWO2017064829A1 true JPWO2017064829A1 (ja) 2018-08-02

Family

ID=58517177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017545078A Pending JPWO2017064829A1 (ja) 2015-10-15 2016-08-30 映像信号処理装置、映像信号処理方法およびプログラム

Country Status (4)

Country Link
US (1) US10412336B2 (ja)
JP (1) JPWO2017064829A1 (ja)
CN (1) CN108141546A (ja)
WO (1) WO2017064829A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107848465B (zh) * 2015-05-06 2021-06-01 麦格纳镜片美国有限公司 具有盲区显示和警示系统的车辆视觉系统
CN109040526B (zh) * 2018-07-06 2021-01-05 思特威(上海)电子科技有限公司 基于片内多帧合成的led闪烁消除的系统及方法
CN110381276B (zh) * 2019-05-06 2021-08-13 华为技术有限公司 一种视频拍摄方法及电子设备
JP2021111892A (ja) * 2020-01-14 2021-08-02 ソニーセミコンダクタソリューションズ株式会社 画像生成装置、画像生成方法
CN113255411A (zh) * 2020-02-13 2021-08-13 北京百度网讯科技有限公司 目标检测方法、装置、电子设备及存储介质
CN113115109B (zh) * 2021-04-16 2023-07-28 深圳市帧彩影视科技有限公司 视频处理方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009135792A (ja) * 2007-11-30 2009-06-18 Olympus Imaging Corp 撮像装置および画像信号処理方法
WO2015119207A1 (ja) * 2014-02-07 2015-08-13 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2119220A1 (en) * 2007-03-05 2009-11-18 NEC Electronics Corporation Imaging apparatus and flicker detection method
JP4626689B2 (ja) * 2008-08-26 2011-02-09 ソニー株式会社 撮像装置、補正回路および補正方法
JP5306061B2 (ja) * 2009-06-01 2013-10-02 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP5644451B2 (ja) * 2010-05-25 2014-12-24 株式会社リコー 画像処理装置および画像処理方法、ならびに、撮像装置
US8879695B2 (en) * 2010-08-06 2014-11-04 At&T Intellectual Property I, L.P. System and method for selective voicemail transcription
WO2013031575A1 (ja) * 2011-08-31 2013-03-07 ソニー株式会社 画像処理装置および画像処理方法
EA016450B1 (ru) * 2011-09-30 2012-05-30 Закрытое Акционерное Общество "Импульс" Способ коррекции яркости дефектных пикселей цифрового монохромного изображения
CN104079908B (zh) * 2014-07-11 2015-12-02 上海富瀚微电子股份有限公司 红外与可见光图像信号处理方法及其实现装置
JP6460829B2 (ja) * 2015-02-20 2019-01-30 キヤノン株式会社 撮像装置、電子機器及び光量変化特性の算出方法
JP6175587B2 (ja) * 2015-03-02 2017-08-02 富士フイルム株式会社 撮像装置、フリッカ検出方法、及びフリッカ検出プログラム
JP6491545B2 (ja) * 2015-06-12 2019-03-27 キヤノン株式会社 画像処理装置、放射線撮影装置、画像処理方法、プログラム、および記憶媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009135792A (ja) * 2007-11-30 2009-06-18 Olympus Imaging Corp 撮像装置および画像信号処理方法
WO2015119207A1 (ja) * 2014-02-07 2015-08-13 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体

Also Published As

Publication number Publication date
US10412336B2 (en) 2019-09-10
US20180262710A1 (en) 2018-09-13
WO2017064829A1 (ja) 2017-04-20
CN108141546A (zh) 2018-06-08

Similar Documents

Publication Publication Date Title
WO2017064829A1 (ja) 映像信号処理装置、映像信号処理方法およびプログラム
CN108200354B (zh) 控制方法及装置、成像设备、计算机设备及可读存储介质
US9646397B2 (en) Image processing apparatus and image processing method
JP5665388B2 (ja) 画像処理装置及びその制御方法
JP4483744B2 (ja) 撮像装置及び撮像制御方法
EP1770983B1 (en) Imaging apparatus and image processor
US8970727B2 (en) Image processing apparatus, image taking apparatus, image processing method and image processing program having movement determination
JP6478499B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2006140995A (ja) 適応コントラスト向上
JP2014050042A (ja) 画像処理装置及び固体撮像装置
JP4333163B2 (ja) 画像処理装置および画像表示装置、並びに画像処理方法
JP5975642B2 (ja) 画像処理装置、画像処理方法及び撮像装置
WO2018079390A1 (ja) 映像信号処理装置、撮像装置、撮像装置におけるフリッカ確認方法およびサーバ
JP5480025B2 (ja) 撮像装置、撮像システム、撮像方法
JP6045896B2 (ja) 評価値算出装置および評価値算出方法
JP2019168501A (ja) 表示制御装置および表示制御方法
JP2018207413A (ja) 撮像装置
KR20230175155A (ko) 영상 처리 장치 및 방법
JP5365881B2 (ja) 画像処理装置、画像処理方法
JP6582994B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5820213B2 (ja) 画像処理装置及びその方法、撮像装置
JP2005159693A (ja) 画像処理装置
JP5754929B2 (ja) 画像処理装置及び画像処理方法
WO2010103798A1 (en) Display control apparatus and display control method
JP5451495B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190830

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200512

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201104