JP6582994B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

映像コンテンツの中には、視聴者にめまいや吐き気などの症状を伴う光過敏性発作を発症させるものがある。光過敏性発作は、視覚に飛び込んだ光刺激に対する異常反応であり、痙攣や意識障害などの癲癇に似た症状を伴う。

このような影響が視聴者に及ぶことを防ぐために、人体に影響を与える映像コンテンツの配信の抑制が社会的に試みられている。例えば、国際電気通信連合（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ；ＩＴＵ）は、映像コンテンツ製作者に対し映像コンテンツは光過敏性発作を発生させる危険性があることを周知するよう映像配信組織に勧告している（非特許文献１）。また、日本においては、日本放送協会と日本民間放送連盟が、特にアニメ―ションの製作に関しガイドラインを制定し、放送に携わるものに遵守するよう求めている（非特許文献２）。

しかし、報道映像のような速報性が求められる映像コンテンツを生放送で放送する際に、人体に影響を与える映像コンテンツの配信自体を抑制することが困難な場合がある。このため現状では、撮影環境が光過敏性発作を誘発する可能性のある多くの明滅（例えば、大きく輝度が変化する一般閃光）や、彩度の大きな変化（例えば、赤色閃光）を含んでいる場合、テロップ等で視聴者に注意を喚起する手段がとられている。報道映像において、光過敏性発作を誘発する可能性のある多くの明滅を含む撮影環境の一つに、記者会見等がある。記者会見では、報道カメラマンから撮影時に発せられるフラッシュによる短時間の明領域が繰り返し発生し、映像コンテンツ内に多くの明滅が繰り返されることになる。

これまで、配信を抑止できなかった人体に影響を与える映像コンテンツを自動的に検出し、補正する方法が提案されている。

特許文献１では、液晶ディスプレイにおいて、光過敏性発作を誘起するシーン（画像）を検出し、光過敏性発作を誘起するシーン（画像）に対し、バックライトユニットの輝度を低下させることによって、視聴者への光過敏性発作の影響を未然に防止する。

特許文献２では、第ｎフレーム画像と第（ｎ＋１）フレーム画像のヒストグラム比較結果に基づいて、ガンマ補正またはトーンカーブ補正による第（ｎ＋１）フレーム画像のダイナミックレンジを狭める補正をすることによって、強い明滅（輝度変化）を緩和し、眼精疲労または体調不良を低減させる。

特開２００８−３０１１５０号公報 特開２０１０−０３５１４８号公報

"Ｇｕｉｄａｎｃｅ ｆｏｒ ｔｈｅ ｒｅｄｕｃｔｉｏｎ ｏｆ ｐｈｏｔｏｓｅｎｓｉｔｉｖｅ ｅｐｉｌｅｐｔｉｃ ｓｅｉｚｕｒｅｓ ｃａｕｓｅｄ ｂｙ ｔｅｌｅｖｉｓｉｏｎ"，Ｒｅｃ．ＩＴＵ−Ｒ ＢＴ．１７０２，ＩＴＵ，２００５ "アニメーション等の映像手法に関するガイドライン"，日本放送協会、日本民間放送連盟、１９９８（２００６一部改訂）

しかしながら、関連する技術には、下記の課題がある。

光過敏性発作を誘起する可能性のある明滅（大きな輝度変化）や彩度の大きな変化は、画像全体だけではなく、映像の一部領域に発生する場合がある。関連する手法は、これらの判別を行わず画像全体一律に補正するため、本来補正する必要のない、輝度や彩度が大きく変化していない領域においてコントラストや明度の低下が発生し、その領域の画質が劣化する場合がある。

また、フラッシュ等による明滅の場合には、フラッシュの当てられた領域の画素の一部の色情報がカメラのダイナミックレンジを超えて飽和している場合がある。飽和した画素については、もともとの情報が失われている。このため、そのフレーム画像のみを用いた補正処理のみでは、過度の彩度を持つ画素を発生させる場合や、過少の彩度を持つ画素を発生させる場合があり、色味の変動を抑制することができない。その結果、そのフレーム画像のみを用いた補正処理のみでは、自然な輝度又は彩度の変動の緩和を実現することは困難である。

そこで、本発明の目的は、光過敏性発作を誘起する可能性のある映像に対して、輝度又は彩度の変動が抑制された映像を生成することができる画像処理装置、画像処理方法及びプログラムを提供することにある。

本発明は、輝度又は彩度が相反して変化する映像における注目フレーム画像とその前後のフレーム画像とを比較し、前記注目フレーム画像が前記輝度又は彩度の変動率が所定の閾値を超えた変動領域を含むフレーム画像であるかを判定する判定部を有する。更に、前記注目フレーム画像以外のフレーム画像に基づいて、前記変動領域がない注目フレーム画像である補間フレーム画像を生成するフレーム生成部を有する。更に、前記判定手段の判定結果に基づき、前記注目フレーム画像と前記補間フレーム画像とを合成した出力フレーム画像を生成するフレーム画像合成部と有する画像処理装置である。

本発明は、輝度又は彩度が相反して変化する映像における注目フレーム画像とその前後のフレーム画像とを比較し、前記注目フレーム画像が前記輝度又は彩度の変動率が所定の閾値を超えた変動領域を含むフレーム画像であるかを判定する。更に、前記注目フレーム画像以外のフレーム画像に基づいて、前記変動領域がない注目フレーム画像である補間フレーム画像を生成する。更に、前記判定手段の判定結果に基づき、前記注目フレーム画像と前記補間フレーム画像とを合成した出力フレーム画像を生成する画像処理方法である。

本発明は、輝度又は彩度が相反して変化する映像における注目フレーム画像とその前後のフレーム画像とを比較し、前記注目フレーム画像が前記輝度又は彩度の変動率が所定の閾値を超えた変動領域を含むフレーム画像であるかを判定する。更に、前記注目フレーム画像以外のフレーム画像に基づいて、前記変動領域がない注目フレーム画像である補間フレーム画像を生成する。更に、前記判定手段の判定結果に基づき、前記注目フレーム画像と前記補間フレーム画像とを合成した出力フレーム画像を生成する、ことをコンピュータに実行させるプログラムである。

本発明によれば、光過敏性発作を誘起する可能性のある映像に対して、輝度又は彩度の変動が抑制された映像を生成することができる。

図１は第１の実施の形態における画像処理装置のブロック図である。 図２は矩形領域輝度の算出方式を表す模式図である。 図３は変動領域を含まないフレーム画像の選択方法を表す模式図である。 図４は補正が不安定になる場合を説明するための模式図である。 図５は出力フレーム画像における局所領域輝度の変化率の値の設定方法の一例を示すグラフである。 図６は第１の実施の形態における画像処理装置の動作を示すフローチャートである。 図７は第２の実施の形態における画像処理装置のブロック図である。 図８は第２の実施の形態における画像処理装置の動作を示すフローチャートである。 図９は本発明の第３の実施の形態における画像処理装置のブロック図である。 図１０は第１〜３の実施の形態における画像処理装置をコンピュータ装置で実現したハードウェア構成を示す図である。

本発明の実施の形態について図面を参照して説明する。

（第１の実施の形態）
図１は、本発明による第１の実施の形態における画像処理装置のブロック図である。

第１の実施の形態の画像処理装置は、フラッシュフレーム判定部１１とフレーム補間部１２とフレーム画像合成部１３とを有する。そして、第１の実施の形態の画像処理装置は、あらかじめ設定されたフレーム数２ｍ＋１で構成される時刻（ｔ−ｍ）から時刻（ｔ＋ｍ）までのフレーム画像群を入力する。更に、画像処理装置は、時刻ｔの入力フレーム画像である注目フレーム画像が、光過敏性発作を誘発する可能性のある、フラッシュ等による明滅（輝度の大きな変動）による変動領域を含むフレーム画像であるかを判定する。変動領域が含まれる場合、画像処理装置は、補正処理によって変動領域を適切に抑制することで明滅の影響を低減させた（輝度の変動が抑制された）出力フレーム画像を生成する。尚、以下の説明において、変動領域は、注目フレーム画像において他フレーム画像より大きく明るくなる（輝度が大きくなる）明領域を意味するものとする。

フラッシュフレーム判定部１１は、入力フレーム画像群を入力とし、注目フレーム画像（時刻ｔの入力フレーム画像）が視聴者に影響を与える明滅（輝度の大きな変動）による変動領域を含むフレーム画像であるかを判定する。

注目フレーム画像が変動領域を含むフレームであるかの判別方法の一つに、注目フレーム画像と他の入力フレーム画像との間の局所領域輝度の変化率を用いる方法がある。

局所領域輝度は、入力フレーム画像群の各画素における、画素周辺領域の輝度値を表す。局所領域輝度の算出方法として、まず、入力フレーム画像群の各画素について、ＲＧＢ（Ｒｅｄ−Ｇｒｅｅｎ−Ｂｌｕｅ）などで表記される色情報から明るさを表す輝度情報に変換し、その後、変換された輝度情報に対して、注目画素周辺に対し平滑化処理を施すことで、画素周辺領域の輝度値を算出する方法がある。

色情報から輝度情報への変換方法として、放送用に用いられる表色系であるＹＵＶ（ｌｕｍｉｎａｎｃｅ ｃｏｍｐｏｎｅｎｔ （Ｙ） ａｎｄ ｃｏｌｏｒ ｄｉｆｆｅｒｅｎｃｅ ｃｏｍｐｏｎｅｎｔｓ （Ｕ ａｎｄ Ｖ）），ＹＣｂＣｒ又はＹＰｂＰｒの輝度を表すＹ値を算出する方法や、ＸＹＺ表色系のＹ値を算出する方法がある。ＨＳＶ（Ｈｕｅ−Ｓａｔｕｒａｔｉｏｎ−Ｖａｌｕｅ）表色系のＶ値等、他の輝度を表す指標に変換してもよい。また、入力フレーム画像群が、表示のために予めガンマ補正が施されている場合には、輝度情報への変換の前に、逆ガンマ補正により正しい色情報に変換してもよい。

平滑化処理の方式として、注目画素周辺（ｘ＋ｉ，ｙ＋ｊ）と、その上と下それぞれｑ画素分、その左と右それぞれｐ画素分で表される画素領域（２ｐ＋１）＊（２ｑ＋１）で平均値を取る方法がある。この場合、注目フレーム画像（時刻ｔの入力フレーム画像）の画素位置（ｘ，ｙ）における局所領域輝度ｌ_ｔ（ｘ，ｙ）は、注目フレーム画像（時刻ｔの入力フレーム画像）の輝度情報Ｙ_ｔを用いて、式（１）のように表すことができる。

また、式（２）のように、あらかじめ設定された重みｗを用いた重み付き平均を用いてもよい。

重みの設定方法として、設定されたパラメタσを用いて式（３）で算出されるガウシアン重みを用いる方法がある。

局所領域輝度の変化率は、注目フレーム画像の画素と、同位置の他の入力フレーム画像の画素との間の局所領域輝度の変動比率を表す。画素位置（ｘ，ｙ）における時刻ｔにおける入力フレームである注目フレームと入力フレーム群内の時刻（ｔ＋ｋ）のフレームの局所領域輝度変動比率ｒ_{ｔ−ｔ＋ｋ} （ｘ，ｙ）は、式（４）のように算出される。

フラッシュフレーム判定部１１は、局所領域輝度変動比率をもとに、注目フレーム画像に他フレーム画像より大きく明るくなる領域が含まれているかどうかを判定する。その結果、注目フレーム画像が、時間的に前後にある他フレーム画像と比較して、大きく明るくなる（輝度が大きくなる）領域が含まれている場合には、注目フレーム画像は明滅（輝度の大きな変化）による変動領域を含むフレーム画像であると判定される。

注目フレーム画像（時刻ｔの入力フレーム画像）が入力フレーム画像群内の時刻（ｔ＋ｋ）のフレーム画像より大きく明るくなる領域があるか否かの判定には、予め設定した輝度変動率の閾値αと面積率β（表示領域のうち光の明滅が発生する面積の割合）を用いる。これは、閾値αを超える局所領域輝度変動比率ｒ_{ｔ−ｔ＋ｋ}が面積率βを超えるか否かによって判定する方法である。この方法では、例えば、日本放送協会と日本民間放送連盟によるガイドラインの基準の一つである、「点滅が同時に起こる面積が画面１／４を超え、かつ、輝度変化が１０％以上」であるかを検知するためには、α＝０．１、β＝０．２５を設定すればよい。

フラッシュフレーム判定部１１は、注目フレーム画像（時刻ｔの入力フレーム画像）が入力フレーム画像群内の時刻（ｔ＋ｋ）のフレームより大きく明るくなる領域があると判定された場合、判定フラグｆｌａｇ_{ｔ−ｔ＋ｋ}を１とする。そうでない場合には、フラッシュフレーム判定部１１は、判定フラグｆｌａｇ_{ｔ−ｔ＋ｋ}を０とする。そして、注目フレーム画像と他の所定の入力フレーム画像との組み合わせにおいて、判定フラグを算出し、注目フレーム画像の前後時刻それぞれに判定フラグが１となるフレーム画像が存在する場合、注目フレーム画像が光の明滅による変動領域を含むフレーム画像であると判定する。

フラッシュフレーム判定部１１は、注目フレーム画像が光の明滅による変動領域を含むフレーム画像であるか判別する別の方法として、矩形領域輝度の変動比率を用いる方法を利用してもよい。矩形領域輝度は、各フレーム画像におけるあらかじめ指定された矩形領域毎の平均輝度値を表す。例えば、１０×１０ブロックの矩形領域での矩形領域輝度は、図２のように、入力フレーム画像を１０×１０ブロックの矩形領域に分割し、それぞれの領域について平均輝度値を表す。輝度値の指標は、局所領域輝度算出と同様に、ＹＵＶ表色系のＹ値、ＸＹＺ表色系のＹ値、ＨＳＶ表色系のＶ値等を用いる。

矩形領域輝度の変動比率は、注目フレーム画像の注目ブロックの矩形領域輝度と、同位置の他の入力フレーム画像のブロックの矩形領域輝度の変動比率を表す。ブロック位置（ｉ，ｊ）における時刻ｔにおける注目フレームの矩形領域輝度Ｌ_ｔ（ｉ，ｊ）と入力フレーム群内の時刻（ｔ＋ｋ）のフレームの矩形領域輝度Ｌ_ｔ＋ｋ（ｉ，ｊ）の変動比率Ｒ_{ｔ−ｔ＋ｋ}（ｉ，ｊ）は、式（５）のように算出される。

矩形領域輝度変動比率を用いた判定は、局所領域輝度変動比率を用いた判定と同様に、時刻ｔにおける注目フレーム画像と他の所定の入力フレーム画像との組み合わせにおいて、注目フレーム画像に他フレーム画像より大きく明るくなる領域が含まれているか判定する。判定フラグの値を設定しておき、注目フレーム画像の前後時刻それぞれに判定フラグが１となるフレーム画像が存在する場合、注目フレームが光の明滅による変動領域を含むフレーム画像であると判定する。

判定フラグの値の設定方法に、局所輝度変動率を用いる場合と同様に、あらかじめ設定した輝度変動率の閾値αと面積率βを用いて、閾値αを超える矩形領域輝度変動比率が面積率βを超えるか否かによって、１または０を設定する方法がある。

フラッシュフレーム判定部１１は、フラッシュ判定結果として解析情報を出力する。その解析情報には、注目フレーム画像と他の入力フレーム画像間との判定フラグが含まれる。また、フラッシュフレーム判定部１１は、解析情報と同様に、注目フレーム画像以外の入力フレーム画像間同士での判定フラグを算出できる。算出された判定フラグを補助情報として、解析情報と共に出力してもよい。

フレーム補間部１２は、注目フレーム画像以外の入力フレーム画像群とフラッシュフレーム判定部１１から出力された解析情報を入力する。注目フレーム画像が光の明滅による変動領域を含むフレーム画像と判定された場合に、フレーム補間部１２は、注目フレーム画像以外の入力フレーム画像群をもとに、光の明滅による変動領域がない注目フレーム画像を生成し、補間フレーム画像として出力する。

フレーム補間部１２は、まず、補間フレーム画像生成のために利用するフレーム画像を選択し、それらを合成することによって、補間フレーム画像を生成する。

フレーム画像の選択方法として、注目フレーム画像に最も近接する前後それぞれの光の明滅による変動領域を含まないフレーム画像を選択方法がある。具体的な選択方法として、フラッシュフレーム判定部１１で算出された判定フラグを用いる方法がある。この方法では、判定フラグが１となるフレーム画像のうち、注目フレーム画像に最も近い前後それぞれのフレームが選択される。例えば、図３に示す変動領域を含む時刻ｔのフレーム画像に対して、ｃａｓｅ１の場合は、時刻（ｔ−１）と時刻（ｔ＋１）のフレーム画像、ｃａｓｅ２の場合は、時刻（ｔ−２）と時刻（ｔ＋１）のフレーム画像、ｃａｓｅ３の場合は、時刻（ｔ−１）と時刻（ｔ＋２）のフレーム画像、ｃａｓｅ４の場合は、時刻（ｔ−２）と時刻（ｔ＋２）のフレーム画像が選択される。

また、利用フレーム画像の選択は、入力された補助情報である注目フレーム画像以外の入力フレーム画像間同士での判定フラグを用いて修正してもよい。修正は、例えば、注目フレーム画像と他フレーム画像との判定フラグを用いた選択で利用フレームとして、時刻（ｔ＋ｋ）のフレーム画像が選択された場合を想定する。注目フレーム画像（時刻ｔの入力フレーム画像）と時刻（ｔ＋ｋ＋１）のフレーム画像の判定フラグｆｌａｇ_{ｔ−ｔ＋ｋ}および時刻（ｔ＋ｋ＋１）のフレーム画像と時刻（ｔ＋ｋ）のフレーム画像の判定フラグｆｌａｇ_{ｔ＋ｋ＋１−ｔ＋ｋ}の値が共に１の場合がある。このとき、時刻（ｔ＋ｋ＋１）のフレーム画像と時刻（ｔ＋ｋ）のフレーム画像との間にも大きな輝度変化があると考えられるため、選択フレーム画像が時刻（ｔ＋ｋ＋１）に変更される。

選択された前後時刻のフレーム画像から補間フレーム画像を生成する方式として次の方式がある。選択されたフレーム画像が時刻（ｔ＋ｅ）と時刻（ｔ−ｆ）の場合、時刻ｔにおける補間フレーム画像Ｉ_ｅｓ−ｔを生成する方法の一つに、時刻（ｔ＋ｅ）の入力フレーム画像Ｉ_ｔ＋ｅと時刻（ｔ−ｆ）の入力フレーム画像Ｉ_ｔ−ｆを用いて、式（６）のように算出する。

また、補間フレーム画像を生成する別の方式として、入力フレーム画像Ｉ_ｔ＋ｅとＩ_ｔ−ｆの各画素の動きベクトルを推定し、動き補償補間により、補間フレーム画像Ｉ_ｅｓ−ｔを生成する方法を用いてもよい。

また、フレーム補間部１２は、入力フレーム画像群が時刻（ｔ−ｍ）から時刻（ｔ＋ｍ）の（２ｍ＋１）フレームである場合、選択されたフレーム画像の時間的距離がｍを超える場合、補正が不安定になるため、補間フレーム画像の生成処理を打ち切る機構を設けてもいい。図４は、補正が不安定になる理由を説明するための模式図である。模式図では、時刻（ｔ−２）から時刻（ｔ＋２）の５フレームを入力フレーム画像群とする場合で、映像シーケンスの中に３フレーム連続する変動領域を含むフレーム画像が含まれている場合を想定している。入力フレーム画像群が図４のｃａｓｅ２の場合、明滅を検知し補正することが可能であるが、ｃａｓｅ１およびｃａｓｅ３の場合には、明滅を検知することはできないため、補正処理を実行することができない。そのため、補正の結果、３フレームで１度の明滅が、１フレームの２度の明滅になり、フラッシュ低減の効果を得ることはできない。このような状況が発生するのは、入力フレーム画像群が時刻（ｔ−ｍ）から時刻（ｔ＋ｍ）の（２ｍ＋１）フレームであるとき、選択されたフレーム画像の時間的距離がｍを超える場合であり、このような場合には、効果を得ることはできないため処理を打ち切ってもよい。その際には、フレーム補間部１２の出力として、補間フレーム画像生成を打ち切ったとの情報を出力する。

フレーム画像合成部１３は、注目フレーム画像（時刻ｔの入力フレーム画像）における輝度変動の判定結果に基づき、注目フレーム画像と補間フレーム画像とを合成し、フラッシュ等による明滅を抑制した出力フレーム画像を生成し出力する。判定結果は、時刻ｔの注目フレーム画像における判定フラグが使われる。すなわち、フレーム画像合成部１３は、判定フラグが０の場合は、入力された注目フレーム画像（時刻ｔの入力フレーム画像）を出力フレーム画像として出力し、判定フラグが１の場合は、注目フレーム画像と補間フレーム画像を合成して出力フレーム画像として出力する。

フレーム画像合成部１３は、注目フレーム画像が光の明滅による変動領域が含まれた画像であると判別され、かつ、補間フレーム画像が生成された場合に、各画素における合成比率を算出し、合成処理により出力画像を生成する。その他の場合には、フレーム画像合成部１３は、入力された注目フレーム画像を出力画像とする。画素位置（ｘ，ｙ）の注目画素における合成比率ｕ（ｘ，ｙ）、時刻ｔにおける補間フレーム画像の値Ｉ_ｔ−ｅｓ（ｘ，ｙ）が与えられたとき、同位置における出力画像の値Ｉ_{ｔ−ｏｕｔ}（ｘ，ｙ）は、式（７）のように算出される。

合成比率の算出方法として、注目フレーム画像と補間フレーム画像との間の局所領域輝度の変化率を用いる方法がある。注目フレーム画像と補間フレーム画像との間の局所領域輝度の変化率ｒ_ｔ−ｅｓは、フラッシュフレーム判定部１１の局所領域輝度の変化率と同様に方式を用いて算出することができる。画素位置（ｘ，ｙ）の注目画素における合成比率ｕ（ｘ，ｙ）は、同位置における局所領域輝度の変化率ｒ_ｔ−ｅｓ（ｘ，ｙ）を、あらかじめ設定されたｒ_ｔ−ｅｓ（ｘ，ｙ）の値に対応した出力フレーム画像における局所領域輝度の変化率の値ｒ_ｔａｒ（ｘ，ｙ）を用いる。これにより、出力フレーム画像における局所領域輝度の変化率がｒ_ｔａｒ（ｘ，ｙ）になるよう、式（８）のように算出することができる。

出力フレーム画像における局所領域輝度の変化率の値ｒ_ｔａｒの設定方法の一例として、図５のグラフのように、ある程度小さい値のｒ_ｔ−ｅｓに対してはｒ_ｔａｒ＝ｒ_ｔ−ｅｓとし、大きな値のｒ_ｔ−ｅｓに対してはｒ_ｔａｒを設定された最大値にし、その値より大きくならないようにする方法がある。

合成比率の算出方法の別の方法として、矩形領域輝度の変化率を用いる方法もある。具体的には、フラッシュフレーム判定部１１と同様の方式を用いて算出された矩形領域輝度の変化率Ｒ_ｔ−ｅｓと予め設定されたＲ_ｔ−ｅｓの値に対応する出力画像の矩形領域輝度の変化率から矩形領域毎の合成比率Ｕを算出する。算出された矩形領域毎の合成比率βから線形補間や双三次補間を用いて、画素毎の合成比率ｕを求めることができる。

次に、図１および図６のフローチャートを参照して、本実施の形態の動作を説明する。

フラッシュフレーム判定部１１は、時刻ｔの注目フレーム画像が、光過敏性発作を誘発する可能性のある、フラッシュ等による光の明滅による変動領域を含むフレーム画像であるかを判定する（Ｓ１１）。

フレーム補間部１２は、注目フレーム画像（時刻ｔの入力フレーム画像）における輝度変動の判定結果である解析情報に基づき、注目フレーム以外の入力フレーム画像群をもとに、注目フレーム画像に最も近接する前後それぞれの光の明滅による変動領域を含まないフレーム画像を選択する。すなわち、フレーム補間部１２は、フラッシュフレーム判定部１１からの解析情報を受付け、解析情報の判定フラグが１となる入力フレーム画像のうち、注目フレーム画像に最も近い前後それぞれの入力フレーム画像を選択する。更に、フレーム補間部１２は、選択された前後時刻のフレーム画像を光の明滅による変動領域がない注目フレーム画像として、補間フレーム画像を生成する（Ｓ１２）。

フレーム画像合成部１３は、フラッシュフレーム判定部１１から解析情報を含む判定結果を受付ける。続いて、フレーム画像合成部１３は、注目フレーム画像（時刻ｔの入力フレーム画像）における輝度変動の判定結果に基づき、時刻ｔの入力フレーム画像である注目フレーム画像と補間フレーム画像とを合成し、フラッシュ等による明滅を抑制した出力画像を生成し出力する（Ｓ１３）。すなわち、判定フラグが０の場合は、入力された注目フレーム画像（時刻ｔの入力フレーム画像）を出力フレーム画像として出力し、判定フラグが１の場合は、注目フレーム画像と補間フレーム画像を合成して出力フレーム画像として出力する。

第１の実施の形態の効果は、光過敏性発作を誘起する可能性のある、大きな輝度変化を含む映像に対して、輝度の変動が抑制された映像を生成することができる。その理由は、注目フレーム画像について、他のフレーム画像から推定される輝度変化のないフレーム画像を、画素毎に合成重みを変化させながら合成することで、主として大きな輝度変化のある領域を補正し、かつ白とび等で失われた情報を復元できるからである。

尚、上述した実施の形態では、変動領域が注目フレーム画像において他フレーム画像より大きく明るくなる（輝度が大きくなる）明領域の例を説明したが、これに限られるものではない。例えば、上述した実施の形態では、変動領域が注目フレーム画像において他フレーム画像より大きく暗くなる（輝度が小さく）暗領域である場合も、同様に適用することができる。

更に、上述した実施の形態では、輝度の変動、すなわち、一般閃光についての例を説明したが、赤色閃光等の彩度の変動についても同様に適用することができる。

（第２の実施の形態）
図７は、本発明による第２の実施の形態における画像処理装置のブロック図である。

第２の実施の形態の画像処理装置は、フラッシュフレーム判定部２１とフレーム補間部２２とフレーム画像合成部２３とを有する。本発明による第１の実施の形態の画像処理装置と同様に、あらかじめ設定されたフレーム数ｍで構成される時刻（ｔ−ｍ）から時刻（ｔ＋ｍ）までのフレーム画像群を入力とし、明滅の影響を低減させた出力フレーム画像を生成する。

第１の実施の形態の画像処理装置では、フレーム画像合成部１３において合成比率を算出する際に、注目フレーム画像と補間フレーム画像との間の局所領域輝度の変動率や矩形領域輝度の変動比率を算出する必要があり、比較的処理量が大きくなる。本発明による第２の実施の形態の画像処理装置は、入力フレーム画像間での局所領域輝度の変動率や矩形領域輝度の変動比率をもとに、注目フレーム画像と補間フレーム画像との間の局所領域輝度の変動率や矩形領域輝度の変動比率を補間することで、これらを算出するための計算量を抑制する。

フラッシュフレーム判定部２１は、第１の実施の形態におけるフラッシュフレーム判定部１１と同様に、入力フレーム画像群を入力とし、時刻ｔの注目フレーム画像が視聴者に危害を及ぼす明滅による変動領域を含むフレーム画像であるかの判定を行う。フラッシュフレーム判定部２１は、第１の実施の形態におけるフラッシュフレーム判定部１１と比較して、局所領域輝度変動比率や矩形領域輝度変動比率の算出方式と、算出された局所領域輝度変動比率や矩形領域輝度変動比率を出力する点のみで異なる。

フラッシュフレーム判定部２１は、フラッシュフレーム判定に局所領域輝度変動比率を用いる場合、画素位置（ｘ，ｙ）における時刻ｔにおける注目フレーム画像と入力フレーム画像群内の時刻（ｔ＋ｋ）のフレーム画像の局所領域輝度変動比率ｒ’_{ｔ−ｔ＋ｋ}（ｘ，ｙ）を式（９）のように算出する。式（９）の算出式は、式（４）の算出式と比較して、分母が注目フレーム画像の局所領域輝度を用いている点で異なる。

同様に、フラッシュフレーム判定に矩形領域輝度変動比率を用いる場合には、ブロック位置（ｉ，ｊ）における時刻ｔにおける注目フレームの矩形領域輝度と入力フレーム群内の時刻（ｔ＋ｋ）のフレームの矩形領域輝度の変動比率Ｒ’_{ｔ−ｔ＋ｋ}（ｉ，ｊ）は、式（１０）のように算出される。

第１の実施の形態におけるフラッシュフレーム判定部１１では、輝度変動率の閾値としてαを設定している。第２の実施の形態で、同一の判定を実施するためには、フラッシュフレーム判定部２１における輝度変動率の閾値α’を式（１１）のように設定すればよい。

フレーム補間部２２は、第１の実施の形態のフレーム補間部１２と同様の機能を有する。フレーム補間部２２は、光の明滅による変動領域がない注目フレーム画像を生成すると同時に、入力された領域輝度変動率をもとに、注目フレーム画像と生成された補間フレーム画像との間の領域輝度の変動率を生成し、補間領域輝度変動率として出力する。フレーム補間部２２は、フラッシュフレーム判定に局所領域輝度変動率が用いられた場合、注目フレーム画像と生成された補間フレーム画像との間の局所領域輝度変動率ｒ_ｔ−ｅｓを算出する。また、フレーム補間部２２は、フラッシュフレーム判定に矩形領域輝度変動率が用いられた場合、注目フレーム画像と生成された補間フレーム画像との間の矩形領域輝度変動率Ｒ_ｔ−ｅｓを算出する。

フレーム補間部２２は、フラッシュフレーム判定部２１から解析情報を受付ける。フレーム補間部２２は、フレーム補間部１２と同様に、注目フレーム画像（時刻ｔの入力フレーム画像）における輝度変動の判定結果である解析情報に基づき、注目フレーム画像に最も近接する前後それぞれの光の明滅による変動領域を含まない注目フレーム画像として、補間フレーム画像を生成する。すなわち、フレーム補間部２２は、解析情報の判定フラグが１となる入力フレーム画像のうち、注目フレーム画像に最も近い前後それぞれの入力フレーム画像を選択する。更に、フレーム補間部２２は、選択された前後時刻のフレーム画像を光の明滅による変動領域がない注目フレーム画像として、補間フレーム画像を生成する。さらに、フレーム補間部２２は、補間フレーム画像と同様の処理にて、入力された領域輝度変動率を合成し、合成領域輝度変動率を算出する。例えば、フラッシュフレーム判定に局所領域輝度変動率が用いられており、補間フレーム画像算出に式（６）が用いられている場合、画素位置（ｘ，ｙ）における合成局所領域輝度変動率ｒ’_ｔ−ｅｓは、式（１２）のように算出される。また、フラッシュフレーム判定に局所領域輝度変動率が用いられている場合には、ブロック位置（ｉ，ｊ）における合成矩形領域輝度変動率Ｒ’_ｔ−ｅｓは、式（１３）のように算出される。そして、フレーム補間部２２は、式（１４）または式（１５）の算出式によって、出力されるべき補間領域輝度変動率を算出する。

フレーム画像合成部２３は、フラッシュフレーム判定部２１から判定結果を受付ける。フレーム画像合成部２３は、第１の実施の形態のフレーム画像合成部１３と同様に、注目フレーム画像の判定結果に含まれる解析情報に基づき、注目フレーム画像と補間フレーム画像とを合成し、フラッシュ等による明滅を抑制した出力画像を生成し出力する。フレーム画像合成部２３は、第１の実施の形態のフレーム画像合成部１３と比較して、注目フレーム画像と補間フレーム画像との合成重み算出に、フレーム補間部２２で算出された補間領域輝度変動率を用いる点で異なる。

次に、図７および図８のフローチャートを参照して、本実施の形態の動作を説明する。

フラッシュフレーム判定部２１は、時刻ｔの注目フレーム画像が、光過敏性発作を誘発する可能性のある、フラッシュ等による光の明滅による変動領域を含むフレーム画像であるかを、領域輝度変動率に基づいて判定する（Ｓ２１）。

フレーム補間部２２は、注目フレーム以外の入力フレーム画像群をもとに、光の明滅による変動領域がない注目フレーム画像である補間フレーム画像を生成する（Ｓ２２）。

フレーム補間部２２は、注目フレーム画像と補間フレーム画像との間の領域輝度変動率を算出する（Ｓ２３）。

フレーム画像合成部２３は、注目フレーム画像と補間フレーム画像とを合成し、フラッシュ等による明滅を抑制した出力画像を生成し出力する（Ｓ２４）。

（第３の実施の形態）
図９は、本発明の第３の実施の形態における画像処理装置のブロック図である。

第３の実施の形態の画像処理装置は、取得部３０と補正部３１とを有する。

取得部３０は、映像の時間方向の輝度の変化率と、フレーム画像の全領域における所定の割合とを取得する。ここで、時間方向の輝度の変化率は、例えば、上述した輝度変動率の閾値αである。また、フレーム画像の全領域における所定の割合は、例えば、上述した面積率βであり、フレーム画像全体に占める光の明滅が発生する面積の割合である。更に、具体的には、日本放送協会と日本民間放送連盟によるガイドラインの基準に基づけば、α＝０．１、β＝０．２５である。取得部３０は、これらの値を外部から取得し、保持しておく。

補正部３１は、上述した割合で変化率を上回る輝度の変化がある映像を入力し、映像をなす各フレーム間における割合又は輝度の変化率が、取得した輝度の変化率又は変化率を下回るように、映像をなす少なくとも一部のフレームの一部の領域の輝度を補正する。具体的には、割合又は輝度の変化率を超えるフレームの領域を特定し、その領域の輝度を、例えば他のフレームの当該領域と同一の位置の領域にある画素の輝度で置き換えることにより、映像全体として、上述した割合で変化率を上回る輝度の変化がない映像を生成する。なお、領域の輝度は、前後フレームの当該領域と同一の位置の領域にある画素の輝度との平均値又は中間値の輝度に置き換えてもよい。

光過敏性発作を誘起する可能性のある明滅は、フレーム全体だけではなく、フレームの一部領域に発生する場合がある。関連するこれまでの手法は、明滅の発生個所の判別は行わずフレーム全体について一律に補正している。本実施の形態における画像処理装置は、本来補正する必要のない、明滅の発生していない領域について、必要以上の補正を行うことを抑制することができる。

本発明による実施の形態は、ハードディスク等に記録されている映像を編集する映像編集システムに適用することができる。また、メモリ上で保持されたフレーム画像群を用いることで、ビデオカメラやディスプレイ端末等にも適用することができる。

また、上述した説明からも明らかなように、各部をハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。この場合、プログラムメモリに格納されているプログラムで動作するプロセッサによって、上述した各実施の形態と同様の機能、動作を実現させる。また、上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することも可能である。
図１０は、第１〜３の実施の形態における画像処理装置をコンピュータ装置で実現したハードウェア構成を示す図である。
図１０に示すように、画像処理装置は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９１、ネットワーク接続用の通信Ｉ／Ｆ（通信インターフェース）９２、メモリ９３、及び、プログラムを格納するハードディスク等の記憶装置９４を含む。また、画像処理装置のＣＰＵ９１は、システムバス９７を介して入力装置９５及び、出力装置９６に接続されている。
ＣＰＵ９１は、オペレーティングシステムを動作させて第１〜３の実施の形態の各機能部を制御する。またＣＰＵ９１は、例えば、ドライブ装置に装着された記録媒体からメモリ９３にプログラムやデータを読み出す。
また、ＣＰＵ９１は、例えば、入力される情報信号を処理する機能を有し、プログラムに基づいて各種機能の処理を実行する。
記憶装置９４は、例えば、光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク、又は半導体メモリ等である。記憶装置９４の一部の記憶媒体は、不揮発性記憶装置であり、そこにプログラムを記憶する。また、プログラムは、通信網に接続されている。図示しない外部コンピュータからダウンロードされてもよい。
入力装置９５は、例えば、マウス、キーボード、内蔵のキーボタン、カード取込口、又は、タッチパネルなどで実現され、入力操作に用いられる。
出力装置９６は、例えば、ディスプレイで実現され、ＣＰＵ９１により処理された情報等を出力して確認するために用いられる。
以上のように、第１〜３の実施の形態は、図１０に示されるハードウェア構成によって実現される。但し、画像処理装置が備える各部の実現手段は、特に限定されない。すなわち、各実現手段は、物理的に結合した一つの装置により実現されてもよいし、物理的に分離した二つ以上の装置を有線又は無線で接続し、これら複数の装置により実現してもよい。

尚、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１） 輝度又は彩度が相反して変化する映像における注目フレーム画像とその前後のフレーム画像とを比較し、前記注目フレーム画像が前記輝度又は彩度の変動率が所定の閾値を超えた変動領域を含むフレーム画像であるかを判定する判定部と、
前記注目フレーム画像以外のフレーム画像に基づいて、前記変動領域がない注目フレーム画像である補間フレーム画像を生成するフレーム生成部と、
前記判定手段の判定結果に基づき、前記注目フレーム画像と前記補間フレーム画像とを合成した出力フレーム画像を生成するフレーム画像合成部と
有する画像処理装置。

（付記２） 前記補間フレーム画像の生成に用いるフレーム画像として、前記変動領域を含まない時間的に近接する前後それぞれの時刻のフレーム画像を選択する
付記１に記載の画像処理装置。

（付記３） 前記注目フレーム画像と前記補間フレーム画像との変動比率に応じて、前記注目フレーム画像と前記補間フレーム画像とを合成するための合成比率を変化させる、
付記１又は付記２に記載の画像処理装置。

（付記４） 前記変動比率は、画素毎の画素周辺の輝度の重み付き平均値である局所領域輝度の変動比率である、
付記３に記載の画像処理装置。

（付記５） 前記注目フレーム画像と他のフレーム画像の局所領域輝度の変動比率に基づき、前記補間フレーム画像の生成に用いるフレーム画像の選択する、
付記４に記載の画像処理装置。

（付記６） フレーム画像と補間フレーム画像の局所領域輝度の変動比率を、注目フレーム画像と補間フレーム画像生成のために選択されたフレーム画像との局所領域輝度の変動比率を用いて算出する
付記５に記載の画像処理装置。

（付記７） 輝度又は彩度が相反して変化する映像における注目フレーム画像とその前後のフレーム画像とを比較し、前記注目フレーム画像が前記輝度又は彩度の変動率が所定の閾値を超えた変動領域を含むフレーム画像であるかを判定し、
前記注目フレーム画像以外のフレーム画像に基づいて、前記変動領域がない注目フレーム画像である補間フレーム画像を生成し、
前記判定手段の判定結果に基づき、前記注目フレーム画像と前記補間フレーム画像とを合成した出力フレーム画像を生成する
画像処理方法。

（付記８） 前記補間フレーム画像の生成に用いるフレーム画像として、前記変動領域を含まない時間的に近接する前後それぞれの時刻のフレーム画像を選択する
付記７に記載の画像処理方法。

（付記９） 前記注目フレーム画像と前記補間フレーム画像との変動比率に応じて、前記注目フレーム画像と前記補間フレーム画像とを合成するための合成比率を変化させる、
付記７又は付記８に記載の画像処理方法。

（付記１０） 前記変動比率は、画素毎の画素周辺の輝度の重み付き平均値である局所領域輝度の変動比率である、
付記９に記載の画像処理方法。

（付記１１） 前記注目フレーム画像と他のフレーム画像の局所領域輝度の変動比率に基づき、前記補間フレーム画像の生成に用いるフレーム画像の選択する、
付記１０に記載の画像処理方法。

（付記１２） フレーム画像と補間フレーム画像の局所領域輝度の変動比率を、注目フレーム画像と補間フレーム画像生成のために選択されたフレーム画像との局所領域輝度の変動比率を用いて算出する
付記１１に記載の画像処理方法。

（付記１３） 輝度又は彩度が相反して変化する映像における注目フレーム画像とその前後のフレーム画像とを比較し、前記注目フレーム画像が前記輝度又は彩度の変動率が所定の閾値を超えた変動領域を含むフレーム画像であるかを判定し、
前記注目フレーム画像以外のフレーム画像に基づいて、前記変動領域がない注目フレーム画像である補間フレーム画像を生成し、
前記判定手段の判定結果に基づき、前記注目フレーム画像と前記補間フレーム画像とを合成した出力フレーム画像を生成する、
ことをコンピュータに実行させるプログラム。

（付記１４） 前記補間フレーム画像の生成に用いるフレーム画像として、前記変動領域を含まない時間的に近接する前後それぞれの時刻のフレーム画像を選択する
付記１３に記載のプログラム。

（付記１５） 前記注目フレーム画像と前記補間フレーム画像との変動比率に応じて、前記注目フレーム画像と前記補間フレーム画像とを合成するための合成比率を変化させる、
付記１３又は付記１４に記載のプログラム。

（付記１６） 前記変動比率は、画素毎の画素周辺の輝度の重み付き平均値である局所領域輝度の変動比率である、
付記１５に記載のプログラム。

（付記１７） 前記注目フレーム画像と他のフレーム画像の局所領域輝度の変動比率に基づき、前記補間フレーム画像の生成に用いるフレーム画像の選択する、
付記１６に記載のプログラム。

（付記１８） フレーム画像と補間フレーム画像の局所領域輝度の変動比率を、注目フレーム画像と補間フレーム画像生成のために選択されたフレーム画像との局所領域輝度の変動比率を用いて算出する
付記１７に記載のプログラム。

（付記１９） 映像の時間方向の輝度の変化率と、フレーム画像の全領域における所定の割合とを取得する取得部と、
前記割合で前記変化率を上回る輝度の変化がある映像を、前記映像をなす各フレーム間における割合又は輝度の変化率が、前記取得した輝度の変化率又は変化率を下回るように、前記映像をなす少なくとも一部のフレームの一部の領域の輝度を補正する補正部と
を備える画像処理装置。

以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
この出願は、２０１４年１月１４日に出願された日本出願特願２０１４−００３８８０号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１１ フラッシュフレーム判定部
１２ フレーム補間部
１３ フレーム画像合成部
２１ フラッシュフレーム判定部
２２ フレーム補間部
２３ フレーム画像合成部
３０ 取得部
３１ 補正部
９１ ＣＰＵ
９２ 通信Ｉ／Ｆ（通信インターフェース）
９３ メモリ
９４ 記憶装置
９５ 入力装置
９６ 出力装置
９７ システムバス

Claims (9)

1. 輝度又は彩度が相反して変化する映像における注目フレーム画像とその前後のフレーム画像とを比較し、前記注目フレーム画像が前記輝度又は彩度の変動率が所定の閾値を超えた変動領域を含むフレーム画像であるかを判定する判定手段と、
   前記注目フレーム画像以外のフレーム画像に基づいて、前記変動領域がない注目フレーム画像である補間フレーム画像を生成するフレーム生成手段と、
   前記判定手段の判定結果に基づき、前記注目フレーム画像と前記補間フレーム画像とを合成した出力フレーム画像を生成するフレーム画像合成手段と
   を有する画像処理装置。
2. 前記判定手段は、
   輝度又は彩度の変動率が所定の閾値を超える変動領域の面積と表示領域の面積との割合が所定の閾値を超えるか否かで前記変動領域を含むフレーム画像であるかを判定する、
   請求項１に記載の画像処理装置。
3. 前記補間フレーム画像の生成に用いるフレーム画像として、前記変動領域を含まない時間的に近接する前後それぞれの時刻のフレーム画像を選択する、
   請求項１又は２に記載の画像処理装置。
4. 前記注目フレーム画像と前記補間フレーム画像との変動比率に応じて、前記注目フレーム画像と前記補間フレーム画像とを合成するための合成比率を変える、
   請求項１又は２に記載の画像処理装置。
5. 前記変動比率は、画素毎の画素周辺の輝度の重み付き平均値である局所領域輝度の変動比率である、
   請求項４に記載の画像処理装置。
6. 前記注目フレーム画像と他のフレーム画像の局所領域輝度の変動比率に基づき、前記補間フレーム画像の生成に用いるフレーム画像の選択する、
   請求項５に記載の画像処理装置。
7. 注目フレーム画像と補間フレーム画像の局所領域輝度の変動比率（ｒ _ｔ−ｅｓ （ｘ，ｙ））を、注目フレーム画像と補間フレーム画像生成のために選択されたフレーム画像との局所領域輝度の変動比率を用いて算出する、
   請求項６に記載の画像処理装置。
8. 輝度又は彩度が相反して変化する映像における注目フレーム画像とその前後のフレーム画像とを比較し、前記注目フレーム画像が前記輝度又は彩度の変動率が所定の閾値を超えた変動領域を含むフレーム画像であるかを判定し、
   前記注目フレーム画像以外のフレーム画像に基づいて、前記変動領域がない注目フレーム画像である補間フレーム画像を生成し、
   判定結果に基づき、前記注目フレーム画像と前記補間フレーム画像とを合成した出力フレーム画像を生成する、
   画像処理方法。
9. 輝度又は彩度が相反して変化する映像における注目フレーム画像とその前後のフレーム画像とを比較し、前記注目フレーム画像が前記輝度又は彩度の変動率が所定の閾値を超えた変動領域を含むフレーム画像であるかを判定し、
   前記注目フレーム画像以外のフレーム画像に基づいて、前記変動領域がない注目フレーム画像である補間フレーム画像を生成し、
   判定結果に基づき、前記注目フレーム画像と前記補間フレーム画像とを合成した出力フレーム画像を生成する、
   ことをコンピュータに実行させるプログラム。
   
   
   

Images