JP6708131B2 - 映像処理装置、映像処理方法及びプログラム - Google Patents

Description

本発明は、映像処理装置、映像処理方法及びプログラムに関する。

一部の映像コンテンツは、視聴者に対して、生理的に悪影響を与える可能性がある。このような影響の一つは、光過敏性発作の発症である。光過敏性発作は、光刺激に対する異常反応の症状の一つであり、痙攣や意識障害などの癲癇（てんかん）に似た症状を示す発作である。

このような影響の発生を抑制するために、人体に悪影響がある映像コンテンツの配信を抑制する試みが実施されている。例えば、国際電気通信連合（ITU）は、映像コンテンツは光過敏性発作を発生させる危険性があることを映像配信組織が映像コンテンツ製作者に対して周知するよう勧告している（非特許文献１）。また、日本においては、日本放送協会と日本民間放送連盟が、特にアニメーションの製作に関しガイドラインを制定し、放送に携わる者に遵守するよう求めている（非特許文献２）。

しかし、報道映像のような速報性が求められる映像コンテンツを生放送する際に、映像が光過敏性発作を誘発する可能性のある多くの明滅を含んでいる場合には、人体に悪影響がある映像コンテンツの配信を抑制することが困難である。このような場合、現状では、テロップ等で視聴者に事前に注意を喚起する対策がとられている。光過敏性発作を誘発する可能性のある多くの明滅を含んでいる映像の一つに、記者会見等で報道カメラマンから撮影時に発せられるフラッシュが多く含まれる映像が挙げられる。このような映像では、カメラから発せられるフラッシュによる短時間の明領域が発生し、これが繰り返されることで多くの明滅が発生することになる。

人体に悪影響がある映像コンテンツを検出して補正する関連技術が特許文献１〜３に開示されている。

特許文献１は、液晶ディスプレイにおいて、光過敏性発作を誘発するシーン（画像）を検出し、検出されたシーンに対してバックライトユニットの輝度を低下させる技術を開示している。この技術は、視聴者への光過敏性発作の影響を未然に防止する。

特許文献２は、第nフレーム画像と第(n+1)フレーム画像のヒストグラムの比較結果に基づいて、ガンマ補正又はトーンカーブ補正によって第(n+1)フレーム画像のダイナミックレンジを狭める補正をする技術を開示している。この技術は、強い明滅を緩和し、眼精疲労又は体調不良を低減させる。また、特許文献３は、動きベクトルを補正する技術を開示している。

なお、非特許文献３及び非特許文献４は、後述するオプティカルフローの算出方法を開示する。

特開２００８−３０１１５０号公報 特開２０１０−０３５１４８号公報 特開２００８−１２４９５６号公報

"Guidance for the reduction of photosensitive epileptic seizures caused by television", Rec. ITU-R BT.1702,ITU, 2005 "アニメーション等の映像手法に関するガイドライン", 日本放送協会、日本民間放送連盟、1998 (2006一部改訂) Lucas, Bruce D., Kanade, Takeo. "An Iterative Image Registration Technique with an Application to Stereo Vision". IJCAI, pp.674-679, 1981 Berthold K.P., Horn, Schunck, Brian G. "Determining optical flow" Artificial Intelligence 17, pp.185-203, 1981

しかしながら、関連技術には下記の課題がある。光過敏性発作を誘発する可能性のある輝度又は彩度の大きな変化は、画像全体ではなく、画像の一部の領域に発生する場合がある。関連技術に開示された手法は、これらの判別を行わず画像全体を一律に補正するため、本来補正する必要がない明滅が発生していない領域のコントラストや明度を低下させ、その領域の画質を劣化させる場合がある。

また、フラッシュ等による明滅の場合には、フラッシュによって明るくなった領域の画素の一部の色情報がカメラのダイナミックレンジを超えている（すなわち飽和している）場合がある。色情報が飽和した画素は、本来の情報が失われている。そのため、色情報が飽和した画素を含むフレーム画像のみを用いた補正処理のみでは、彩度が過大又は過小な画素を発生させる場合があり、色味の変動を抑制することができない。それゆえ、このような補正処理では、明滅を自然に緩和することは困難である。

本発明の目的は、輝度又は彩度の変動が抑制された自然な映像を生成することができる技術を提供することにある。

本発明の一態様に係る映像処理装置は、
時間的に連続する複数のフレーム画像のいずれかが、輝度又は彩度が前後のフレーム画像に対して所定のレベル以上異なる明滅領域を含む注目フレーム画像であるか判定する判定手段と、
前記注目フレーム画像及びその前後のフレーム画像から輝度又は彩度の差に基づいて選択されたフレーム画像のペアに基づいて、カメラの動きに起因する第１の移動量及び／又は被写体の動きに起因する第２の移動量を推定する動き推定手段と、
前記選択されたペアと、前記推定された第１の移動量及び／又は第２の移動量とに基づいて、前記注目フレーム画像の撮影時刻におけるフレーム画像に相当する補正フレーム画像を生成する画像生成手段と、
前記注目フレーム画像と前記補正フレーム画像とを合成する画像合成手段と
を備える。

本発明の一態様に係る映像処理方法は、
時間的に連続する複数のフレーム画像のいずれかが、輝度又は彩度が前後のフレーム画像に対して所定のレベル以上異なる明滅領域を含む注目フレーム画像であるか判定し、
前記注目フレーム画像及びその前後のフレーム画像から輝度又は彩度の差に基づいて選択されたフレーム画像のペアに基づいて、カメラの動きに起因する第１の移動量及び／又は被写体の動きに起因する第２の移動量を推定し、
前記選択されたペアと、前記推定された第１の移動量及び／又は第２の移動量とに基づいて、前記注目フレーム画像の撮影時刻におけるフレーム画像に相当する補正フレーム画像を生成し、
前記注目フレーム画像と前記補正フレーム画像とを合成する。

本発明の一態様に係るプログラムは、
コンピュータに、
時間的に連続する複数のフレーム画像のいずれかが、輝度又は彩度が前後のフレーム画像に対して所定のレベル以上異なる明滅領域を含む注目フレーム画像であるか判定する処理と、
前記注目フレーム画像及びその前後のフレーム画像から輝度又は彩度の差に基づいて選択されたフレーム画像のペアに基づいて、カメラの動きに起因する第１の移動量及び／又は被写体の動きに起因する第２の移動量を推定する処理と、
前記選択されたペアと、前記推定された第１の移動量及び／又は第２の移動量とに基づいて、前記注目フレーム画像の撮影時刻におけるフレーム画像に相当する補正フレーム画像を生成する処理と、
前記注目フレーム画像と前記補正フレーム画像とを合成する処理と
を実行させる。

本発明の一態様に係る映像処理装置は、
時間的に連続する複数のフレーム画像から第１のフレーム画像と第２のフレーム画像とを選択する選択手段と、
前記第１のフレーム画像と前記第２のフレーム画像の間において検出された対応点又は対応領域の位置関係に基づいて幾何変換パラメーターを算出し、カメラの動きに起因する第１の移動量を推定する第１の推定手段と、
前記幾何変換パラメーターに基づいて、前記第１の移動量を減算することで、前記第１のフレーム画像及び前記第２のフレーム画像から被写体領域を検出し、前記検出された被写体領域に基づいて被写体の動きに起因する第２の移動量を推定する第２の推定手段と
を備える。

本発明によれば、輝度又は彩度の変動が抑制された自然な映像を生成することができる。

図１は第１の実施の形態における映像処理装置のブロック図である。 図２は矩形領域輝度の算出方式を表す模式図である。 図３は第１の実施の形態における動き推定部のブロック図である。 図４は明領域を含まないフレーム画像の選択方法を表す模式図である。 図５は動き推定用フレームの選択方法を表す図である。 図６は動き推定用フレームの選択方法を表す図である。 図７は動き推定用フレーム対の選択方法の一例を示す図である。 図８は第１の実施の形態における補正フレーム生成部のブロック図である。 図９は出力フレーム画像における局所領域輝度の変化率の値の設定方法の一例を示すグラフである。 図１０は第１の実施の形態における映像処理装置の動作を示すフローチャートである。 図１１はコンピュータ装置のハードウェア構成を例示するブロック図である。

［構成］
図１は、本発明による第１の実施の形態に係る映像処理装置１００の構成を示すブロック図である。なお、図１（及び以降のブロック図）に記載された矢印は、データの流れの一例を示すにすぎず、データの流れを限定することを意図したものではない。

この映像処理装置１００は、判定部１１と、動き推定部１２と、画像生成部１３と、画像合成部１４とを備える。

判定部１１は、フレーム画像に光過敏性発作を誘発する可能性がある領域が含まれるか否かを判定する。具体的には、判定部１１は、予め設定されたフレーム数のフレーム画像を用いて、特定のフレーム画像（以下「注目フレーム画像」という。）がフラッシュ等により明滅する（輝度が大きく変化する）領域を含むフレーム画像であるかを判定する。以下においては、このようにして判定された領域（輝度が大きく変化する領域）のことを、「明滅領域」という。例えば、判定部１１は、時刻(t-m)から時刻(t+m)までに撮影された(2m+1)フレーム分の時間的に連続するフレーム画像の入力を受け付けると、時刻tのフレーム画像を注目フレーム画像とし、当該フレーム画像が明滅領域を含むかを判定する。

注目フレーム画像に明滅領域が含まれる場合、動き推定部１２、画像生成部１３及び画像合成部１４は、カメラや被写体の変位に起因した画像の移動を補正したフレーム画像を合成する。動き推定部１２、画像生成部１３及び画像合成部１４は、このようにして明滅領域の輝度変化を適切に抑制することで、明滅の影響を低減させたフレーム画像を出力することができる。

尚、明滅領域には、注目フレーム画像の輝度が前後のフレーム画像の輝度と比較して大きく向上する（明るくなる）明領域と、大きく低下する（暗くなる）暗領域とがある。しかし、説明の簡略化のため、以下においては明領域についてのみ説明する。

＜判定部１１＞
判定部１１は、複数のフレーム画像の入力を受け付けると、注目フレーム画像が明滅領域を含むフレーム画像であるか判定する。

注目フレーム画像が明滅領域を含むフレームであるかを判別する方法の一つは、注目フレーム画像と他の入力されたフレーム画像との間の局所領域輝度の変化率を用いる方法である。

ここにおいて、局所領域輝度は、入力された複数のフレーム画像の各画素における、当該画素とその周辺の所定数の画素を含む領域の輝度値を表す。判定部１１は、まず、入力された複数のフレーム画像の各画素について、RGB表色系などで記述された色情報を明るさを表す輝度情報（輝度値）に変換する。その後、判定部１１は、変換された輝度情報に対して注目画素周辺の画素を用いた平滑化処理を施すことで、画素周辺領域の輝度値を算出する。

色情報を輝度情報に変換する方法は、例えば、放送用に用いられるYUV(YCbCr,YPbPr)表色系の輝度を表すY値を算出する方法や、XYZ表色系の輝度を表すY値を算出する方法がある。ただし、輝度情報を記述する表色系は、これらの表色系に限定されない。例えば、判定部１１は、HSV表色系のV値等、輝度を表す他の指標に色情報を変換してもよい。また、判定部１１は、入力されたフレーム画像に予めガンマ補正が施されている場合には、輝度情報への変換の前に、色情報を逆ガンマ補正により補正前の色情報に変換してもよい。

平滑化処理の方法は、例えば、注目画素の周辺にある画素のうちの上下それぞれのq画素と左右それぞれのp画素、すなわち(2p+1)×(2q+1)画素の輝度情報の平均値を算出する方法がある。この場合、時刻tのフレーム画像のうちの位置(x,y)にある画素の局所領域輝度l_t(x,y)は、フレーム画像の輝度情報Y_tを用いて、式（１）のように表すことができる。

また、判定部１１は、式（２）のように、予め設定された重みwを用いた重み付き平均を用いて局所領域輝度l_t(x,y)を算出してもよい。

重みの設定方法としては、例えば、ガウシアン重みを用いる方法がある。判定部１１は、あらかじめ設定されたパラメーターσを用いて、式（３）によりガウシアン重みw(i,j)を算出する。

局所領域輝度の変化率は、注目フレーム画像の画素と、同位置の他の入力フレーム画像の画素との間の局所領域輝度の変化の比率を表す。判定部１１は、時刻tにおける注目フレーム画像と時刻(t+k)におけるフレーム画像のそれぞれの位置(x,y)にある画素の局所領域輝度の変化率r_t-t+k(x,y)を、式（４）を用いて算出する。

判定部１１は、算出された変化率に基づき、注目フレーム画像に他のフレーム画像より所定のレベル以上明るくなる領域が含まれているか否か判定する。その結果、時間的に前後にある他のフレーム画像に対して所定のレベル以上明るくなる領域が注目フレーム画像に含まれている場合には、判定部１１は、注目フレーム画像が明滅による明領域を含むフレーム画像であると判定する。

判定部１１は、予め設定された変化率の閾値αと面積率の閾値βを用いて、変化率r_t-t+kが閾値αを超える領域の面積率が閾値βを超えるか否かによって判定する方法を用いることもできる。例えば、避けるべき点滅映像の判断基準の一つとして、日本放送協会と日本民間放送連盟によるガイドラインには、「点滅が同時に起こる面積が画面の1/4を超え、かつ、輝度変化が10%以上の場合」が規定されている。上記の判定方法において、この判断基準を満たすためには、判定部１１は、α=0.1、β=0.25を設定する。

判定部１１は、時刻tにおける注目フレーム画像に時刻(t+k)のフレーム画像より所定のレベル以上明るくなる領域があると判定した場合、判定フラグflag_t-t+kを「1」とする。また、判定部１１は、このような領域がないと判定した場合には、判定フラグflag_t-t+kを「0」とする。判定部１１は、注目フレーム画像と、入力された他のフレーム画像の全てとの組み合わせに関して同様に判定フラグを算出し、注目フレーム画像の前後の時刻それぞれについて判定フラグが「1」となるフレーム画像が存在するか否かを判断する。このようなフレーム画像が存在する場合、判定部１１は、注目フレーム画像が明領域を含むフレーム画像であると判定する。

判定部１１は、注目フレーム画像が明滅領域を含むフレーム画像であるかを判別する別の方法として、矩形領域輝度の変化率を用いる方法を利用してもよい。ここにおいて、矩形領域輝度は、各フレーム画像における予め設定された矩形領域毎の輝度の平均値を表す。例えば、図２に示されているように、フレーム画像に10×10ブロックの矩形領域を設定した場合の矩形領域輝度は、矩形領域のそれぞれに含まれる画素の輝度値の平均値である。輝度値としては、局所領域輝度を算出する場合と同様に、YUV表色系のY値、XYZ表色系のY値、HSV表色系のV値等を用いることができる。

矩形領域輝度の変化率は、注目フレーム画像の注目しているブロックの矩形領域輝度と、入力された他のフレーム画像における同じ位置のブロックの矩形領域輝度の差の比率を表す。判定部１１は、注目フレーム画像の位置(i,j)にあるブロックの時刻tにおける矩形領域輝度L_t(i,j)と時刻(t+k)のフレーム画像の矩形領域輝度L_t+k(i,j)の変化率R_t-t+k (i,j)を、式（５）を用いて算出する。

矩形領域輝度の変化率を用いた判定は、局所領域輝度の変化率を用いた判定と同様に行われる。判定部１１は、時刻tにおける注目フレーム画像と入力された他の全てのフレーム画像との組み合わせにおいて、注目フレーム画像に他のフレーム画像より大きく明るくなる領域が含まれているかどうかを判定することで判定フラグの値を設定する。判定部１１は、注目フレーム画像の前後の時刻それぞれに判定フラグが「1」となるフレーム画像が存在する場合、注目フレーム画像が明滅領域を含むフレーム画像であると判定する。

判定フラグの値の設定方法には、局所領域輝度の変化率を用いる場合と同様に、予め設定された変化率の閾値αと面積率の閾値βを用いて、変化率が閾値αを超える画素の面積率が閾値βを超えるか否かによって、「1」又は「0」を設定する方法がある。

判定部１１は、判定結果と共に、注目フレーム画像と入力された他のフレーム画像との判定フラグを解析情報として出力する。また、判定部１１は、同様の処理を実行することにより注目フレーム画像以外のフレーム画像間で算出された判定フラグを補助情報として出力してもよい。

また、判定部１１は、入力されたフレーム画像間での判定フラグに加えて、注目フレーム画像の各矩形領域について他のフレーム画像の同一の位置の矩形領域との間で算出された矩形領域輝度の変化率を解析情報として出力してもよい。

＜動き推定部１２＞
図３は、動き推定部１２の構成を示すブロック図である。

動き推定部１２は、選択部１２Ａと、第１推定部１２Ｂと、第２推定部１２Ｃとを有する。

動き推定部１２は、フレーム画像と、判定部１１から出力された判定結果及び解析情報とを入力として受け付ける。動き推定部１２は、注目フレーム画像が明領域を含むフレーム画像であると判定された場合に、入力されたフレーム画像から動き推定に用いるフレーム画像を複数選択し、選択されたフレーム画像の間でのカメラ及び被写体の動きに起因する画像の移動量を推定する。

選択部１２Ａ
選択部１２Ａは、注目フレーム画像以外のフレーム画像から、移動量の推定に用いるフレーム画像を選択し、選択されたフレーム画像を含む１対のフレーム画像を取得する。選択部１２Ａは、これらのフレーム画像（以下「動き推定用フレーム画像」という。）を、例えば以下の方法によって選択する。

・（１２Ａ−１）選択方法１
選択部１２Ａは、注目フレーム画像と入力された他のフレーム画像との輝度差に基づいて、注目フレーム画像の前後からそれぞれ１つのフレーム画像を動き推定用フレーム画像として選択してもよい。この場合、選択部１２Ａは、注目フレーム画像の前後それぞれのフレーム画像を１つずつ取得して１対の動き推定用フレーム画像として用いる。具体的には、選択部１２Ａは、判定部１１で算出された判定フラグを用いて動き推定用フレーム画像を選択してもよい。

この方法では、判定フラグが「1」となるフレーム画像のうち、注目フレーム画像に最も近い前後それぞれのフレーム画像が動き推定用フレーム画像として選択される。

図４は、明領域を含まないフレーム画像の選択方法を表す模式図である。図４は、case1〜case4の４種類のケースについて、時刻(t-2)から時刻(t+2)までのフレーム画像と、時刻tのフレーム画像に対して他のフレーム画像を比較した場合の判定フラグ（flag）とを例示している。なお、図４（及び以降の同様の図）において、明領域を含まないフレーム画像は、ハッチングを付して示されている。ハッチングされていないフレーム画像は、明領域を含むフレーム画像を表す。

例えば、明領域を含む時刻tのフレーム画像に対して、選択部１２Ａは、case1の場合には、時刻(t-1)と時刻(t+1)のフレーム画像を選択する。同様に、選択部１２Ａは、case2の場合には時刻(t-2)と時刻(t+1)のフレーム画像、case3の場合には時刻(t-1)と時刻(t+2)のフレーム画像、case4の場合には時刻(t-2)と時刻(t+2)のフレーム画像をそれぞれ選択する。

また、選択部１２Ａは、補助情報として入力された注目フレーム画像以外のフレーム画像間の判定フラグを用いて、動き推定用フレームの選択結果を修正してもよい。注目フレーム画像と他のフレーム画像との判定フラグを用いた選択において、動き推定用フレームとして時刻(t+k)のフレームが選択された場合、選択部１２Ａは、次のように選択結果を修正してもよい。例えば、注目フレームと時刻(t+k+1)のフレーム画像の判定フラグflag_t-t+k及び時刻(t+k+1)のフレーム画像と時刻(t+k)のフレーム画像の判定フラグflag_t+k+1-t+kの値が共に「1」の場合、時刻(t+k+1)のフレーム画像と時刻(t+k)のフレーム画像との間にも大きな輝度変化があると考えられる。そのため、選択部１２Ａは、この場合、動き推定用フレーム画像を時刻(t+k+1)のフレーム画像に変更（修正）してもよい。

・（１２Ａ−２）選択方法２
選択部１２Ａは、注目フレーム画像と入力された他のフレーム画像の間の輝度変化に基づいて、注目フレーム画像の前後それぞれから複数のフレーム画像を動き推定用フレーム画像として選択してもよい。この場合、選択部１２Ａは、フレーム画像の対（ペア）を複数取得する。具体的には、選択部１２Ａは、注目フレーム画像の近隣のフレーム画像のうち、判定部１１で算出された判定フラグが１のフレーム画像を予め定められた数選択してもよい。

図５は、複数（ここでは２対）の動き推定用フレーム画像を選択する場合の例を示す模式図である。図５に例示されているように、時刻(t-2)、(t-1)、(t+1)及び(t+2)におけるフレーム画像が明領域を含まない場合、選択部１２Ａは、これらのフレーム画像の全てを動き推定用フレームとして選択する。図５の例における判定フラグは、図４のcase1の例における判定フラグと等しい。しかし、この選択方法においては、選択部１２Ａは、時刻(t-1)と時刻(t+1)におけるフレーム画像だけでなく、時刻(t-2)と時刻(t+2)におけるフレーム画像も動き推定用フレームとして選択する。

この選択方法は、短時間に頻繁に明滅が発生する場合やフラッシュバンドが発生した場合に、複数のフレーム画像から光の明滅の影響が少ない領域を選択的に利用し、フレーム間の動き推定の精度を高めることが可能である（例えば図７参照）。ここにおいて、フラッシュバンドとは、ＣＭＯＳ（Complementary metal-oxide-semiconductor）センサなどのローリングシャッタ方式の撮像素子において、フラッシュ光のような短時間の発光が生じた際にライン毎の露光期間の違いによって生じる信号強度の大きな変化（ずれ）のことである。フラッシュバンドが発生したフレーム画像は、例えば、その上半分又は下半分のみが発光時の画像（明領域）となり、残りの部分が発光直前又は直後の相対的に暗い画像となる。

・（１２Ａ−３）選択方法３
選択部１２Ａは、注目フレーム画像と入力された他のフレーム画像の間の輝度差に基づいて、注目フレーム画像の前後どちらか一方のフレーム画像と注目フレーム画像とを動き推定用フレーム画像として選択してもよい。具体的には、選択部１２Ａは、判定部１１で算出された判定フラグが「1」のフレームのうち、注目フレーム画像に最も近接するフレーム画像を選択してもよい。注目フレーム画像の前後いずれも判定フラグが「1」である場合には、選択部１２Ａは、予め設定された一方のフレームのみを選択する。図６は、注目フレーム画像よりも前の時刻のフレーム画像を選択した場合の一例を示す。この場合、選択部１２Ａは、このように選択されたフレーム画像と注目フレーム画像とを１対の動き推定用フレーム画像として用いる。

この選択方法によれば、選択方法１及び２と比較して、動き推定部１２及び画像生成部１３が処理対象とする画像の数が少なくなるため、高速な処理が実現できる。

なお、この選択方法は、注目フレーム画像において対応点の検出が可能であることを前提とする。

第１推定部１２Ｂ
第１推定部１２Ｂは、動き推定用フレーム画像のペア間におけるカメラ又は被写体の動きに起因した画素の動きを推定する。動き推定は、動き推定用フレーム画像のうちの任意の２つのフレーム画像の組み合わせ（ペア）に対して行う。第１推定部１２Ｂは、１又は複数のペアのうち少なくとも１組に対して動き推定を行う。

例えば、上述した選択方法１（１２Ａ−１）の場合、第１推定部１２Ｂは、注目フレーム画像の前後から１つずつ選択された２つのフレーム画像から成るペアに対して動き推定を行う。これに加えて、第１推定部１２Ｂは、注目フレーム画像とその前後から選択されたフレーム画像のうち一方とから成るペアに対して動き推定を行ってもよい。

また、選択方法２（１２Ａ−２）の場合、第１推定部１２Ｂは、図７に示すように、注目フレーム画像の前後それぞれから選択された複数のフレーム画像について、注目フレーム画像の矩形領域と同一位置の矩形領域との間で矩形領域輝度を比較する。そして、第１推定部１２Ｂは、これらの矩形領域輝度の変化率が閾値γを超える領域を検出する。第１推定部１２Ｂは、変化率が閾値γを超える領域が共通する領域を含むフレーム画像をペアとし、それぞれのペアの当該共通する領域（図７の中の点線で囲われた領域）に関して動き推定を行う。閾値γは、予め設定された値でもよいが、動き推定を一定の面積で行えるように適当な値が動的に設定されてもよい。あるいは、第１推定部１２Ｂは、判定部１１から入力された注目フレーム画像以外のフレーム画像間の判定フラグをもとに、互いのフレーム画像の間での判定フラグが「0」となるフレーム画像のペアに対して動き推定を行ってもよい。

また、選択方法３（１２Ａ−３）の場合、第１推定部１２Ｂは、注目フレーム画像の前後いずれか一方から選択したフレームと注目フレーム画像のペアに対して動き推定を行う。

カメラの動きに起因した画像の動きは、画面の大局的な動きのため、動き推定用フレーム画像のペア間のアフィン変換によって表現することができる。アフィン変換は、２つの画像間での平行移動と線形変換（拡大縮小、回転、スキュー）を組み合わせた幾何変換である。動き推定用フレーム画像のペアを画像Ｉと画像Ｉ’とし、画像Ｉ上の画素Ｐ（ｘ，ｙ）と画像Ｉ’上の画素Ｐ’（ｘ’，ｙ’）とが対応するとした場合、画像Ｉから画像Ｉ’へのアフィン変換は式（６）で表される。

式（６）の線形変換行列は、ＱＲ分解によって

の要素に分解できる。これらを用いると、式（６）は式（７）のように表せる。

アフィン変換のパラメーター（θ，ａ’，ｂ’，ｄ’，ｔｘ、ｔｙ）は、画像Ｉ上の３点以上の画素について、それぞれ画像Ｉ’上の対応点を検出し、各座標を式（７）に代入することで算出できる。第１推定部１２Ｂは、例えば以下の方法で対応点を検出することができる。

・（１２Ｂ−１）検出方法１
第１推定部１２Ｂは、画像Ｉ上の画素Ｐについてオプティカルフローを算出し、画素Ｐの移動先の画素Ｐ’を対応点とする。オプティカルフローの主な算出方法としては、Lucas-Kanade法やHorn-Schunck法に基づく方法が挙げられる。Lucas-Kanade法は、移動前後で画素値はほぼ同値とする拘束条件に基づき、画像の移動量を算出する方法である（非特許文献３）。また、Horn-Schunck法は、隣接するオプティカルフローの間の滑らかさを考慮しながら、画像全体の誤差関数を最小化することで画像の移動量を算出する方法である（非特許文献４）。

・（１２Ｂ−２）検出方法２
第１推定部１２Ｂは、画像Ｉ上の領域Ｒに対応する画像Ｉ’上の領域Ｒ’を特定し、領域Ｒの中心座標に相当する画素Ｐの対応点を領域Ｒ’の中心座標に相当する画素Ｐ’とする。領域Ｒ、Ｒ’は、画像Ｉ、Ｉ’を規定サイズの格子状に分割した矩形領域であってもよいし、色やテクスチャなどの画像特徴量に基づく画素のクラスタリングによって生成されたクラスタであってもよい。

第１推定部１２Ｂは、例えば領域Rをテンプレートとしたテンプレートマッチングにより領域R’を検出することができる。第１推定部１２Ｂは、テンプレートマッチングに用いる類似度の指標として、画素値の差分に基づくＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、正規化相互相関（ZNCC:Zero-mean Normalized Cross-Correlation）などを用いてもよい。特に、正規化相互相関（R_ZNCC）は、式（８）に示すように、テンプレート及び画像の輝度値（T(i,j)及びI(i,j)）からそれぞれの平均（Ｔ_ave及びＩ_ave）を差し引いて計算することにより、明るさの変動があっても安定して類似度を評価できる指標である。そのため、正規化相互相関を用いることにより、第１推定部１２Ｂは、フラッシュ光の影響によって動き推定用フレーム画像のペアの間で輝度に差がある場合であっても、他の指標を用いる場合よりも安定して領域R’を検出することができる。

あるいは、第１推定部１２Ｂは、オプティカルフローを用いて領域Rの中心座標に相当する画素Ｐの対応点に相当する画素Ｐ’を検出してもよい。例えば、第１推定部１２Ｂは、領域Ｒ内の各画素において推定したオプティカルフローの代表値（重み付き平均値又は中央値）を領域Ｒの移動量とし、画素Ｐを領域Ｒの移動量だけ移動させた先の画素Ｐ’を対応点とする。

・（１２Ｂ−３）検出方法３
第１推定部１２Ｂは、画像Ｉから特徴点に相当する画素Ｐを抽出し、画像Ｉ’の画素ｐの移動先に相当する画素Ｐ’を対応点とする。第１推定部１２Ｂは、例えばHarrisのコーナー検出アルゴリズムによって検出されるコーナー点を特徴点としてもよい。Harrisのコーナー検出アルゴリズムは、「エッジ上の点では一次微分値（差分）が一方向にのみ大、コーナー上の点では一次微分値が複数の方向に大」との知識に基づき、下式で表されるHarrisオペレータdst(x,y)の正の極大値が大きい点を抽出するアルゴリズムである。

ここでfxとfyは、それぞれx、ｙ方向の１次微分値（差分）を意味する。また、G_σは、標準偏差σのガウス分布による平滑化を意味する。kは定数であり、経験的に0.04から0.15の値が用いられる。

第１推定部１２Ｂは、特徴点で検出されたオプティカルフローをもとに対応点を特定してもよい。また、第１推定部１２Ｂは、画像Ｉのある特徴点を含む画像パッチから抽出された画像特徴量（例えば、SIFT（Scale-Invariant Feature Transform）特徴量）が画像Ｉ’のいずれかの画像パッチから抽出された画像特徴量と類似するときに、その画像パッチの中心を対応点ｐ’としてもよい。

第１推定部１２Ｂは、アフィン変換のパラメーターを、上記の方法を用いて検出された対応点のうち最も信頼性の高い対応点の組み合わせ3組をもとに算出してもよいし、3組以上の対応点の組み合わせをもとに最小二乗法によって算出してもよい。あるいは、第１推定部１２Ｂは、RANSAC（RANdom SAmple Consensus）のようなロバスト推定法を利用してアフィン変換のパラメーターを算出してもよい。RANSACでは、多数の対応点の組み合わせの中からランダムに３組選択して仮のアフィン変換パラメーターを算出し、他の対応点の組み合わせのうち仮のアフィン変換パラメーターに従う組み合わせ数が多いときに、当該アフィン変換パラメーターを真のアフィン変換パラメーターとして採用する方法である。また、第１推定部１２Ｂは、特定の画像領域をアフィン変換のパラメーターの算出対象から除外してもよい。このような画像領域は、例えば、カメラが動いたときに撮影範囲から外れる可能性が高い画像の端部や、隣接する画素との輝度差が小さい平坦部のような、対応点の検出精度が低いことが既知の画像領域である。あるいは、このような画像領域は、動く被写体が映っている可能性が高い画面中央の領域や、色が変化する固定照明が当たる部分のような、カメラの動き以外の要因で画素値が変化する画像領域である。

上述した（１２Ｂ−１）、（１２Ｂ−２）、（１２Ｂ−３）と（１２Ａ−１）、（１２Ａ−２）、（１２Ａ−３）の組み合わせは、特に限定されない。つまり、第１推定部１２Ｂは、（１２Ａ−１）、（１２Ａ−２）、（１２Ａ−３）のいずれの方法で選択された動き推定用フレーム画像に対して（１２Ｂ−１）、（１２Ｂ−２）又は（１２Ｂ−３）を実行してもよい。また、第１推定部１２Ｂは、上記の画像処理による動き推定に加え、カメラに搭載された計測機（ジャイロ、デプスセンサ等）によって取得したカメラの動き情報を利用してもよい。

第２推定部１２Ｃ
第２推定部１２Ｃは、被写体の動きに起因した画像の動きを、動き推定用フレーム画像のペアの一方から被写体領域を検出し、他方から対応領域（被写体領域に対応する領域）を推定することで求める。あるいは、第２推定部１２Ｃは、動き推定用フレーム画像のペアの一方又は両方をアフィン変換することで変換画像を生成し、動き推定用フレーム画像のペアのうち一方のフレーム画像又はその変換画像から被写体領域を検出してもよい。この場合、第２推定部１２Ｃは、被写体の動きに起因した画像の動きを、動き推定用フレーム画像のペアのうち他方のフレーム画像又はその変換画像の対応領域を推定することで求めてもよい。

すなわち、第２推定部１２Ｃは、アフィン変換パラメーター及び動き推定用フレーム画像のペアに基づいてカメラの動きに起因する画像の移動量を減算することで、被写体領域と対応領域のペアを検出する。第２推定部１２Ｃは、このペアに基づいて被写体の動きに起因する画像の移動量を推定する。

被写体領域の検出方法として、例えば以下の方法が挙げられる。

・（１２Ｃ−１−１）検出方法１
第２推定部１２Ｃは、動き推定用フレーム画像のペアの一方から、アフィン変換パラメーターによって推定される移動量とは異なる動きをする画像（画素の集合）を、被写体領域として検出する。

具体的には、第２推定部１２Ｃは、式（７）を用いて、画像Ｉと画像Ｉ’の間で算出されたアフィン変換パラメーターをもとに、画像Ｉの画素Ｐについて画像Ｉから画像Ｉ’の間での予測ベクトル（ｕ，ｖ）を算出する。第２推定部１２Ｃは、画素Ｐと画素Ｐ’の間のベクトル（ｘ’−ｘ，ｙ’−ｙ）と（ｕ，ｖ）との差が一定値以上のときに、画素Ｐを候補点とする。ここで、ベクトルの差を算出することは、カメラの動きに起因する画像の移動量を減算することを意味する。第２推定部１２Ｃは、候補点の集合を画像Ｉの被写体領域として検出する。

・（１２Ｃ−１−２）検出方法２
第２推定部１２Ｃは、動き推定用フレーム画像のペアについて、一方をアフィン変換することで生成した変換画像と、他方のフレーム画像をアフィン変換（逆変換）することで生成した変換画像との差分が大きい領域を、変換画像両方から被写体領域として検出する。

具体的には、第２推定部１２Ｃは、式（７）を用いて、画像Ｉと画像Ｉ’の間で算出されたアフィン変換パラメーターをもとに、画像Ｉから任意の時刻ｔでの予測画像Ｉ_ｐを生成する。第２推定部１２Ｃは、同様に、画像Ｉと画像Ｉ’の間で算出されたアフィン変換パラメーターをもとに、画像Ｉ’から時刻ｔにおける予測画像Ｉ_ｐ’を生成する。第２推定部１２Ｃは、予測画像Ｉ_ｐとＩ_ｐ’の差分を算出し、差分の絶対値が一定以上の画素の集合を、予測画像Ｉ_ｐ、Ｉ_ｐ’のそれぞれから被写体領域として検出する。

なお、第２推定部１２Ｃは、画像Ｉの画素（ｘ、ｙ）を式（９）に代入することで予測画像Ｉ_ｐ上の画素（ｘ_ｐ，ｙ_ｐ）を生成できる。ここにおいて、画像Ｉから画像Ｉ_ｐの間のアフィン変換パラメーターは（θ_ｐ、ａ_ｐ、ｂ_ｐ、ｄ_ｐ、ｔ_ｐｘ、ｔ_ｐｙ）であるとする。

ここで、（θ_ｐ、ａ_ｐ、ｂ_ｐ、ｄ_ｐ、ｔ_ｐｘ、ｔ_ｐｙ）は、以下の関係式によって算出できる。ここにおいて、画像Ｉから画像Ｉ’へのアフィン変換パラメーターは（θ、ａ、ｂ、ｄ、ｔ_ｘ、ｔ_ｙ）、画像Ｉと画像Ｉ’の時間差はＴ、画像Ｉと画像Ｉ_ｐの時間差はＴ_ｐであるとする。

但し、上記の関係式は、カメラの動きが等速であることを仮定している。第２推定部１２Ｃは、カメラの動きの変化率が既知である場合には、その変化率を重みづけて（θ_ｐ、ａ_ｐ、ｂ_ｐ、ｄ_ｐ、ｔ_ｐｘ、ｔ_ｐｙ）を算出してもよい。

また、第２推定部１２Ｃは、画像Ｉ’の画素（ｘ’、ｙ’）を式（１０）に代入することで予測画像Ｉ_ｐ’の画素（ｘ_ｐ’、ｙ_ｐ’）を生成できる。ここにおいて、画像Ｉ’と画像Ｉ_ｐ’の間のアフィン変換パラメーターは（θ_ｐ’、ａ_ｐ’、ｂ_ｐ’、ｄ_ｐ’、ｔ_ｐｘ’、ｔ_ｐｙ’）であるとする。

ここで、（θ_ｐ’、ａ_ｐ’、ｂ_ｐ’、ｄ_ｐ’、ｔ_ｐｘ’、ｔ_ｐｙ’）は、以下の関係式によって求められる。ここにおいて、画像Ｉ’から画像Ｉへのアフィン変換のパラメーターは（θ’、ａ’、ｂ’、ｄ’、ｔ_ｘ’、ｔ_ｙ’）、画像Ｉと画像Ｉ’の時間差はＴ、画像Ｉと画像Ｉ_ｐ’の時間差はＴ_ｐ’であるとする。

・（１２Ｃ−１−３）検出方法３
第２推定部１２Ｃは、動き推定用フレーム画像のペアの一方をアフィン変換することで生成した変換画像と他方の差分が大きい領域を、変換画像とフレーム画像のそれぞれから被写体領域として検出してもよい。この検出方法は、（１２Ｃ−１−２）の派生形である。

具体的には、第２推定部１２Ｃは、式（７）を用いて、画像Ｉと画像Ｉ’の間で算出されたアフィン変換パラメーターをもとに、画像Ｉから時刻t+kでの予測画像を生成し、画像Ｉ’との差分を算出する。

第２推定部１２Ｃは、被写体領域を検出したら、検出された被写体領域に対応する対応領域を推定する。被写体領域の対応領域を推定する方法として、例えば、以下の方法が挙げられる。第２推定部１２Ｃは、各方法を単体で用いてもよいし、組み合わせて用いてもよい。

・（１２Ｃ−２−１）推定方法１
第２推定部１２Ｃは、動き推定用フレーム画像のペアの一方から検出された被写体領域の全画素について、他方のフレーム画像との間でオプティカルフローを算出し、オプティカルフローの重み付き平均だけ移動した先を対応領域として検出する。あるいは、第２推定部１２Ｃは、このペアの一方をアフィン変換することで生成した変換画像から検出された被写体領域の全画素について、他方のフレーム画像又はその変換画像との間でオプティカルフローを算出してもよい。

第２推定部１２Ｃは、オプティカルフローの重み付き平均の算出で用いる重みについては、被写体領域の重心に近い画素のオプティカルフローに高い重みを付与してもよい。第２推定部１２Ｃは、被写体領域内で周囲との輝度勾配が大きい画素のオプティカルフローに高い重みを付与してもよいし、周囲の画素で算出されたオプティカルフローとの向き又は大きさの分散が小さい画素のオプティカルフローに高い重みを付与してもよい。あるいは、第２推定部１２Ｃは、被写体領域のオプティカルフローのうち、大きさが一定値以上又は以下のフローを外れ値として一定数除外し、残ったオプティカルフローに均等に重みを付与してもよい。第２推定部１２Ｃは、輝度勾配や、オプティカルフローの向き又は大きさの分散に基づいて重みを設定することで、信頼性の高いオプティカルフローに基づいて対応領域の位置を推定することが可能である。

・（１２Ｃ−２−２）推定方法２
第２推定部１２Ｃは、動き推定用フレーム画像のペアの一方又はそのアフィン変換後の変換画像で検出された被写体領域をテンプレートとし、他方のフレーム画像又はそのアフィン変換後の変換画像を走査するテンプレートマッチングにより、対応領域を検出する。第２推定部１２Ｃは、テンプレートマッチングに用いる類似度指標として、（１２Ｂ−２）に記載の指標のうちいずれかを用いてもよいし、他の方法を用いてもよい。

あるいは、第２推定部１２Ｃは、色やテクスチャを表現する画像特徴量の距離（ユークリッド距離）に基づいて対応領域を検出してもよい。例えば、第２推定部１２Ｃは、動き推定用フレーム画像のペアの一方で検出された被写体領域から画像特徴量を抽出し、他方のフレーム画像の任意の領域について検出した画像特徴量との距離が短い領域を対応領域として検出してもよい。

あるいは、第２推定部１２Ｃは、被写体領域全体をテンプレートとしたテンプレートマッチングにより、対応領域の位置を大まかに推定してから、被写体領域を分割して生成した各部分領域について再度周囲を探索し、対応領域を決定してもよい。

・（１２Ｃ−２−３）推定方法３
第２推定部１２Ｃは、動き推定用フレーム画像のペアの一方又はそのアフィン変化後の変換画像で検出された被写体領域から特徴点を検出し、他方のフレーム画像又はその変換画像から特徴点に対応する点を検出することでオプティカルフローを検出する。第２推定部１２Ｃは、検出されたオプティカルフローの重み付き平均だけ被写体領域を移動した先を対応領域として検出する。なお、第２推定部１２Ｃは、例えばHarrisのコーナー点を特徴点として用いてもよいし、他の方法によって検出された特徴点を用いてもよい。

上述した（１２Ｃ−２−１）、（１２Ｃ−２−２）、（１２Ｃ−２−３）と（１２Ｃ−１−１）、（１２Ｃ−１−２）、（１２Ｃ−１−３）の組み合わせは、特に限定されない。つまり、第２推定部１２Ｃは、（１２Ｃ−１−１）、（１２Ｃ−１−２）、（１２Ｃ−１−３）のいずれの方法で検出された被写体領域に対して（１２Ｃ−２−１）、（１２Ｃ−２−２）又は（１２Ｃ−２−３）を実行してもよい。

第２推定部１２Ｃは、被写体領域を検出し、対応領域を推定したら、被写体の動きを推定する。被写体の動きの推定方法として、例えば、以下の方法が挙げられる。

・（１２C−３−１）動き推定方法１
第２推定部１２Ｃは、動き推定用フレーム画像のペアの一方から、アフィン変換パラメーターによって推定される移動量とは異なる動きをする画素の集合を被写体領域として検出した場合（１２Ｃ−１−１）、次の方法により被写体の動きを推定する。第２推定部１２Ｃは、被写体領域の位置を表す位置情報（座標）と、対応領域の位置情報との差分を算出し、これを被写体領域の仮の移動ベクトルとする。第２推定部１２Ｃは、仮の移動ベクトルと動き推定用フレーム画像のペアにおけるカメラの動きによる画像の移動ベクトルとの差分を算出し、このペアの間での被写体領域の真の移動ベクトルとする。

・（１２Ｃ−３−２）動き推定方法２
第２推定部１２Ｃは、動き推定用フレーム画像のペアのそれぞれをアフィン変換することで生成した変換画像同士の差分が大きい領域を変換画像の双方から被写体領域として検出した場合（１２Ｃ−１−２）、次の方法により被写体の動きを推定する。第２推定部１２Ｃは、一方の変換画像の被写体領域の位置情報と、他方の変換画像から検出した対応領域の位置情報との差分を算出し、動き推定用フレーム画像のペアの間における被写体の真の移動ベクトルとする。

・（１２Ｃ−３−３）動き推定方法３
第２推定部１２Ｃは、動き推定用フレーム画像のペアの一方をアフィン変換することで生成した変換画像と他方との差分が大きい領域を双方から被写体領域として検出した場合（１２Ｃ−１−３）、次の方法により被写体の動きを推定する。第２推定部１２Ｃは、一方の変換画像の被写体領域の位置情報と、他方のフレーム画像から検出した対応領域の位置情報の差分を算出し、動き推定用フレーム画像のペアの間における被写体の真の移動ベクトルとする。この推定方法は、上述した（１２Ｃ−３−２）の派生形である。

動き推定部１２は、推定した動き情報を画像生成部１３に出力する。動き情報は、カメラの動きに起因した動き情報と被写体の動きに起因した動き情報のうち、少なくとも一方を含むものとする。

カメラが固定されている場合は、カメラの動きに起因した動き情報は不要である。被写体が固定されている場合は、被写体の動きに起因した動き情報は不要である。

動き推定部１２は、動き推定に用いた動き推定用フレーム画像のペアの各フレームの時刻と、このペアの間で算出されたアフィン変換パラメーターとをカメラの動きに起因した動き情報として出力する。動き推定部１２は、カメラの動きに起因した動き情報を、動き推定を行った動き推定用フレーム画像のペアの個数分出力する。

動き推定部１２は、被写体の動き推定に用いた動き推定用フレーム画像のペアの各フレーム画像及びその時刻と、被写体領域の位置情報と、被写体領域の対応領域の位置情報と、被写体の真の移動ベクトルとを、被写体の動きに起因する動き情報として出力する。被写体領域の位置情報は、動き推定用フレーム画像のペアのうち一方の座標を表す。また、対応領域の位置情報は、動き推定用フレーム画像のペアのうち他方の座標を表す。

また、動き推定部１２は、動き推定用フレーム画像のペアをアフィン変換して生成した変換画像において被写体領域の検出及び被写体領域の対応領域の推定を実行した場合には、被写体の動きに起因する動き情報を以下のように出力する。動き推定部１２は、被写体の動き推定に用いた動き推定用フレーム画像のペアの各フレームの時刻と、被写体領域の位置情報と、被写体領域の対応領域の位置情報と、被写体の真の移動ベクトルとを出力する。被写体領域の位置情報は、動き推定用フレーム画像のペアのうち一方をアフィン変換して生成した変換画像における座標を表す。対応領域の位置情報は、動き推定用フレーム画像のペアのうち他方をアフィン変換して生成した変換画像における座標を表す。

動き推定部１２は、被写体の動きに起因する動き情報を、動き推定を行った動き推定用フレーム画像のペアの個数分出力する。

＜画像生成部１３＞
図８は、画像生成部１３の構成を示すブロック図である。

画像生成部１３は、第１補正部１３Ａと、第２補正部１３Ｂと、合成部１３Ｃとを有する。

画像生成部１３は、複数のフレーム画像と、判定部１１からの解析情報と、動き推定部１２からの動き情報とを入力として受け付ける。画像生成部１３は、注目フレームが光の明滅による明領域を含むフレーム画像であると判定された場合に、動き推定用フレーム画像を注目フレーム画像の時刻における画像に補正し、これらを合成して補正フレーム画像として出力する。

第１補正部１３Ａは、まず、各動き推定用フレーム画像についてカメラの動きを補正することで第１の補正画像を生成する。第２補正部１３Ｂは、次に各動き推定用フレーム画像について被写体の動きを補正することで第２の補正画像を生成する。合成部１３Ｃは、各動き推定用フレーム画像について第２の補正画像を生成し、それらを合成することで補正フレーム画像を生成する。

第１補正部１３Ａは、動き推定用フレーム画像のペアの画像データと、このペアの間で算出されたアフィン変換パラメーターとをもとに、例えば以下の方法によってカメラの動きを補正する。

なお、第１補正部１３Ａは、アフィン変換パラメーターの各値が予め設定した閾値よりも小さい場合には、カメラの動きがなかったものと判定し、カメラの動きの補正は行わなくてもよい。この場合、第１補正部１３Ａは、補正されていない動き推定用フレーム画像を第１の補正画像とみなす。

・（１３Ａ−１）カメラの動きの補正方法１
第１補正部１３Ａは、注目フレーム画像に最も近接し、明領域を含まない前後それぞれのフレーム画像が動き推定用フレーム画像として選択された場合（１２Ａ−１）には、次の方法により第１の補正画像を生成する。第１補正部１３Ａは、選択した２つのフレーム画像の間で算出されたアフィン変換パラメーターを用いて、これらのフレーム画像からそれぞれ補正フレーム画像を生成する。

具体的には、第１補正部１３Ａは、（１２Ｃ−１−２）に記載されたように、動き推定用フレーム画像のうち一方を画像Ｉ、他方を画像Ｉ’としたときに、注目フレーム画像の時刻ｔでの予測画像Ｉｐ、Ｉｐ’を第１の補正画像として生成する。

・（１３Ａ−２）カメラの動きの補正方法２
第１補正部１３Ａは、注目フレーム画像の前後それぞれからフレーム画像が動き推定用フレーム画像として複数選択された場合（１２Ａ−２）には、次の方法により第１の補正画像を生成する。第１補正部１３Ａは、複数の動き推定用フレーム画像のペアで算出された各アフィン変換パラメーターをもとに、各ペアから第１の補正画像をそれぞれ生成する。

具体的には、第１補正部１３Ａは、（１２Ｃ−１−２）に記載のように、各動き推定用フレームの一方を画像Ｉ、他方を画像Ｉ’としたときに、注目フレーム画像の時刻ｔでの予測画像Ｉ_ｐ、Ｉ_ｐ’を第１の補正画像として生成する。例えば、第１補正部１３Ａは、図７に示すように、注目フレーム画像の前後からそれぞれ２フレーム選択し、２組のペアについて動き推定を行った場合、選択した各フレームについて生成した注目フレーム画像の時刻での予測画像４枚を、第１の補正画像とする。

・（１３Ａ−３）カメラの動きの補正方法３
第１補正部１３Ａは、注目フレーム画像と注目フレーム画像の前後どちらか一方のフレーム画像とが動き推定用フレーム画像として選択された場合（１２Ａ−３）には、次の方法により第１の補正画像を生成する。第１補正部１３Ａは、注目フレーム画像と選択されたフレーム画像との間で算出されたアフィン変換パラメーターをもとに、選択されたフレーム画像から第１の補正画像を生成する。

具体的には、第１補正部１３Ａは、（１２Ｃ−１−２）に記載のように、動き推定用フレーム画像として選択したフレーム画像を画像Ｉとしたとき、注目フレーム画像の時刻ｔでの予測画像Ｉ_ｐを第１の補正画像として生成する。

第２補正部１３Ｂは、第１の補正画像と、動き推定部１２から入力された真の移動ベクトルをもとに、注目フレーム画像における被写体の位置の画素情報を更新することによって被写体の動きを補正する。第２補正部１３Ｂは、具体的には、以下の方法によって被写体の動きの補正を実現できる。

なお、第２補正部１３Ｂは、被写体の真の移動ベクトルの各値が予め設定した閾値よりも小さい場合には、被写体の動きがなかったものと判定し、被写体の動きの補正は行わなくてもよい。この場合、第２補正部１３Ｂは、第１の補正画像を第２の補正画像とみなす。

第２補正部１３Ｂは、動き推定用フレーム画像のペアの間での被写体の真の移動ベクトルと、当該ペア及び注目フレーム画像の時刻情報をもとに、当該ペアの各フレーム画像と注目フレーム画像との間における被写体の真の移動ベクトルを求める。

第２補正部１３Ｂは、第１の補正画像から特定された被写体領域の画素値を用いて、第１の補正画像から特定された被写体領域の座標から真の移動ベクトル分移動させた先の画素値と第１の補正フレームから特定された被写体領域の座標の画素値とを更新する。これにより、第２補正部１３Ｂは、第２の補正画像を生成する。

第２補正部１３Ｂは、移動先の画素値を被写体領域の画素値に置き換えることによって画素値を更新してもよい。また、第２補正部１３Ｂは、移動先の画素値を、当該画素値と被写体領域の画素値の重みづけ平均値に置き換えてもよいし、移動先の画素値を移動先の周辺の画素値と被写体領域の画素値による重みづけ平均値に置き換えてもよい。

また、第２補正部１３Ｂは、真の移動ベクトルの逆ベクトル分移動させた先の画素値によって被写体領域の座標の画素値を置き換えてもよい。第２補正部１３Ｂは、被写体領域の座標の画素値を真の移動ベクトルの逆ベクトル分移動させた先の画素値との重みづけ平均値に置き換えてもよいし、真の移動ベクトルの逆ベクトル分移動させた先の画素値及びその周辺画素の重みづけ平均値に置き換えてもよい。

なお、動き推定用フレーム画像のペアの各フレーム画像と注目フレーム画像との間での被写体の真の移動ベクトルは、下式で求められる。ここにおいて、動き推定用フレーム画像のペアを構成するフレーム画像Ｉ１、Ｉ２の間での被写体領域の真の移動ベクトルをＶ、フレーム画像Ｉ１、Ｉ２の時刻をそれぞれＴ１，Ｔ２、注目フレームの時刻をＴ３（Ｔ１＜Ｔ３＜Ｔ２）とする。

フレーム画像Ｉ１から注目フレーム画像への被写体の真の移動ベクトル：
Ｖ・（Ｔ３−Ｔ１）／（Ｔ２−Ｔ１） （式１１）
フレーム画像Ｉ２から注目フレーム画像への被写体の真の移動ベクトル：
−Ｖ・（Ｔ２−Ｔ３）／（Ｔ２−Ｔ１） （式１２）

また、第２補正部１３Ｂは、動き推定用フレーム画像において被写体領域であると判定された画素に対応する第１の補正画像の画素を被写体領域の画素と判定することにより、第１の補正画像から被写体画像を特定することができる。

合成部１３Ｃは、複数の第２の補正画像を合成することで補正フレーム画像を生成することができる。例えば、合成部１３Ｃは、補正フレーム画像Ｉ_ｃを式（１３）によって生成できる。ここにおいて、第２の補正画像の数をＮ、第２の補正画像をＩ_ｉ（ｉ＝１，…，Ｎ）、重みをｗｉとする。重みｗｉは、第２の補正画像に対応した動き推定用フレーム画像と注目フレーム画像との時間差をＤｉとしたときに、Ｄｉの絶対値（|Ｄｉ|）が小さいほど大きな値である。

なお、合成部１３Ｃは、下式のように|Di|の減少に伴い線形に増加する関数に基づいてwiを算出してもよい。

＜画像合成部１４＞
画像合成部１４は、注目フレーム画像と補正フレーム画像とを合成し、フラッシュ等による明滅を抑制したフレーム画像（以下「出力フレーム画像」という。）を生成し出力する。

画像合成部１４は、注目フレーム画像が明領域を含む画像であると判別され、かつ、補正フレーム画像が生成された場合に、各画素における合成比率を算出し、合成処理により出力画像を生成する。それ以外の場合には、画像合成部１４は、入力された注目フレーム画像をそのまま出力フレーム画像とする。画像合成部１４は、位置(x,y)の注目画素I_t(x,y)における合成比率u(x,y)が与えられたとき、同位置における出力フレーム画像の値I_out(x,y)を式（１４）のように算出する。

画像合成部１４は、注目フレーム画像と補正フレーム画像との間の局所領域輝度の変化率を用いて合成比率を算出することができる。画像合成部１４は、判定部１１が局所領域輝度の変化率を算出する方法と同様の方法を用いて注目フレーム画像と補正フレーム画像との間の局所領域輝度の変化率r_t-esを算出することができる。画像合成部１４は、位置(x,y)の注目画素における合成比率u(x,y)を、同位置(x,y)における局所領域輝度の変化率r_t-es(x,y)と、予め設定された、r_t-es(x,y)の値に対応した出力フレーム画像における局所領域輝度の変化率の値r_tar(x,y)とを用いて、式（１５）のように算出することができる。画像合成部１４は、出力フレーム画像における局所領域輝度の変化率がr_tar(x,y)になるように合成比率u(x,y)を算出する。

出力フレーム画像における局所領域輝度の変化率の値r_tarの設定方法の一例として、図９のグラフのように、ある程度小さい値のr_t-esに対してはr_tar= r_t-esとし、大きな値のr_t-esに対してはr_tarを所定の最大値にし、その値より大きくならないようにする方法がある。

画像合成部１４は、矩形領域輝度の変化率を用いて合成比率を算出してもよい。具体的には、画像合成部１４は、まず、判定部１１と同様の方法を用いて算出された矩形領域輝度の変化率R_t-esと予め設定されたR_t-esの値に対応する出力フレーム画像の矩形領域輝度の変化率から矩形領域毎の合成比率Uを算出する。次いで、画像合成部１４は、矩形領域毎の合成比率Uから線形補間や双三次補間を用いて、画素毎の合成比率uを求める。

［動作］
次に、図１及び図１０を参照して、本実施の形態の動作を説明する。

判定部１１は、時刻tの注目フレーム画像が、光過敏性発作を誘発する可能性のある、フラッシュ等による光の明滅による明領域を含むフレーム画像であるかを判定する（Ｓ１１）。

動き推定部１２は、注目フレーム画像を含む複数のフレーム画像から動き推定用フレーム画像を選択し、動き推定用フレーム画像の間でのカメラ及び被写体の動きによる画像の移動量を推定する（Ｓ１２）。

画像生成部１３は、動き推定用フレーム画像の間で推定されたカメラ及び被写体の動きによる画素の移動量をもとに、動き推定用フレーム画像から注目フレーム画像の間でのカメラ及び被写体による画像の移動量を推定する。また、画像生成部１３は、各動き推定用フレーム画像を注目フレーム画像の時刻における画像に変換し、変換されたそれぞれの画像を合成することで、補正フレーム画像を生成する（Ｓ１３）。

画像合成部１４は、注目フレーム画像と補正フレーム画像とを合成し、フラッシュ等による明滅を抑制した出力フレーム画像を生成し出力する（Ｓ１４）。

［効果］
本実施の形態に係る映像処理装置１００は、光過敏性発作を誘発する可能性のある、大きな輝度変化を含む映像に対して、輝度の変動が抑制された自然な映像を生成することができる。

その理由は、映像処理装置１００が、大きな輝度変化のある領域を含む注目フレーム画像について、他のフレーム画像から推定される輝度変化のないフレーム画像を、画素毎に重みを変化させながら合成するためである。これにより、映像処理装置１００は、大きな輝度変化がある領域のみを補正し、明滅等で失われた情報を復元することができる。

ところで、フラッシュ等による明滅は記者会見等で発生する。例えば、記者会見では、被写体（会見者）が会見席まで歩き、着席し、会見後、退席する。一連の被写体の動作に伴い、カメラは被写体を追う。この場合、カメラの撮影範囲は、被写体に追従して移動する。

カメラや被写体の動きを考慮せずに画像を合成する場合、輪郭のブレやボケが発生する。この映像を再生すると、輝度が抑制されたフレームだけがブレやボケによって被写体の輪郭が太く膨張したように見え、動きの滑らかさが損なわれる。

映像処理装置１００は、カメラや被写体の動きを推定して画像を補正するため、輪郭のブレやボケを抑制し、滑らかな映像を生成できる。

［別の実施形態］
尚、上述した実施の形態では、明滅領域が注目フレーム画像において他のフレーム画像より所定のレベル以上明るくなる（輝度が大きくなる）明領域の例を説明した。しかし、映像処理装置１００は、明滅領域が注目フレーム画像において他のフレーム画像より所定のレベル以上暗くなる（輝度が小さくなる）暗領域である場合に対しても、同様に適用することができる。

ところで、フラッシュが散発的に焚かれると、上記のような明領域が発生する。一方で、フラッシュの数が増えると、全体的に輝度が大きくなる。多数のフラッシュが断続的に焚かれると、瞬間的に暗領域が発生する。

判定部１１は、時刻tにおける注目フレーム画像が入力された複数のフレーム画像のうちの時刻(t+k)のフレーム画像より所定のレベル以上暗くなる領域があるかを判定する。例えば、判定部１１は、予め設定された輝度変動率の閾値α’と面積率の閾値β’を用いて、局所領域輝度の変化率r_t-t+kが閾値α’を下回る領域の面積率が閾値β’を超えるか否かによって判定する。

時刻tにおける注目フレーム画像が入力されたフレーム画像の時刻(t+k)のフレーム画像より大きく暗くなる領域があると判定された場合、判定部１１は、判定フラグflag_t-t+kを「１」としてもよい。そうでない場合には、判定部１１は、判定フラグflag_t-t+kを「０」としてもよい。判定部１１は、注目フレーム画像と入力された他の全てのフレーム画像との組み合わせについて判定フラグを算出する。判定部１１は、注目フレーム画像の前後それぞれの時刻に判定フラグが「１」となるフレーム画像が存在する場合、注目フレーム画像が光の明滅による暗領域を含むフレーム画像であると判定する。

判定部１１は、別の方法として、矩形領域輝度の変化率を用いる方法を利用してもよい。例えば、判定部１１は、予め設定された輝度変動率の閾値α’と面積率の閾値β’を用いて、矩形領域輝度の変化率が閾値α’を下回る領域の面積率が閾値β’を超えるか否かによって、判定フラグflag_t-t+kに「１」又は「０」を設定する。

更に、上述した実施の形態では、輝度の変動、すなわち、一般閃光についての例を説明した。しかし、映像処理装置１００は、赤色閃光等の彩度の変動に対しても同様に適用することができる。したがって、上述した実施の形態は、「輝度」を「彩度」又は「輝度又は彩度」に置き換えた態様を含み得る。

［その他］
本発明による実施の形態は、ハードディスク等に記録されている映像を編集する映像編集システムに適用することができる。また、本発明による実施の形態は、メモリに保持されたフレーム画像を用いることで、ビデオカメラやディスプレイ端末等にも適用することができる。

また、上述した説明からも明らかなように、本発明による実施の形態は、各部をハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。この場合、映像処理装置１００は、プログラムメモリに格納されているプログラムで動作するプロセッサによって、上述した実施の形態と同様の機能、動作を実現する。また、上述した実施の形態は、その一部の機能のみをコンピュータプログラムにより実現することも可能である。

図１１は、映像処理装置１００を実現するコンピュータ装置２００のハードウェア構成を例示するブロック図である。コンピュータ装置２００は、ＣＰＵ（Central Processing Unit）２０１と、ＲＯＭ（Read Only Memory）２０２と、ＲＡＭ（Random Access Memory）２０３と、記憶装置２０４と、ドライブ装置２０５と、通信インタフェース２０６と、入出力インタフェース２０７とを備える。映像処理装置１００は、図１１に示される構成（又はその一部）によって実現され得る。

ＣＰＵ２０１は、ＲＡＭ２０３を用いてプログラム２０８を実行する。プログラム２０８は、ＲＯＭ２０２に記憶されていてもよい。また、プログラム２０８は、フラッシュメモリなどの記録媒体２０９に記録され、ドライブ装置２０５によって読み出されてもよいし、外部装置からネットワーク２１０を介して送信されてもよい。通信インタフェース２０６は、ネットワーク２１０を介して外部装置とデータをやり取りする。入出力インタフェース２０７は、周辺機器（入力装置、表示装置など）とデータをやり取りする。通信インタフェース２０６及び入出力インタフェース２０７は、データを取得又は出力する手段として機能することができる。

なお、映像処理装置１００は、単一の回路（プロセッサ等）によって構成されてもよいし、複数の回路の組み合わせによって構成されてもよい。ここでいう回路（circuitry）は、専用又は汎用のいずれであってもよい。

尚、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
時間的に連続する複数のフレーム画像のいずれかが、輝度又は彩度が前後のフレーム画像に対して所定のレベル以上異なる明滅領域を含む注目フレーム画像であるか判定する判定手段と、
前記注目フレーム画像及びその前後のフレーム画像から輝度又は彩度の差に基づいて選択されたフレーム画像のペアに基づいて、カメラの動きに起因する第１の移動量及び／又は被写体の動きに起因する第２の移動量を推定する動き推定手段と、
前記選択されたペアと、前記推定された第１の移動量及び／又は第２の移動量とに基づいて、前記注目フレーム画像の撮影時刻におけるフレーム画像に相当する補正フレーム画像を生成する画像生成手段と、
前記注目フレーム画像と前記補正フレーム画像とを合成する画像合成手段と
を備える映像処理装置。

（付記２）
前記動き推定手段は、
前記注目フレーム画像以外のフレーム画像から前記ペアの少なくとも一方を選択する選択手段
を有する
付記１記載の映像処理装置。

（付記３）
前記動き推定手段は、
前記ペアのフレーム画像間において検出された対応点又は対応領域の位置関係に基づいて幾何変換パラメーターを算出し、前記第１の移動量を推定する第１の推定手段を有する
付記２記載の映像処理装置。

（付記４）
前記動き推定手段は、
前記ペアの一方のフレーム画像から前記第１の移動量に基づいて被写体領域を検出し、当該ペアの他方のフレーム画像から当該被写体領域に対応する対応領域を検出し、前記被写体領域及び前記対応領域に基づいて前記第２の移動量を推定する第２の推定手段を有する
付記３記載の映像処理装置。

（付記５）
前記動き推定手段は、
前記幾何変換パラメーターに基づいて、前記第１の移動量を減算することで、前記ペアのそれぞれのフレーム画像から被写体領域を検出し、前記検出された被写体領域に基づいて前記第２の画素移動量を推定する第２の推定手段を有する
付記３記載の映像処理装置。

（付記６）
前記画像生成手段は、
前記第１の移動量に基づいて、前記ペアのそれぞれのフレーム画像から第１の補正画像を生成する第１の補正手段と、
前記第２の移動量に基づいて、前記第１の補正画像のそれぞれから第２の補正画像を生成する第２の補正手段と、
前記第２の補正フレーム画像のそれぞれを合成する合成手段と
を有する
付記１から５までのいずれか記載の映像処理装置。

（付記７）
前記判定手段は、
他のフレーム画像との間で、輝度又は彩度の変化率が規定値以上又は未満の領域が規定面積以上を占めるフレーム画像を前記注目フレーム画像であると判定する
付記１から６までのいずれか記載の映像処理装置。

（付記８）
前記画像合成手段は、
前記注目フレーム画像と前記補正フレーム画像とを合成する合成比率を、所定の関数をもとに算出する
付記１から７までのいずれか記載の映像処理装置。

（付記９）
前記画像合成手段は、
前記注目フレーム画像と前記補正フレーム画像とを合成するための合成比率として、前記注目フレーム画像と前記補正フレーム画像との変化率が大きい領域に対しては、前記補正フレーム画像の合成比率が大きくなるよう設定する
付記１から８までのいずれかに記載の映像処理装置。

（付記１０）
注目フレーム画像及びその前後のフレーム画像から輝度又は彩度の差に基づいて選択されたフレーム画像のペアに基づいて、カメラの動きに起因する第１の移動量及び／又は被写体の動きに起因する第２の移動量を推定し、
前記選択されたペアと、前記推定された第１の移動量及び／又は第２の移動量とに基づいて、前記注目フレーム画像の撮影時刻におけるフレーム画像に相当する補正フレーム画像を生成し、
前記注目フレーム画像と前記補正フレーム画像とを合成する
映像処理方法。

（付記１１）
前記ペアの少なくとも一方を前記注目フレーム画像以外のフレーム画像から選択する 付記１０記載の映像処理方法。

（付記１２）
前記ペアのフレーム画像間において検出された対応点又は対応領域の位置関係に基づいて幾何変換パラメーターを算出し、前記第１の移動量を推定する 付記１１記載の映像処理方法。

（付記１３）
前記ペアの一方のフレーム画像から前記第１の移動量に基づいて被写体領域を検出し、当該ペアの他方のフレーム画像から当該被写体領域に対応する対応領域を検出し、前記被写体領域及び前記対応領域に基づいて前記第２の移動量を推定する 付記１２記載の映像処理方法。

（付記１４）
前記幾何変換パラメーターに基づいて、前記第１の移動量を減算することで、前記ペアのそれぞれのフレーム画像から被写体領域を検出し、前記検出された被写体領域に基づいて前記第２の画素移動量を推定する 付記１２記載の映像処理方法。

（付記１５）
前記第１の移動量に基づいて、前記ペアのそれぞれのフレーム画像から第１の補正画像を生成し、
前記第２の移動量に基づいて、前記第１の補正画像のそれぞれから第２の補正画像を生成し、
前記第２の補正フレーム画像のそれぞれを合成する
付記１０から１４までのいずれか記載の映像処理方法。

（付記１６）
他のフレーム画像との間で、輝度又は彩度の変化率が規定値以上又は未満の領域が規定面積以上を占めるフレーム画像を前記注目フレーム画像であると判定する
付記１０から１５までのいずれか記載の映像処理方法。

（付記１７）
前記注目フレーム画像と前記補正フレーム画像とを合成する合成比率を、所定の関数をもとに算出する
付記１０から１６までのいずれか記載の映像処理方法。

（付記１８）
前記注目フレーム画像と前記補正フレーム画像とを合成するための合成比率として、前記注目フレーム画像と前記補正フレーム画像との変化率が大きい領域に対しては、前記補正フレーム画像の合成比率を大きくなるよう設定する
付記１０から１７までのいずれかに記載の映像処理方法。

（付記１９）
コンピュータに、
時間的に連続する複数のフレーム画像のいずれかが、輝度又は彩度が前後のフレーム画像に対して所定のレベル以上異なる明滅領域を含む注目フレーム画像であるか判定する処理と、
前記注目フレーム画像及びその前後のフレーム画像から輝度又は彩度の差に基づいて選択されたフレーム画像のペアに基づいて、カメラの動きに起因する第１の移動量及び／又は被写体の動きに起因する第２の移動量を推定する処理と、
前記選択されたペアと、前記推定された第１の移動量及び／又は第２の移動量とに基づいて、前記注目フレーム画像の撮影時刻におけるフレーム画像に相当する補正フレーム画像を生成する処理と、
前記注目フレーム画像と前記補正フレーム画像とを合成する処理と
を実行させるための映像処理プログラム。

（付記２０）
前記推定する処理において、
前記注目フレーム画像以外のフレーム画像から前記ペアの少なくとも一方を選択する
付記１９記載の映像処理プログラム。

（付記２１）
前記推定する処理において、
前記ペアのフレーム画像間において検出された対応点又は対応領域の位置関係に基づいて幾何変換パラメーターを算出し、前記第１の移動量を推定する
付記２０記載の映像処理プログラム。

（付記２２）
前記推定する処理において、
前記幾何変換パラメーターに基づいて、前記第１の移動量を減算することで、前記ペアのそれぞれのフレーム画像から被写体領域を検出し、前記検出された被写体領域に基づいて前記第２の画素移動量を推定する
付記２１記載の映像処理プログラム。

（付記２３）
前記推定する処理において、
前記ペアの一方のフレーム画像から前記第１の移動量に基づいて被写体領域を検出し、当該ペアの他方のフレーム画像から当該被写体領域に対応する対応領域を検出し、前記被写体領域及び前記対応領域に基づいて前記第２の移動量を推定する 付記２１記載の映像処理プログラム。

（付記２４）
前記補正フレーム画像を生成する処理において、
前記第１の移動量に基づいて、前記ペアのそれぞれのフレーム画像から第１の補正画像を生成し、
前記第２の移動量に基づいて、前記第１の補正画像のそれぞれから第２の補正画像を生成し、
前記第２の補正フレーム画像のそれぞれを合成する
付記１９から２３までのいずれか記載の映像処理プログラム。

（付記２５）
前記判定する処理において、
他のフレーム画像との間で、輝度又は彩度の変化率が規定値以上又は未満の領域が規定面積以上を占めるフレーム画像を前記注目フレーム画像であると判定する
付記１９から２４までのいずれか記載の映像処理プログラム。

（付記２６）
前記合成する処理において、
前記注目フレーム画像と前記補正フレーム画像とを合成する合成比率を、所定の関数をもとに算出する
付記１９から２５までのいずれか記載の映像処理プログラム。

（付記２７）
前記合成する処理において、
前記注目フレーム画像と前記補正フレーム画像とを合成するための合成比率として、前記注目フレーム画像と前記補正フレーム画像との変化率が大きい領域に対しては、前記補正フレーム画像の合成比率が大きくなるよう設定する
付記１９から２６までのいずれか記載の映像処理プログラム。

（付記２８）
時間的に連続する複数のフレーム画像から第１のフレーム画像と第２のフレーム画像とを選択する選択手段と、
前記第１のフレーム画像と前記第２のフレーム画像の間において検出された対応点又は対応領域の位置関係に基づいて幾何変換パラメーターを算出し、カメラの動きに起因する第１の移動量を推定する第１の推定手段と、
前記幾何変換パラメーターに基づいて、前記第１の移動量を減算することで、前記第１のフレーム画像及び前記第２のフレーム画像から被写体領域を検出し、前記検出された被写体領域に基づいて被写体の動きに起因する第２の移動量を推定する第２の推定手段と
を備える映像処理装置。

（付記２９）
時間的に連続する複数のフレーム画像から第１のフレーム画像と第２のフレーム画像とを選択し、
前記第１のフレーム画像と前記第２のフレーム画像の間において検出された対応点又は対応領域の位置関係に基づいて幾何変換パラメーターを算出し、カメラの動きに起因する第１の移動量を推定し、
前記幾何変換パラメーターに基づいて、前記第１の移動量を減算することで、前記第１のフレーム画像及び前記第２のフレーム画像から被写体領域を検出し、前記検出された被写体領域に基づいて被写体の動きに起因する第２の移動量を推定する
映像処理方法。

（付記３０）
コンピュータに、
時間的に連続する複数のフレーム画像から第１のフレーム画像と第２のフレーム画像とを選択する処理と、
前記第１のフレーム画像と前記第２のフレーム画像の間において検出された対応点又は対応領域の位置関係に基づいて幾何変換パラメーターを算出し、カメラの動きに起因する第１の移動量を推定する処理と、
前記幾何変換パラメーターに基づいて、前記第１の移動量を減算することで、前記第１のフレーム画像及び前記第２のフレーム画像から被写体領域を検出し、前記検出された被写体領域に基づいて被写体の動きに起因する第２の移動量を推定する処理と
を実行させるためのプログラム。

以上好ましい実施の形態を挙げて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

この出願は、２０１５年１月６日に出願された日本出願特願２０１５−０００６３０を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１１ 判定部
１２ 動き推定部
１２Ａ 選択部
１２Ｂ 第１推定部
１２Ｃ 第２推定部
１３ 画像生成部
１３Ａ 第１補正部
１３Ｂ 第２補正部
１３Ｃ 合成部
１４ 画像合成部

Claims (10)

1. 時間的に連続する複数のフレーム画像のいずれかが、輝度又は彩度が前後のフレーム画像に対して所定のレベル以上異なる明滅領域を含む注目フレーム画像であるか判定する判定手段と、
   前記注目フレーム画像及びその前後のフレーム画像から輝度又は彩度の差に基づいて選択されたフレーム画像のペアに基づいて、カメラの動きに起因する第１の移動量及び／又は被写体の動きに起因する第２の移動量を推定する動き推定手段と、
   前記選択されたペアと、前記推定された第１の移動量及び／又は第２の移動量とに基づいて、前記注目フレーム画像の撮影時刻におけるフレーム画像に相当する補正フレーム画像を生成する画像生成手段と、
   前記注目フレーム画像と前記補正フレーム画像とを合成する画像合成手段と
   を備える映像処理装置。
2. 前記動き推定手段は、
   前記注目フレーム画像以外のフレーム画像から前記ペアの少なくとも一方を選択する選択手段
   を有する
   請求項１記載の映像処理装置。
3. 前記動き推定手段は、
   前記ペアのフレーム画像間において検出された対応点又は対応領域の位置関係に基づいて幾何変換パラメーターを算出し、前記第１の移動量を推定する第１の推定手段を有する
   請求項２記載の映像処理装置。
4. 前記動き推定手段は、
   前記ペアの一方のフレーム画像から前記第１の移動量に基づいて被写体領域を検出し、当該ペアの他方のフレーム画像から当該被写体領域に対応する対応領域を検出し、前記被写体領域及び前記対応領域に基づいて前記第２の移動量を推定する第２の推定手段を有する
   請求項３記載の映像処理装置。
5. 前記動き推定手段は、
   前記幾何変換パラメーターに基づいて、前記第１の移動量を減算することで、前記ペアのそれぞれのフレーム画像から被写体領域を検出し、前記検出された被写体領域に基づいて前記第２の移動量を推定する第２の推定手段を有する
   請求項３記載の映像処理装置。
6. 前記画像生成手段は、
   前記第１の移動量に基づいて、前記ペアのそれぞれのフレーム画像から第１の補正画像を生成する第１の補正手段と、
   前記第２の移動量に基づいて、前記第１の補正画像のそれぞれから第２の補正画像を生成する第２の補正手段と、
   前記第２の補正画像を合成することで前記補正フレーム画像を生成する合成手段と
   を有する
   請求項１から５までのいずれか１項記載の映像処理装置。
7. 前記画像合成手段は、
   前記注目フレーム画像と前記補正フレーム画像の各画素を、当該画素の輝度の差に応じた比率で合成する
   請求項１から６までのいずれか１項記載の映像処理装置。
8. 時間的に連続する複数のフレーム画像のいずれかが、輝度又は彩度が前後のフレーム画像に対して所定のレベル以上異なる明滅領域を含む注目フレーム画像であるか判定し、
   前記注目フレーム画像及びその前後のフレーム画像から輝度又は彩度の差に基づいて選択されたフレーム画像のペアに基づいて、カメラの動きに起因する第１の移動量及び／又は被写体の動きに起因する第２の移動量を推定し、
   前記選択されたペアと、前記推定された第１の移動量及び／又は第２の移動量とに基づいて、前記注目フレーム画像の撮影時刻におけるフレーム画像に相当する補正フレーム画像を生成し、
   前記注目フレーム画像と前記補正フレーム画像とを合成する
   映像処理方法。
9. コンピュータに、
   時間的に連続する複数のフレーム画像のいずれかが、輝度又は彩度が前後のフレーム画像に対して所定のレベル以上異なる明滅領域を含む注目フレーム画像であるか判定する処理と、
   前記注目フレーム画像及びその前後のフレーム画像から輝度又は彩度の差に基づいて選択されたフレーム画像のペアに基づいて、カメラの動きに起因する第１の移動量及び／又は被写体の動きに起因する第２の移動量を推定する処理と、
   前記選択されたペアと、前記推定された第１の移動量及び／又は第２の移動量とに基づいて、前記注目フレーム画像の撮影時刻におけるフレーム画像に相当する補正フレーム画像を生成する処理と、
   前記注目フレーム画像と前記補正フレーム画像とを合成する処理と
   を実行させるためのプログラム。
10. 時間的に連続する複数のフレーム画像から輝度変化に基づいて、明領域を含まない、第１のフレーム画像と第２のフレーム画像とを選択する選択手段と、
    前記第１のフレーム画像と前記第２のフレーム画像の間において検出された対応点又は対応領域の位置関係に基づいて幾何変換パラメーターを算出し、カメラの動きに起因する第１の移動量を推定する第１の推定手段と、
    前記幾何変換パラメーターに基づいて、前記第１の移動量を減算することで、前記第１のフレーム画像及び前記第２のフレーム画像から被写体領域を検出し、前記検出された被写体領域に基づいて被写体の動きに起因する第２の移動量を推定する第２の推定手段と
    を備える映像処理装置。

Images