JP4743601B2 - 動画像処理装置 - Google Patents

Description

本発明は、動画像処理装置に関し、特に、圧縮された符号化動画像の符号情報を利用して、高速かつ高精度にカメラワークに関する撮影状態を推定する動画像処理装置に関する。

動画像などのコンテンツをサーバなどに蓄積しておき、ユーザからの要求により携帯電話端末やPDAなどの携帯端末に配信するコンテンツ配信サービスが行われるようになってきた。

動画像は圧縮された符号化動画像として蓄積されるのが普通である。動画像配信サービスにおいては、特定内容の動画像コンテンツや動画像における一部シーンだけが要求される場合もある。このような要求に対処するため、動画像をその内容やシーンごとに分離し、区別し得るようにしておくことが望まれる。カメラワークの推定は、コンテンツの内容理解やシーン分離の一助として応用でき、MPEG-7の写像パラメータ記述子またはカメラパラメータ記述子などに利用することができる。

特許文献１には、カメラの位置、姿勢、およびレンズの状態を計測するセンサをカメラに取り付け、撮影(カメラ操作)を行う際、センサにより計測されたカメラ操作パラメータ(カメラの水平移動、パン角度、チルト角度など)を映像信号と同期して取得し、記録する動画像動き推定装置が記載されている。

特許文献２には、勾配法で求めたオプティカルフローをもとに、カメラワークのパラメータ(ズーム、チルト、パンなど)を個別に推定する動画像処理方法が記載されている。ここでは、消失点の推定にハフ変換を利用し、オプティカルフローの誤りの修正に動的輪郭モデルを利用している。

特許文献３には、動きベクトルの微分値をクラスタリングし、クラスタの分布、クラスタが単峰性か多峰性かによってカメラパラメータを推定するカメラパラメータ推定方法が記載されている。ここでは、ズーム、ドリーによる拡大率を推定し、拡大率を打ち消した後、パン、チルト、トラック、ブームによる移動量を推定している。

特許文献４には、代表点マッチング法により１フィールドごとの画像の動きベクトルを検出し、パン、チルトを推定する演算手段を含む画像撮影システムが記載されている。

特許文献５には、撮影者の意図を反映した重要画像を抽出して表示させるため、入力画像の動きベクトルを検出し、この動きベクトルが所定の条件に当てはまるか否かによってパン、チルト、ズームなどを推定する映像処理装置が記載されている。

特許文献６(先願)では、符号情報として格納されている小領域ごとの局所的な動き情報から大域的な動き情報を高精度に推定し得る動き予測情報検出装置を既に提案した。
特開２００１−８６３９２号公報 特開平９−２１２６４８号公報 特開平１０−２３３９５８号公報 特開２００１−２８７０８号公報 特開２００４−８８３５２号公報 特願２００４−１７３０２号(先願)

動画像におけるカメラワークに関する撮影状態を推定する最も原始的な方法は、撮影済みの動画像の撮影状態を目視により推定する方法である。この方法は、必要とする労力と時間を考えると現実的でない。特に、コンテンツが長尺の場合には多大の労力と時間を必要とする。

特許文献１の動画像動き推定装置では、カメラのキャリブレーションが予め必要であり、レンズの焦点距離、歪曲収差等が既知でなければならない。しかも、カメラに取り付けたセンサによりカメラ操作パラメータを計測するものであるため、すでに撮影済みで、カメラ操作パラメータが計測されていない映像コンテンツに対しては適用することができないという課題がある。

特許文献２の動画像処理方法では、カメラワークの推定を画素領域で行うので、符号化された動画像の場合にはその符号情報を一旦復号する必要がある。さらに、オプティカルフローや動的輪郭モデルなどに大きな処理コストが掛かるという課題がある。

特許文献３〜５の技術では、動きベクトルを利用してパン、チルトなどのカメラワークを推定する。ここで、動きベクトルは、圧縮効率を高めることを意図して決定されるものであるので、カメラ本来の動きを表さない場合がある。特に画像が平坦な領域ではノイズの影響が大きいため、動きベクトルがカメラ本来の動きと異なる場合が多い。そのため、動きベクトルがカメラ本来の動きと一致するとは限らず、それを元にして推定したカメラワークは信頼性に乏しくなる。また、カメラ操作パラメータを段階的に推定する場合、推定されたカメラ操作パラメータの誤差が順次蓄積されて後段ほど大きくなるという課題がある。

さらに、特許文献５の映像処理装置では、動きベクトルが同じ向きか放射状かを判断するだけであるので、複数の操作(例えば、パンとズーム)が同時に操作された場合は誤判定が生じるという課題がある。

特許文献６の動き予測情報検出装置は、前景、背景だけでなく誤った動き情報も含め、すべての局所的な動き情報を大域的な動き情報で表現することを意図するものであり、大域的な動き情報をそのままカメラワークとして利用することはできない。

本発明の目的は、上記課題を解決し、圧縮された符号化動画像の符号情報を利用して高速かつ高精度にカメラワークに関する撮影状態を推定する動画像処理装置を提供することにある。

上記課題を解決するために、本発明は、符号化動画像における符号情報を利用してカメラワークに関する撮影状態を推定する動画像処理装置において、伝送又は蓄積された符号化動画像を入力し、入力された符号化動画像から符号情報を部分的に抽出する符号情報抽出部と、上記符号情報抽出部により抽出された符号情報からカメラワークに関する撮影状態を表現する符号情報を選択する選択部と、前記選択部により選択された符号情報を用いてカメラワークに関する撮影状態を推定する推定部を備え、前記推定部は、撮影機器の動きを、写像関係にある一組の画像において各画素を対応付けるモデルでモデル化し、該モデルにおける係数を、該モデルによる変換後の画素の位置情報と前記選択部により選択された符号情報に格納されている動き情報による動き補償後の、前記モデルによる変換後の画素に対応する画素の位置情報との相違が最小となるようにして算出する係数算出手段を備え、該係数を用いてカメラワークに関する撮影状態を推定することを基本的特徴としている。

本発明によれば、符号化動画像に格納されている局所的な動き情報からカメラワークに伴う複数の局所的動き情報を個々に選別し、それらを統合する大域的な動きから高精度にカメラワークを推定することができる。また、符号化動画像を完全に復号せず、すべて符号領域でカメラワークパラメータを算出するので、演算量を抑えることが可能であり、また、高速にカメラワークを推定することができる。

以下、図面を参照して本発明を説明する。図１は、本発明に係る動画像処理装置の一実施形態を示す機能ブロック図である。これらの各機能部はソフトウエアでもハードウエアでも実現できる。ここでは、国際標準であるMPEG-1 ビデオ(ISO/IEC11172-2)に従って符号化された符号化動画像を処理対象とする場合を想定するが、本発明が処理対象とする動画像の符号化方式はこれに限定されない。

図１において、符号化動画像は、まず、符号情報抽出部11に入力される。符号情報抽出部11は、符号化動画像に格納されている符号情報を部分的に抽出し、選択部12に出力する。選択部12は、符号情報抽出部11により抽出された符号情報からカメラワークを表現している符号情報を選択し、推定部13に出力する。推定部13は、選択部12により選択された符号情報を用いてカメラワークを推定し、カメラワークパラメータを出力する。以下、図１の各機能部について具体的に説明する。

〈符号情報抽出部11〉
符号情報抽出部11は、入力された符号化動画像から、カメラワークを表現している符号情報として動き情報を抽出する。符号情報抽出部11には可変長復号部も含まれる。ここでは、全ての動き情報を抽出する必要はなく、動き情報を保持するフレームの一部から必要な動き情報だけを抽出する。動き情報を持つすべてのフレームを処理対象とするのは冗長であるだけでなく、処理コストの増大に繋がりかねない。

推定すべきカメラワークは、瞬間的にランダムな動きが発生する手振れと異なり、撮影者の明確な意図によってカメラが操作されるので、一定時間継続して同じ動き情報を生じる。このことを利用して、一定時間間隔を置いて動き情報を抽出する。

一般的に、MPEGはIPB構造を持ち、Iピクチャ間隔が15から30フレーム間隔で設定され、Pピクチャ間隔は3から5フレーム間隔で設定される。BピクチャはIPピクチャの間を埋めるように符号化される。ここで、動き情報を持つのはPピクチャおよびBピクチャであるが、Bピクチャは枚数が多すぎるだけでなく、参照フレームまでの時間的距離が一定でないため、動き情報からのカメラワークの推定が煩雑になる。さらに、Bピクチャの動き情報は、前方向予測、後方向予測、両方向予測から任意に設定できるため、統一的にカメラワークを推定することが困難である。したがって、符号情報抽出部11では、Pピクチャを対象として符号情報を一定間隔で抽出し、それにおける動き情報を抽出するのが好ましい。なお、Pピクチャにおいて動き情報が存在しない小領域には「動き無し」という情報を割り当てておく。これにより、カメラワークの推定に用いる符号情報を大幅に削減できるため、処理コストの低減による高速化が図られる。

Bピクチャが存在せず、Pピクチャが1フレーム間隔に存在する場合には、動き情報をすべてのPピクチャから抽出するのではなく、一定間隔ごとに動き情報を抽出するのが好ましい。符号情報抽出部11で抽出された動き情報は選択部12に送られる。

〈選択部12〉
選択部12は、符号情報抽出部11で抽出された動き情報を入力とする。カメラワークの推定には、カメラの動きを正確に捕捉した動き情報を用いる必要がある。しかし、圧縮率向上の観点から選ばれる動き情報は、常にカメラ本来の動きを正確に捉えているとは限らない。特に、画像において変化の乏しい平坦な領域では僅かな予測誤差の違いからカメラの動きを正確に推定することが困難である。明確なエッジが存在する領域はカメラ本来の動きを捉えやすい。特に、物体の角や端点などの複数のエッジが交差する領域は信頼性が高い。

選択部12では入力された動き情報から時間的および空間的なノイズを除去し、連続性のある動き情報を選別した後、クラスタリングによって前景と背景を分離するとともに、背景領域のカメラワークの推定に用いる動き情報を選択する。

図２は、選択部12の具体例を示す機能ブロック図である。選択部12は、ノイズ除去手段121、クラスタリング手段122およびクラスタ選択手段123を備え、これらにより符号情報抽出部11で抽出された動き情報を順次処理する。

ノイズ除去手段121は、符号情報抽出部11で抽出された動き情報から平坦領域に存在しやすい誤った動き情報を排除する。図３は、パンおよびチルトの場合の画面内の動き情報(動きベクトル)を示す。理想的なパンおよびチルトでは画面内のすべての動き情報が同じ値を持つ。図４はズームの場合の画面内の動き情報を示す。理想的なズームやロールなどでは局所的に見れば周囲の動き情報との間に大きな差はない。

ノイズ除去手段121では、まず、近傍の動き情報と比較して大きな差がある動き情報を排除することにより、空間的ノイズが除去された動き情報を符号領域で選定する。図５は、空間的ノイズが含まれた動き情報の例を示す。

カメラの動きに伴う動き情報であっても、手振れなど撮影者が意図しないカメラワークを検出する必要はない。また、空間的ノイズでなくても移動物体に伴う動き情報はカメラワークを推定する上で妨げとなる。

ノイズ除去手段121では、空間的ノイズが除去された動き情報から、さらに手振れなどに伴う時間的連続性を持たない時間的ノイズを除去する。異なる時間の複数フレームにおいて一定位置の動き情報に注目するとき、手振れに伴う動き情報は小刻みに振動する。カメラワークと関係のない移動物体に伴う動き情報も時間的連続性を保持しない。カメラワークは一定時間連続すると想定できるので、複数フレームに渡って同位置の動き情報が時間的に変化しないことを検証することによって時間的ノイズを除去できる。

時間的ノイズが除去された動き情報を符号領域で選定するため、動き情報の長さや角度の変化を判断基準に用いることができる。図６は、時間的ノイズの例を示し、時間t,t+1,t+2のフレームで同位置の動き情報の長さや角度が時間的に変化している場合には、該動き情報を時間的ノイズとして排除する。ノイズ除去手段121からは空間的かつ時間的に一致する動き情報が出力され、クラスタリング手段122に入力される。

時間的かつ空間的ノイズが除去された動き情報であっても、カメラワークとは関係のない移動物体による動きが含まれていてはカメラワークを正確に推定できない。カメラワークに伴う動き情報は背景領域に存在する。そこで、まず、クラスタリング手段122において、ノイズ除去手段121で時間的かつ空間的ノイズが除去された動き情報を前景領域部分と背景領域部分にクラスタリングする。クラスタリングは、動き情報を長さや角度の類似度などが一致する領域別に分離することで実現できる。クラスタリングには他の任意の手法を用いることができる。図７は、２つの領域にクラスタリングされた動き情報の例を示す。

次に、クラスタ選択手段123において、クラスタリング手段122によるクラスタリングで形成されたクラスタからカメラワークを捉えている動き情報のクラスタを選択する。移動物体の領域が背景領域に比べて十分に小さいことが想定されれば、十分に大きい領域のクラスタをカメラワークを捉えている動き情報のクラスタとして選択できる。図７は、他と比較して大きい領域のクラスタをカメラワークを捉えている動き情報のクラスタとして選択する例である。

同程度の大きさの領域のクラスタが複数存在する場合には、カメラワークを捉えている可能性の高い動き情報のクラスタを優先させればよい。例えば、カメラの中心には撮影対象の移動物体が写っている場合が多いことが想定されるので、画面端に位置するクラスタあるいは外接矩形が大きいクラスタを選択することにより、カメラワークを捉えている可能性の高い動き情報のクラスタを選択できる。

〈推定部13〉
図８は、推定部13の具体例を示す機能ブロック図である。推定部13は、動き情報選択手段131、係数算出手段132、適合度算出手段133およびカメラワークパラメータ推定手段134を備え、選択部12で選択された動き情報を順次処理する。

動き情報選択手段131では、カメラワークの推定に使用する動き情報を必要に応じて選択する。カメラワークは、パン、チルト、ズーム、ロールなどに分類できる。これらのカメラワークは、一般的に6自由度のアフィン変換でモデル化できる。パン、チルト、ズームだけを推定したい場合は、より少ない変換係数によるモデル化も可能である。

アフィン変換によるモデル化の場合、6組の動き情報があれば6個の係数を推定できる。選択部12によって選択された動き情報が係数算出に必要な個数に満たない場合には、カメラワークを表現するのに十分な信頼性を持った動き情報が存在しないとして、推定対象区間の動画像にカメラワークは存在しないと判断する。

逆に、選択部12によって十分な個数の動き情報が選択された場合には、これらの動き情報を用いてカメラワークを推定する。選択された動き情報が多い場合には、動き情報を信頼性の高い順に選択するなどして、モデルにおける係数算出に使用する動き情報を制限すれば計算負荷を削減することができる。動き情報選択手段131は、係数算出に使用する動き情報を制限する。

動き情報の信頼性は、適度なエッジを持った領域ほど高いと判断できる。この判断基準には、発生符号量やDCT係数を利用することができる。例えば、可変長符号化されているDCT係数のビット量、DCT係数の最高次係数まで連続する0 の長さ、DCT係数のAC成分絶対値和のうちの少なくとも１つをこの判断基準に用いることができる。これらはいずれも符号化動画像に格納されている符号情報であるので簡単に取得できる。複数フレームに渡って同位置の動き情報の変動が小さいほど動き情報の信頼性が高いと判断することもできる。

信頼性の高い動き情報を選択する場合、選択する動き情報の個数nはモデルにおける係数を算出するのに十分であれば任意の個数でよい。

係数算出手段132は、動き情報選択手段131で選択した動き情報からモデルにおける係数を算出する。フレーム画像を構成する画素を走査順に並べたとき、i番目の画素の座標とそれに付随する動き情報をそれぞれ(x_ｉ,y_ｉ)および(u_ｉ,v_ｉ)(i=1,2,・・・,n)で表すと、アフィン変換でカメラワークをモデル化した場合、6個の係数g_ｊ(1≦j≦6)を用いて変換された後の座標(x_ｉ",y_ｉ")は、式(1),(2)で与えられる。

一方、動き情報を(u_ｉ,v_ｉ)(i=1,2,・・・,n)を用いて動き補償された後の座標(x_ｉ',y_ｉ')は、式(3),(4)で与えられる。

各成分の2乗誤差の和を最小にする係数g_ｊを求めるとき、アフィン変換係数はx，y成分ごとに互いに独立であるので、x,y成分ごとに最小値を求めることで計算の規模を縮小できる。

各成分の2乗誤差の重み付き総和e_ｘ,e_ｙをそれぞれ式(5),(6)と定義し、この総和e_ｘ,e_ｙを最小にする係数g_ｊを最適なアフィン変換係数として求める。なお、w_ｋは重み係数であり、上記動き情報の信頼性に応じた数値を用いることができる。重み係数w_ｋを1にすれば式(5),(6)を簡略化できる。

2乗誤差の重み付き総和e_ｘ,e_ｙを最小化する係数g_ｊを求めるには、式(5),(6)をg_ｊで偏微分した値を0 にして得られる式(7),(8)を解けばよい。

ただし、[x] は式(9)で表される和であり、具体的には式(10)で表される。

ここで、Dを式(11)で定義すると、アフィン変換係数g_ｊは、式(12)で求めることができる。

適合度算出手段133は、係数算出手段132で算出された係数g_ｊを用いたときの変換がクラスタ内の他の動き情報に対しても十分に適合するか検証し、十分に適合する係数g_ｊを選択する。係数g_ｊを用いた変換がクラスタ内の他の動き情報に対しても適合するかの適合度には、上記2乗誤差の重み付き総和e_ｘ,e_ｙを用いることができる。あるいは、動き情報と係数g_ｊによる推定値との差の絶対値が予め設定された閾値で抑えられるか否かで適合度を判断することができる。この場合、閾値は動き情報の分散に応じて適応的に変化させることができる。

係数算出手段132で算出された係数g_ｊを用いた変換がクラスタ内の他の動き情報に対しても十分に適合している場合には該係数g_ｊを選択し、適合していない場合にはクラスタ内の動き情報を選択し直して係数算出手段132に与え、係数g_ｊを再度算出させる。算出された係数g_ｊを用いた変換がクラスタ内の他の動き情報に対しても十分に適合するまで上記一連の処理を繰り返し、適合したときの係数g_ｊを選択する。あるいは予め設定した一定回数だけ上記一連の処理を繰り返し、その中で最適な係数g_ｊを選択するようにしてもよい。

カメラパラメータ推定手段134は、適合度算出手段133で選択された係数g_ｊからカメラワークの存在と種類を推定する。カメラワークは一定の時間連続すると想定できるが、その間に完全に同一の係数g_ｊが発生し続けるとは限らない。加速度的にパンする場合などには係数g_ｊが徐々に変化する。そこで、一定時間毎にカメラワークの推定を行いつつ、同じ種類のカメラワークが連続することを以て最終的にカメラワークの有無を判断する。あるいは係数g_ｊの累積値が予め定めた閾値を超えることを以てカメラワークを推定する。

アフィン変換によるモデル化の場合には、回転角度θ、水平方向の移動量m_ｘ、垂直方向の移動量m_ｙ、水平方向の拡大率s_ｘ、垂直方向の拡大率s_ｙはそれぞれ、式(13)で得られる。

本発明は、符号情報そのものを利用しつつ高精度かつ高速にカメラワークを推定可能にするので、映像コンテンツのハイライトやダイジェストの自動生成における要素技術などに適用できる。

本発明に係る動画像処理装置の一実施形態を示す機能ブロック図である。 選択部の具体例を示す機能ブロック図である。 パンおよびチルトの場合の画面内の動き情報(動きベクトル)を示す説明図である。 ズームの場合の画面内の動き情報を示す説明図である。 空間的ノイズが含まれた動き情報の例を示す説明図である。 時間的ノイズの例を示す説明図である。 ２つの領域にクラスタリングされた動き情報の例を示す説明図である。 推定部の具体例を示す機能ブロック図である。

符号の説明

11・・・符号情報抽出部、12・・・選択部、13・・・推定部、121・・・ノイズ除去手段、122・・・クラスタリング手段、123・・・クラスタ選択手段、131・・・動き情報選択手段、132・・・係数算出手段、133・・・適合度算出手段、134・・・カメラワークパラメータ推定手段

Claims (13)

1. 符号化動画像における符号情報を利用してカメラワークに関する撮影状態を推定する動画像処理装置において、
   伝送又は蓄積された符号化動画像を入力し、入力された符号化動画像から符号情報を部分的に抽出する符号情報抽出部と、
   上記符号情報抽出部により抽出された符号情報からカメラワークに関する撮影状態を表現する符号情報を選択する選択部と、
   前記選択部により選択された符号情報を用いてカメラワークに関する撮影状態を推定する推定部を備え、
   前記推定部は、撮影機器の動きを、写像関係にある一組の画像において各画素を対応付けるモデルでモデル化し、該モデルにおける係数を、該モデルによる変換後の画素の位置情報と前記選択部により選択された符号情報に格納されている動き情報による動き補償後の、前記モデルによる変換後の画素に対応する画素の位置情報との相違が最小となるようにして算出する係数算出手段を備え、該係数を用いてカメラワークに関する撮影状態を推定することを特徴とする動画像処理装置。
2. 前記符号情報抽出部は、符号化動画像に格納されている符号情報のうち一部フレームの一部符号情報だけを抽出することを特徴とする請求項１に記載の動画像処理装置。
3. 前記符号情報抽出部は、符号化動画像に格納されている動き情報を符号情報として抽出することを特徴とする請求項１または２に記載の動画像処理装置。
4. 前記選択部は、動き情報からノイズを除去し撮影機器の動きを表す動き情報を選択するノイズ除去手段を備えたことを特徴とする請求項３に記載の動画像処理装置。
5. 前記選択部は、動き情報の信頼度を符号領域で判定する手段を備え、該手段は、動き情報の空間的かつ時間的な連続性を判定基準とすることを特徴とする請求項３または４に記載の動画像処理装置。
6. 前記選択部は、クラスタリング手段を備え、該クラスタリング手段は、動き情報の類似度に従って撮影機器の動きを表す動き情報とそれ以外の動きを表す動き情報を符号領域で分離することを特徴とする請求項３ないし５のいずれか１つに記載の動画像処理装置。
7. 前記クラスタリング手段は、動き情報が類似している領域の相対的な面積あるいは画面内位置を判断基準として撮影機器の動きを表す動き情報を含む領域を判断することを特徴とする請求項６に記載の動画像処理装置。
8. 前記推定部は、前記選択部により選択された符号情報に格納されている動き情報を信頼性に応じて選択する選択手段を備え、前記係数算出手段は、前記モデルにおける係数を、該モデルによる変換後の画素の位置情報と前記選択手段により選択された動き情報による動き補償後の、前記モデルによる変換後の画素に対応する画素の位置情報との相違が最小となるようにして算出することを特徴とする請求項１に記載の動画像処理装置。
9. 前記推定部は、動き情報の信頼性として、複数フレームに渡る同位置の動き情報の分散、予測誤差情報の発生符号量、部分絶対値和の少なくとも１つを利用することを特徴とする請求項８に記載の動画像処理装置。
10. 前記推定部は、係数算出手段により算出された係数をモデルに当てはめ、係数を算出する際に用いなかった動き情報を用いて、算出された係数の適合度合いを検証する適合度算出手段を備えたことを特徴とする請求項１に記載の動画像処理装置。
11. 前記推定部は、算出された係数が不適合と判断された場合には、他の動き情報を用いて前記係数算出手段に反復して係数を算出させ、適合と判断された係数あるいは予め設定した反復回数の中で最適な係数を採用することを特徴とする請求項１０に記載の動画像処理装置。
12. 前記推定部は、算出された係数から一時的な撮影機器の動きを推定し、その連続性を判断基準として撮影機器の動きを推定する推定手段を備えたことを特徴とする請求項１、１０、１１のいずれか１つに記載の動画像処理装置。
13. 前記推定部は、連続性の判断基準として、撮影機器の一時的な動きの種類が一致すること、撮影機器の一時的な動き量の累積値が閾値を超えることの少なくとも一方を利用することを特徴とする請求項１２に記載の動画像処理装置。

Images