JP4730813B2 - 動画像データの分類装置 - Google Patents

Description

本発明は、非圧縮または圧縮された動画像データを解析し、それらを予め定義されたショット種別に分類する動画像データの分類装置に関し、特に意味的なショット種別に分類することによって動画像データの効率的な検索、閲覧、あるいは動画像の内容や文脈の推定をすることが可能な、動画像データの分類装置に関する。

動画像データのショット分類に関する従来技術としては、本発明者等による特開２００４−２６０７３４号公報において、ショットを「アクション」クラス、「ドラマチック」クラス、「会話」クラス、「汎用」クラスなどに分類する手段、スローシーン、ズームシーン、パンシーンなどの意味的な概念を持たないシーン種別、及びコマーシャルシーンやハイライトシーンなどの意味的な概念を持つシーン種別に分類する装置が開示されている。

また、本発明者等による特願２００４−６２８６６号においては、ショット種別として「風景」クラスを導入し、同一クラスのショットの集合をシーンとして判定する装置が開示されている。
特開２００４−２６０７３４号公報

前記した既存技術では、動画像データを予め定義されたショット種別に分類することができるが、これらは比較的大まかな分類であり、ショットのラベル付けという観点ではより詳細なショット種別が必要となる。例えば「アクション」クラスは比較的広義であり、実際には「爆発」や「カーチェイス」などの従属クラスが存在する。また、このようなショット種別を用いて動画像の内容や文脈を推定しようとした場合、詳細なショット種別を定義することにより動画像の内容や文脈を適切に捉えることができる。

本発明は、前記した従来技術に鑑みてなされたものであり、その目的は、より詳細なショット種別を判定することのできる非圧縮または圧縮された動画像データの分類装置を提供することにある。

本発明は、非圧縮または圧縮された動画像データの分類装置において、 前記動画像データのショット分割を行うショット分割部と、前記動画像データにおける色情報を解析する色情報解析部と、動き情報を解析する動き情報解析部と、前記動画像データに付随するオーディオデータを解析するオーディオ解析部と、前記動画像データの動き情報とオーディオデータからアクションを含むショットを判定するアクションショット判定部と、 前記動画像データの動き情報とオーディオデータから会話を含むショットを判定する会話ショット判定部と、前記アクションショット判定部から得られたアクションショットの中から前記色情報解析部で解析された色情報を用いて爆発ショットを判定する爆発ショット判定部と、前記アクションショット判定部から得られた動き情報を用いてチェイスショットを判定するチェイスショット判定部と、前記会話ショット判定部から得られた会話ショットの中からクローズアップショットを判定するクローズアップショット判定部とを具備し、前記爆発ショットとチェイスショットはアクションショットの従属クラス、前記クローズアップショットは会話ショットの従属クラスとすることにより、階層的なショット種別の分類を行うようにした点に特徴がある。

本発明によれば、非圧縮または圧縮された動画像データを、爆発ショット、チェイスショット、またはクローズアップショット等の意味的なショット種別に分類することができる。

また、アクションからさらにチェイスを含むショットを判定し、あるいは会話ショット判定部から得られた会話ショットからクローズアップを含むショットを判定し、階層的なショット種別の分類を行うことができるようになる。

また、本発明を用いれば、動画像データの検索、閲覧や、動画像の内容や文脈の推定を、効率的に行えるようになる。

以下に、図面を参照して本発明を詳細に説明する。まず、本発明の一実施形態を、図１を参照して説明する。図１は、動画像データの分割装置の構成図である。

まず、非圧縮または圧縮された動画像データはショット分割部でショット単位に分割され、その後各々のショットから色情報解析部２において色情報が、動き情報解析部３において動き情報が、さらに付随するオーディオデータからオーディオ解析部４においてオーディオ情報が抽出される。これらの処理については、前記特許文献１で開示されている手法などを用いることができる。

色情報を抽出する対象は、ショットの先頭フレームやショットを代表するキーフレーム、またはショット内の全てのフレームなど、任意のフレームを選択することができる。また、オーディオ情報としては、オーディオエネルギーやオーディオ種別などを用いることができるが、ここではサブバンドに分割されて符号化されているオーディオデータを対象として、サブバンドエネルギーの重み付け平均を用いるものとして説明する。

このとき、入力動画像データがMPEG形式など離散コサイン変換を用いて圧縮符号化されたデータである場合には、直流成分のみから構成される画像（DC画像）を用いて色情報を解析することができる。色情報としては、画像内の画素値のデータ、画像内の任意の色ヒストグラム、または画像内の色配置情報などを用いることができる。

また、予測符号化を用いて圧縮されている場合には、動き情報を抽出する対象は、順方向予測符号化画像や双方向予測符号化画像、および双方向予測符号化画像における順方向動きベクトル、逆方向動きベクトルのいずれの組み合わせでも用いることができる。これらを対象として抽出した動き情報に対し、ショット内の平均値や中間値、最大値など任意の値を動き情報として利用することができる。

色情報解析部３、動き情報解析部２、オーディオ情報解析部４の後段にはショット分類部５が配置される。このショット分類部５は、爆発ショット判定部５１、チェイスショット判定部５２、およびクローズアップショット判定部５３から少なくとも構成される。ショット分類部５の出力は、ショット種別登録部６に登録される。

爆発ショット判定部５１は色情報とオーディオ情報を、チェイスショット判定部５２は動き情報を、クローズアップショット判定部５３は色情報（または、必要に応じてオーディオ情報）を、それぞれ少なくとも入力とし、以降の判定処理を行う。

まず、爆発ショット判定部５１における処理を、図２を参照して説明する。爆発ショット判定部５１では、下記の(1)、(2)の少なくともいずれかを評価するとともに、爆発音に伴うオーディオ情報の特性を評価する。
(1)色情報を画素値データとしたときの、炎に該当する画素値を持つ画素数
(2)色情報を色ヒストグラムとしたときの、炎に該当する色範囲の頻度

具体的には、ステップＳ１で、爆発ショット判定部５１にフレームFNが入力される。ステップＳ２では、爆発ショット判定部５１に入力されたショット内の任意のフレームFNの色情報について、予め規定された炎に該当する色を持つ画素数P_flameを計数し、この値が予め定められた閾値THP_flameよりも大きい場合、もしくは予め規定された炎に該当する色範囲の頻度H_flameが予め定められた閾値THH_flameよりも大きい場合に、もしくは共に大きい場合にステップＳ３に進み、フレームFNに爆発が含まれると判定する。ステップＳ４では、このフレームを含むショットに爆発が含まれると判定する。

ここで、画像の特徴だけを用いた場合には例えば太陽の色などによる誤判定が生じる可能性があるため、前記の判定に対してさらにショット内のサブバンドエネルギーの重み付け平均SBEがある閾値THA_explosionよりも大きいという条件を追加することにより、精度を向上させることができる。さらに、急激な明るさの変化などによる誤判定にも対応するため、炎に該当する色を持つフレームが連続して出現すると同時に、その画素数が時間的に変動している場合に、これらのフレーム群を含むショットに爆発が含まれると判定することもできる。

次に、チェイスショット判定部５２における処理を、図３を参照して説明する。カーチェイスなどのチェイスショットでは、車や戦闘機などのオブジェクトが高速に動いているほか、そのオブジェクトを撮影するカメラも規則的な動きをすることが多い。従って、チェイスショットに含まれる動きは比較的大きく、それらの方向は均一的である。そこで、チェイスショット判定部５２では、ショット内に含まれる動きの大きさと動きの方向を評価する。

具体的には、ステップＳ１１では、チェイスショット判定部５２にショットSNが入力する。ステップＳ１２では、チェイスショット判定部５２に入力されたショットSNにおける動き情報について、動きベクトルから算出される動きの大きさのショット内平均MV_magと、動きの最頻方向の割合MV_dirがそれぞれある閾値THM_magとTHM_dirよりも大きいかどうか判断する。大きいと判断された場合に、ステップＳ１３に進み、ショットSN内にチェイスが含まれると判定する。動き方向は任意数を選択することができ、例えば８方向などに設定できる。

なお、通常チェイスショットは連続的に出現することが多いため、チェイスショット判定部５２の後段にチェイスシーン判定部（図示されていない）を設けることができ、チェイスショットが連続して判定される場合に、チェイスシーンと判定する。このとき、隣接するチェイスショットの間には他のショット種別が挿入されることもあるため、完全に隣接している必要はなく、ある既定数のショット間隔だけ離れていてもよい。

さらに、クローズアップショット判定部５３における処理を、図４を参照して説明する。クローズアップショット判定部５３では、次の(3)、(4)の少なくともいずれかを評価する。
(3)色情報を画素値データとしたときの、顔に該当する肌色の画素値を持つ画素数
(4)色情報を色ヒストグラムとしたときの、顔に該当する肌色の色範囲の頻度

具体的には、ステップＳ２１で、クローズアップショット判定部５３にフレームFNが入力する。ステップＳ２２では、該クローズアップショット判定部５３に入力されたショット内の任意のフレームFNにおける色情報について、予め規定された肌色に該当する色を持つ画素数P_skinを計数し、この値が予め定められた閾値THP_skinよりも大きい場合、もしくは予め規定された肌色に該当する色範囲の頻度H_skinが予め定められた閾値THH_skinよりも大きい場合に、もしくは共に大きい場合にステップＳ２３に進み、フレームFNに顔のクローズアップが含まれると判定する。ステップＳ２４では、このフレームを含むショットに顔のクローズアップが含まれると判定する。

ここで、肌色の画素数だけを用いた場合に体のほかの部位などによる誤判定が生じる可能性があるため、前記の判定に対してさらに肌色画素の領域の形状を評価したり、顔テンプレートなどにより、画像中に顔が含まれるかどうかを高精度に判定することもできる。

図５に、クローズアップショット判定部５３の他の処理例を示す。この処理フローのように、オーディオ解析部から得られたオーディオ種別を用いて、ショットSNにおいてオーディオ種別が「音声」である秒数またはフレーム数のショット内での割合ACLが予め定められた閾値THA_voiceよりも大きいという条件を付加することもできる。オーディオ種別ACLの取得手段としては、特開平10-247093で開示されている手段などを用いることができる。

具体的には、ステップＳ３１でショットSNを入力し、顔のクローズアップを含む事を示すフラグFFを０に置く。ステップＳ３２では、フレームFNを入力する。ステップＳ３３とＳ３４では、前記ステップＳ２２とＳ２３と同様の処理を行い、ステップＳ３５では、フレームFNはショットSNの最終フレームであるか否かの判断がされる。なお、ステップＳ３４では、前記フラグFFを１にする。ステップＳ３５の判断が否定の時にはステップＳ３６に進んで、FNを１インクリメントする。

ステップＳ３２〜Ｓ３６の処理が繰り返し行われ、ステップＳ３５の判断が肯定になると、ステップＳ３７に進んで、フラグFF＝１でかつACL＞THA_voiceであるか否かの判断がなされる。この判断が肯定であれば、ステップＳ３８に進んで、前記ショットSNの種別が、顔を含むクローズアップであると判定される。

図６は本発明の第２の実施形態を示す図である。この実施形態では、爆発ショット判定部５１とチェイスショット判定部５２の前段にアクションショット判定部５４を設け、さらにクローズアップショット判定部５３の前段に会話ショット判定部５５を設けたものである。なお、他の符号は図１と同一または同等物を示す。

爆発ショット、チェイスショットは「アクション」クラスの従属クラス、クローズアップショットは「会話」クラスの従属クラスとみなすことができる。従って、階層的なショット種別の分類を行うことができるほか、予め判定対象とするショットを主クラスに属するショットに絞り込むことにより、判定に要する処理量を低減することができる。

アクションショット判定部５４や会話ショット判定部５５の処理については、前記特許文献１に示されている方法または手段を適用することができる。

本発明の一実施形態の動画像データ分類装置の構成を示すブロック図である。 爆発ショット判定部の処理を示すフローチャートである。 チェイスショット判定部の処理を示すフローチャートである。 クローズアップショット判定部の処理を示すフローチャートである。 クローズアップショット判定部の他の処理を示すフローチャートである。 本発明の他の実施形態の動画像データ分類装置の構成を示すブロック図である。

符号の説明

１・・・ショット分割部、２・・・色情報解析部、３・・・動き情報解析部、４・・・オーディオ解析部、５・・・ショット分類部、６・・・ショット種別登録部、５１・・・爆発ショット判定部、５２・・・チェイスショット判定部、５３・・・クローズアップショット判定部、５４・・・アクションショット判定部、５５・・・会話ショット判定部。

Claims (10)

1. 非圧縮または圧縮された動画像データの分類装置において、 前記動画像データのショット分割を行うショット分割部と、
   前記動画像データにおける色情報を解析する色情報解析部と、
   動き情報を解析する動き情報解析部と、
   前記動画像データに付随するオーディオデータを解析するオーディオ解析部と、
   前記動画像データの動き情報とオーディオデータからアクションを含むショットを判定するアクションショット判定部と、
   前記動画像データの動き情報とオーディオデータから会話を含むショットを判定する会話ショット判定部と、
   前記アクションショット判定部から得られたアクションショットの中から前記色情報解析部で解析された色情報を用いて爆発ショットを判定する爆発ショット判定部と、前記アクションショット判定部から得られた動き情報を用いてチェイスショットを判定するチェイスショット判定部と、
   前記会話ショット判定部から得られた会話ショットの中からクローズアップショットを判定するクローズアップショット判定部とを具備し、
   前記爆発ショットとチェイスショットはアクションショットの従属クラス、前記クローズアップショットは会話ショットの従属クラスとすることにより、階層的なショット種別の分類を行うことを特徴とする動画像データの分類装置。
2. 請求項１に記載の動画像データの分類装置において、
   前記色情報は、画像内の画素データ、画像内の色ヒストグラム、および画像内の色配置情報の少なくとも一つであることを特徴とする動画像データの分類装置。
3. 請求項１に記載の動画像データの分類装置において、
   前記爆発ショット判定部は、画像内の色情報として画像内の画素データを用い、炎に該当する色を持つ画素数を計数して、爆発を判定することを特徴とする動画像データの分類装置。
4. 請求項１に記載の動画像データの分類装置において、
   前記爆発ショット判定部は、画像内の色情報として、画像内の色ヒストグラムを用い、炎に該当する色範囲の頻度を測定して、爆発を判定することを特徴とする動画像データの分類装置。
5. 請求項１に記載の動画像データの分類装置において、
   前記爆発ショット判定部は、ショット内の任意のフレームにおいて、炎に該当する画素数または色範囲の頻度と、アクションショット判定部を経由してオーディオ解析部から入力された前記オーディオデータのサブバンドエネルギーの重み付け平均がそれぞれある規定値よりも大きい場合に、該フレームを爆発を含むフレームと見なし、該フレームを含むショットを爆発を含むショットと判定することを特徴とする動画像データの分類装置。
6. 請求項５に記載の動画像データの分類装置において、
   前記爆発ショット判定部は、さらに爆発を含むと見なされたフレームが連続して出現し、かつその画素数または色範囲の頻度が時間的に変動している場合に、該フレーム群を爆発を含むフレーム群と見なし、該フレーム群を含むショットを爆発を含むショットと判定することを特徴とする動画像データの分類装置。
7. 請求項１に記載の動画像データの分類装置において、
   前記チェイスショット判定部は、アクションショット判定部を経由して動き情報解析部から入力されたショット内における動きの最頻方向および動きの大きさのショット平均の少なくとも一つからチェイスショット判定することを特徴とする動画像データの分類装置。
8. 請求項７に記載の動画像データの分類装置において、
   前記動画像データは予測符号化を用いて圧縮符号化されたデータであり、前記ショット内における動きの最頻方向および動きの大きさのショット平均は、ショット内における順方向動き予測画像と双方向動き予測画像の少なくとも一つにおける動き情報から算出されることを特徴とする動画像データの分類装置。
9. 請求項８に記載の動画像データの分類装置において、
   前記チェイスショット判定部は、ショット内における動きの最頻方向の割合および動きの大きさのショット平均がそれぞれある規定値よりも大きい場合に、該ショットをチェイスを含むショットと判定することを特徴とする動画像データのの分類装置。
10. 請求項１に記載の動画像データの分類装置において、
    前記クローズアップ判定部は、会話ショット判定部を経由してオーディオ解析部から入力されたオーディオ情報としてオーディオ種別を用い、ショット内のオーディオ種別が音声である割合がある規定値よりも大きい場合に、該ショットをクローズアップショットと判定することを特徴とする動画像データの分類装置。

Images