JP5699856B2 - 動画像処理装置、動画像処理方法及び動画像処理用コンピュータプログラム - Google Patents

Description

本発明は、例えば、動画像に含まれる１以上のシーンを検出する動画像処理装置、動画像処理方法及び動画像処理用コンピュータプログラムに関する。

近年、動画像をシーンごとに分割し、その動画像に含まれるシーンの中から特定のシーンを検索する技術が開発されている（例えば、特許文献１及び２を参照）。

例えば、特許文献１には、入力された映像の内容が変化した点で入力された映像をショットに分割し、ショットから構図情報を抽出し、その構図情報に基づいてショットを分類する映像検索方法が開示されている。この映像検索方法は、ショットの分類カテゴリ結果に基づいて、入力された例示映像区間とショットの類似度を算出し、類似度に基づいて映像区間を出力する。
特許文献２には、部分動画像同士の類似度に基づいて類似する部分動画像を特定し、類似する部分動画像に対して同一のグループ属性を付与し、グループ化した類似する部分動画像の出現パターンに基づいて動画像の種別を判定する動画像処理装置が開示されている。また特許文献２には、この動画像処理装置が、動画像を、３分ごと、３０秒ごと、あるいは、連続する３ショット、１０ショットといった複数の小区間に分割し、各小区間ごとに、動画像種別を判定することが記載されている。

特開２００７−２００２４９号公報 特開２００８−９２５９４号公報

動画像に含まれる特定のシーンを検索するために、動画像処理装置は、動画像中でシーンが切り替わる点（以下、カット点と呼ぶ）を検出する。そして動画像処理装置は、時間的に連続する二つのカット点で挟まれた個々の区間をそれぞれ一つのシーンとする。
ここで、カット点を検出する処理は、例えば、動画像中の連続する２枚のピクチャを順次比較することにより行われる。そのため、動画像処理装置は動画像に含まれる多数のピクチャについて演算することになるので、カット点を検出する処理は動画像処理装置に対する演算負荷が大きい。したがって、動画像のデータサイズ、または動画像処理装置が有するハードウェアリソースによっては、ユーザは、動画像処理装置が動画像をシーンごとに分割するまでに、ある程度待たなければならないおそれがあった。また、特許文献２に開示されているように、動画像処理装置が、動画像を一定の時間ごとに小区間に分割し、小区間ごとにシーンの特徴量を求めるとしても、小区間の区切りとシーンの区切りは必ずしも一致しない。そのため、小区間の区切りによって分割されたシーンについては、動画像処理装置は、正確にそのシーンの特徴量を求めることができないおそれがあった。

そこで本明細書は、動画像中に含まれるシーンの検出に要する時間を短縮し、かつ各シーンの特徴量を正確に求めることが可能な動画像処理装置を提供することを目的とする。

一つの実施形態によれば、動画像処理装置が提供される。この動画像処理装置は、動画像を複数の部分動画像に分割する制御部と、複数の部分動画像の何れかが割り当てられ、割り当てられた部分動画像に含まれる、シーンが切り替わるカット点を検出し、検出されたカット点のうちの時間的に連続する二つのカット点で挟まれた割り当てられた部分動画像に含まれる第１のシーンの特徴量を抽出する複数の演算部とを有する。そして制御部は、複数の部分動画像のうちの時間的に連続する二つの部分動画像の区切りの前後のカット点で挟まれた第２のシーンの特徴量を複数の演算部の何れかに抽出させる。

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。

本明細書に開示された動画像処理装置は、動画像中に含まれるシーンの検出に要する時間を短縮し、かつ各シーンの特徴量を正確に求めることができる。

一つの実施形態による動画像処理装置の構成を示す図である。 部分動画像の区切りとカット点の関係の一例を示す図である。 シーンから抽出される特徴量の一例を示す図である。 演算部により求められる情報の一例を示す図である。 動画像処理の動作フローチャートである。

以下、図を参照しつつ、一つの実施形態による動画像処理装置について説明する。この動画像処理装置は、動画像を複数の部分動画像に分割する。そしてこの動画像処理装置は、複数の演算部のそれぞれに部分動画像を割り当て、各演算部が並行して割り当てられた部分動画像中でシーンが切り替わるカット点を検出し、時間的に連続する二つのカット点に挟まれた区間を一つのシーンとする。これにより、この動画像処理装置は、シーン検出の時間を短縮する。また、カット点と部分動画像同士の区切りで挟まれた区間については、シーンの一部である可能性がある。そこで、この動画像処理装置は、時間的に連続する二つの部分動画像間の区切りを挟んで連続する二つのカット点に挟まれた区間を一つのシーンとして結合し、その結合後のシーン全体から特徴量を抽出する。さらにこの動画像処理装置は、検出された各シーンの特徴量に基づいて、動画像に含まれるシーンの中から、ユーザによって指定される検索対象シーンと類似するシーンを検索する。

なお、動画像は、時系列順に並んだ複数のピクチャを含み、各ピクチャは、フレームまたはフィールドの何れであってもよい。フレームは、動画像中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータあるいは偶数行のデータのみを取り出すことにより得られる静止画像である。

図１は、一つの実施形態による動画像処理装置の構成を示す図である。画像認識装置１は、インターフェース部１１と、モニタインターフェース部１２と、記憶部１３と、記録媒体アクセス装置１４と、制御部１５と、複数の演算部１６−１〜１６−ｎ（nは2以上の整数）とを有する。

インターフェース部１１は、例えば、動画像処理装置１を、カムコーダなどの動画像入力装置（図示せず）と接続するためのビデオ信号インターフェース及びその制御回路を有する。あるいは、インターフェース部１１は、動画像処理装置１を、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。
インターフェース部１１は、動画像入力装置から、または通信ネットワークを介して動画像を取得し、その動画像を制御部１５へ渡す。
またインターフェース部１１は、動画像から検出された各シーン、あるいは検索対象シーンと類似すると判定されたシーンについて、シーンの開始時刻と終了時刻、及びシーンの特徴量を含むシーンの情報を制御部１５から受け取る。そしてインターフェース部１１は、その情報を通信ネットワークを介して動画像処理装置１と接続された他の機器へ送信してもよい。

モニタインターフェース部１２は、液晶ディスプレイなどの表示装置（図示せず）を動画像処理装置１と接続するためのインターフェース及びその制御回路を有する。そしてモニタインターフェース部１２は、動画像から検出された各シーン、あるいは検索対象シーンと類似すると判定されたシーンに含まれる各ピクチャを制御部１５から受け取り、そのピクチャを表示装置へ出力する。

記憶部１３は、例えば、揮発性または不揮発性の半導体メモリを有する。そして記憶部１３は、動画像処理装置１で実行されるコンピュータプログラムと、動画像中の各シーンを検出し、各シーンから特徴量を抽出するために使用される各種のパラメータを記憶する。また記憶部１３は、インターフェース部１１あるいは記録媒体アクセス装置１４を介して取得した動画像を一時的に記憶してもよい。さらに記憶部１３は、動画像から検出された各シーンの特徴量、各シーンの開始時刻及び終了時刻などのシーンの情報を、その動画像とともに記憶してもよい。

記録媒体アクセス装置１４は、記録媒体アクセス装置１４に挿入された記録媒体１７に記憶されている情報あるいはコンピュータプログラムを読み取って制御部１５へ渡し、あるいは、制御部１５から受け取った情報を記録媒体１７に書き込む。なお、記録媒体１７は、半導体メモリ、磁気ディスク、または光ディスクである。例えば、記録媒体１７が半導体メモリであれば、記録媒体アクセス装置１４は、その半導体メモリと通信するためのインターフェース回路、例えば、Universal Serial Busに準拠したインターフェース回路を有する。また記録媒体１７が磁気ディスクまたは光ディスクであれば、記録媒体アクセス装置１４は、磁気ディスクまたは光ディスクのドライブ装置を有する。また、記録媒体１７に記憶されている情報は、例えば、動画像中の各シーンを検出するためのプログラムまたは各種のパラメータ、若しくはシーン検出の対象となる動画像である。

制御部１５は、１個または複数個のプロセッサと、ランダムアクセスメモリといったメモリ回路と、周辺回路を有する。そして制御部１５は、動画像処理装置１全体を制御する。さらに制御部１５は、動画像中に含まれる、検索対象シーンと類似するシーンを検出する。

そのために、制御部１５は、例えば、動画像を、動画像処理装置１が有する演算部の数に応じて分割することにより、複数の部分動画像を作成する。そして制御部１５は、複数の部分動画像を一つずつ、演算部１６−１〜１６−ｎの何れかに割り当てる。例えば、制御部１５は、動画像を、演算部の数と同じn個の部分動画像に等分割する。また、各演算部の演算能力が互いに異なる場合、制御部１５は、演算能力が高い演算部ほど、その演算部に割り当てる部分動画像の時間長が長くなるように、動画像を分割してもよい。
制御部１５は、演算部１６−１〜１６−ｎのそれぞれに、割り当てた部分動画像を渡す。さらに制御部１５は、元の動画像の先頭を含む部分動画像を割り当てた演算部に対して、その部分動画像の先頭が元の動画像の先頭であることを通知する。同様に、制御部１５は、元の動画像の最後を含む部分動画像を割り当てた演算部に対して、その部分動画像の最後が元の動画像の最後であることを通知する。

なお、制御部１５は、動画像を、動画像処理装置１が有する演算部の数のm倍（ただし、mは2以上の整数）の個数の部分動画像に分割してもよい。この場合、制御部１５は、各演算部に対して、部分動画像をm個ずつ割り当てる。
あるいは、制御部１５は、動画像を、動画像処理装置１が有する演算部の数とは無関係に、複数の部分動画像に分割してもよい。例えば、制御部１５は、動画像を、10分ずつ、あるいは、30分ずつといった、一定期間ごとに分割してもよい。この場合において、部分動画像の数が動画像処理装置１が有する演算部の数よりも多ければ、制御部１５は、演算部ごとに割り当てる部分動画像の数を変えてもよい。また、演算部ごとに処理能力が異なる場合には、制御部１５は、処理能力が高い演算部ほど、多くの部分動画像を割り当ててもよい。

また制御部１５は、各演算部１６−１〜１６−ｎから、その演算部に割り当てられた部分動画像に含まれるカット点の識別番号及び時刻を受け取る。さらに制御部１５は、各演算部１６−１〜１６−ｎから、その演算部に割り当てられた部分動画像に全体が含まれるシーンについての識別番号、特徴量及びそのシーンの開始時刻と終了時刻を受け取る。

また制御部１５は、時間的に連続する二つの部分動画像の区切りによって分断されたシーンを特定する。例えば、演算部１６−ｉに、動画像の先頭からk番目の部分動画像が割り当てられ、演算部１６−ｊに、動画像の先頭から（k+1）番目の部分動画像が割り当てられているとする（1≦i,j≦n、i≠j、1≦k≦n-1）。この場合、k番目の部分動画像の終了時刻の一つ前のカット点P_mから、その終了時刻までの期間、及び（k+1）番目の部分動画像の開始時刻から次のカット点P_（m+1）までの期間は、一つのシーンである可能性が高い。

図２は、部分動画像の区切りとカット点の関係の一例を示す図である。図２に示されるように、動画像２００は、先頭から順に４個の部分動画像２０１〜２０４に分割される。そしてSは、動画像２００の先頭を表し、Eは動画像２００の最後を表す。またQ1〜Q3は、それぞれ、部分動画像２０１と２０２の区切り、部分動画像２０２と２０３の区切り、及び部分動画像２０３と２０４の区切りを表す。各部分動画像が、それぞれ、一つの演算部に割り当てられ、各演算部により、カット点P1〜P8が検出されたとする。

この例では、動画像２００の先頭Sからカット点P1までのシーン、及びカット点P1からP2までのシーンは、一つの部分動画像２０１に含まれている。そのため、部分動画像２０１が割り当てられた演算部は、先頭Sからカット点P1までのシーン及びカット点P1からカット点P2までのシーンについての特徴量を抽出できる。同様に、カット点P3からP4までのシーン、カット点P4からP5までのシーン、カット点P7からP8までのシーン、及びカット点P8から動画像２００の最後Eまでのシーンも、それぞれ、一つの部分動画像に含まれる。そのため、これらのシーンの特徴量は、そのシーン全体が含まれる部分動画像が割り当てられた演算部により抽出される。

しかし、カット点P2からP3までのシーンは、部分動画像２０１と２０２の区切りQ1で分断されている。そのため、部分動画像２０１が割り当てられた演算部及び部分動画像２０２が割り当てられた演算部の何れも、Q1で分断されたシーンに含まれる全てのピクチャを受け取っていない。したがって、何れの演算部も、その分断されたシーンの特徴量を正確に抽出できないおそれがある。同様に、カット点P5からP6までのシーン、及びカット点P6からP7までのシーンも、それぞれ、二つの部分動画像間の区切りQ2、Q3で分断されているので、これらの分断されたシーンの特徴量は正確に抽出されないおそれがある。

そこで制御部１５は、部分動画像の区切りの前後のカット点で挟まれた期間を一つのシーンとして結合し、結合したシーンに相当する区間をあらためて動画像から切り出して、演算部１６−１〜１６−ｎの何れかに渡す。例えば、再度図２を参照すると、制御部１５は、カット点P2からP3までのシーン、カット点P5からP6までのシーン及びカット点P6からP7までのシーンを、それぞれ、演算部１６−１〜１６−３に対して一つずつ割り当てる。そして制御部１５は、演算部からそのシーンの特徴量を受け取る。

制御部１５は、シーンごとの開始時刻、終了時刻及び特徴量を記憶部１３に記憶する。
さらに制御部１５は、動画像中で、検索対象シーンと類似するシーンを検出する。ここで、検索対象シーンとなり得る、個々のシーンに対応する複数の動画像（以下検索候補シーンと呼ぶ）及び各検索候補シーンから抽出された特徴量は、例えば、予め記憶部１３に記憶される。そして表示装置に各検索候補シーンが表示された状態で、ユーザが、動画像処理装置１と接続されたマウスなどのユーザインターフェース（図示せず）を操作することにより、検索候補シーンの中から一つ又は複数の検索対象シーンが選択される。また、動画像処理装置１は、インターフェース部１１を介して、他の機器から検索対象シーンに相当する動画像及びその検索対象シーンから抽出された特徴量を受け取ってもよい。あるいは、動画像処理装置１は、インターフェース部１１を介して、他の機器から検索対象シーンに相当する動画像のみを受け取ってもよい。この場合、制御部１５あるいは演算部１６−１〜１６−ｎの何れかが、検索対象シーンの特徴量を抽出し、その特徴量を、検索対象シーンとともに記憶部１３に記憶させておいてもよい。

制御部１５は、各演算部から、その演算部に割り当てられた部分動画像に含まれるシーンの特徴量を受け取ると、そのシーンの特徴量と検索対象シーンの特徴量とを比較する。そして制御部１５は、検索対象シーンの特徴量と類似している特徴量を持つシーンを、検索対象シーンと類似するシーンと判定する。
例えば、制御部１５は、シーンの特徴量のそれぞれを要素とする特徴量ベクトルと、検索対象シーンの特徴量のそれぞれを要素とする特徴量ベクトル間の距離を算出する。そして制御部１５は、その距離が所定の閾値以下である場合、そのシーンは、検索対象シーンと類似していると判定する。なお、所定の閾値は、例えば、特徴量ベクトル間の距離の取り得る最大値の1/20〜1/5に設定される。なお、特徴ベクトル間の距離は、例えば、ユークリッド距離またはマンハッタン距離とすることができる。

また、後述するように、シーンの特徴量のそれぞれが、色度数分布などの度数分布に含まれる個々の度数である場合、制御部１５は、各度数ごとに、検索対象シーンの度数とシーンの対応する度数とが一致するか否か判定する。そして制御部１５は、検索対象シーンとシーンとで一致する度数の数が、度数分布に含まれる度数の総数に占める割合が所定の閾値以上となる場合、そのシーンは検索対象シーンと類似すると判定する。この場合、所定の閾値は、例えば、特徴量として抽出された度数分布に含まれる度数の総数の1/2〜2/3に設定される。

制御部１５は、検索対象シーンと類似していると判定されたシーンをモニタインターフェース部１２を介して表示装置へ出力する。

さらに、制御部１５は、部分動画像の区切りで分断されたシーンの特徴量を演算部の何れかから受け取ると、そのシーンについても上記と同様に、検索対象シーンと類似するか否か判定する。そして制御部１５は、そのシーンが検索対象シーンと類似する場合、そのシーンをモニタインターフェース部１２を介して表示装置へ出力する。あるいは、制御部１５は、検索対象シーンと類似すると判定されているシーンが既に検出されている場合、検索対象シーンと類似する全てのシーンをそれぞれ一つのウインドウとして、表示装置に並べて表示させてもよい。

このように制御部１５は、部分動画像の区切りで分断されたシーンの特徴量を受け取るよりも前に、個々の部分動画像に全体が含まれるシーンが検索対象シーンと類似しているか否かを判定し、その判定結果を表示装置に表示させる。そのため、動画像処理装置１は、検索対象シーンと類似するシーンが動画像に含まれるか否かの大まかな判定結果を、ユーザに提示するまでの時間を短縮できる。

演算部１６−１〜１６−ｎは、それぞれ、プロセッサと、ランダムアクセスメモリといったメモリ回路と、周辺回路を有する。なお、各演算部が有するプロセッサは、汎用プロセッサでもよく、あるいは、画像演算用に特化されたプロセッサでもよい。
なお、各演算部により実行される処理は同一であるため、以下では、演算部１６−１により実行される処理について説明する。

演算部１６−１は、割り当てられた部分動画像に含まれるカット点を検出する。カット点の前後では、ピクチャに写っている像が大きく異なる可能性が高い。そのために、演算部１６−１は、部分動画像の先頭から順に、時間的に連続する２枚のピクチャを選択し、その選択した２枚のピクチャを比較することによりカット点を検出する。

例えば、演算部１６−１は、選択した各ピクチャを、それぞれ、複数のブロック、例えば、縦8個×横8個のブロックに分割する。演算部１６−１は、ブロックごとに平均画素値を求める。なお画素値は、例えば、RGB表色系の色成分値の何れかであってもよい。あるいは、演算部１６−１は、ピクチャの各画素の色成分値を、HSV表色系あるいはHLS表色系の値に変換し、HSV表色系あるいはHLS表色系における色相または彩度若しくは輝度値を画素値としてもよい。そして演算部１６−１は、２枚のピクチャの対応するブロック間の平均画素値の差の絶対値を求める。そして演算部１６−１は、その差の絶対値が所定の閾値（例えば、最大画素値と最小画素値の差の1/2）以上となるブロックである変化ブロックの数を求める。演算部１６−１は、１枚のピクチャに含まれるブロックの総数に対する変化ブロックの数の比が所定割合（例えば、0.5）以上であれば、選択した２枚のピクチャ間にカット点があると判定する。
なお、演算部１６−１は、カット点を検出するための他の様々な方法のうちの何れかによってカット点を検出してもよい。例えば、演算部１６−１は、度数分布法、色度数分布法、χ²検定法あるいは分割χ²検定法によってカット点を検出してもよい。

演算部１６−１は、選択された２枚のピクチャ間にカット点が検出されると、その２枚のピクチャのうちの何れかの時刻、例えば、先のピクチャの時刻をカット点の時刻とする。また演算部１６−１は、時間的に連続する二つのカット点で挟まれた区間を一つのシーンとする。そして演算部１６−１は、その二つのカット点のうち、時間的に先のカット点の直後のピクチャの時刻をそのシーンの開始時刻とし、その二つのカット点のうちの時間的に後のカット点の直前のピクチャの時刻をそのシーンの終了時刻とする。

また、演算部１６−１は、割り当てられた部分動画像の先頭から、その部分動画像中の最初のカット点とに挟まれた区間は、部分動画像同士の区切りで分断されたシーンの一部であるとする。同様に、演算部１６−１は、割り当てられた部分動画像中の最後のカット点から、その部分動画像の最後までの区間も、部分動画像同士の区切りで分断されたシーンの一部であるとする。ただし、割り当てられた部分動画像の先頭が元の動画像の先頭である場合には、演算部１６−１は、部分動画像の先頭から最初のカット点までの区間も一つのシーンであると判定する。同様に、割り当てられた部分動画像の最後が元の動画像の最後である場合、演算部１６−１は、最後のカット点から部分動画像の最後までの区間も一つのシーンと判定する。

演算部１６−１は、割り当てられた部分動画像に全体が含まれるシーンについて、そのシーンの特徴を表す少なくとも一つの特徴量を抽出する。例えば、演算部１６−１は、各ピクチャを複数のブロックに分割し、ブロックごとに、画素値の統計量、例えば、輝度値の平均値、各色成分の分散または輝度値の分散、または最小輝度値と最大輝度値の差を求める。そして演算部１６−１は、シーンに含まれる全てのピクチャについて同じ位置のブロックごとにその画素値の統計量の平均値、最頻値または中央値などを特徴量として求める。この場合、一つのシーンに対して、ブロックの数だけ特徴量が求められる。

図３は、シーンから抽出される特徴量の一例を示す図である。例えば、図３に示されるように、演算部１６−１は、シーンに含まれる各ピクチャ３００−１〜３００−ｋ（ｋは1以上の整数）を、縦3個×横3個のブロックに分割する。便宜上、各ブロックには、'1'〜'9'までの識別番号が付される。そして演算部１６−１は、ピクチャごとに、各ブロックの平均輝度値x_ijを算出する。なお、iはブロックの識別番号であり、この例では、i=1,2,...,9である。またjはシーンに含まれるピクチャの番号であり、この例では、j=1,2,...,kである。そして、演算部１６−１は、例えば、次式に従って、ピクチャ上の同じ位置にあるブロックの平均輝度値を、シーンに含まれる全てのピクチャについてさらに平均した値y_i（i=1,2,...,9）を特徴量とする。
例えば、図３に示されるように、左下のブロック'7'についての特徴量y₇は、各ピクチャのブロック'7'の平均輝度値x₇₁〜x_7kの平均値として求められる。
この例では、演算部１６−１は、特徴量y_iを要素とする特徴量ベクトルY=（y₁,y₂,...,y₉）を制御部１５に渡す。

また、演算部１６−１は、シーンを表す特徴量として、そのシーンに含まれる各ピクチャを解析することにより得られる他の特徴量を求めてもよい。例えば、演算部１６−１は、色相全体を複数に区分し、シーンに含まれる全てのピクチャ、あるいは一定間隔ごとのピクチャの各画素の色相値をその区分ごとに集計することにより、色度数分布を求める。なお、一定間隔は、例えば、１枚おき、あるいは数枚おきとすることができる。そして演算部１６−１は、色度数分布の作成に用いたピクチャ数、あるいは色度数の総数で各区分の度数を正規化することにより正規化色度数分布を求め、その正規化色度数分布に含まれる各区分の度数をそれぞれ一つの特徴量としてもよい。同様に、演算部１６−１は、輝度の取り得る範囲を複数に区分し、シーンに含まれる全てのピクチャ、あるいは一定間隔ごとのピクチャの各画素の輝度値をその区分ごとに集計することにより、輝度の度数分布を求める。そして演算部１６−１は、輝度の度数分布の作成に用いたピクチャ数、あるいは輝度の度数の総数で各区分の度数を正規化することにより正規化輝度度数分布を求め、その正規化輝度度数分布に含まれる各区分の度数をそれぞれ一つの特徴量としてもよい。
あるいは、演算部１６−１は、シーンに含まれる各ピクチャに対してフーリエ変換あるいはウェーブレット変換といった周波数変換処理を行って周波数成分の分布を求めてもよい。そして演算部１６−１は、例えば、各ピクチャの周波数成分ごとに平均値を求め、その平均値が高い方から所定数（例えば、10個）の周波数成分をそれぞれ特徴量としてもよい。
さらに、演算部１６−１は、正規化色度数分布、正規化輝度度数分布または周波数成分が高い方から所定個数の周波数成分を、ピクチャを複数のブロックに分割したブロックごとに求めて、それぞれ特徴量としてもよい。さらにまた、演算部１６−１は、シーンごとに、複数種類の特徴量を求めてもよい。例えば、演算部１６−１は、正規化色度数分布と、ブロックごとの平均輝度値とを特徴量として求めてもよい。

演算部１６−１は、割り当てられた部分動画像から検出したカット点及びその部分動画像に全体が含まれるシーンに識別番号を付す。そして演算部１６−１は、カット点の識別番号、カット点の時刻、及びその部分動画像に全体が含まれるシーンについての識別番号、特徴量及びそのシーンの開始時刻と終了時刻を制御部１５へ渡す。

図４は、図２に示された部分動画像２０１が割り当てられた演算部により求められる情報の一例を示す図である。この例では、部分動画像２０１からカット点P1、P2が検出されているので、演算部により、カット点P1の時刻４０１、カット点P2の時刻４０２が求められる。さらに演算部により、動画像の先頭からカット点P1までのシーンS1の開始時刻４０３及び終了時刻４０４、及びそのシーンの特徴量４０５と、カット点P1からカット点P2までのシーンS2の開始時刻４０６及び終了時刻４０７、及びそのシーンの特徴量４０８が求められる。

また演算部１６−１は、制御部１５から、二つの部分動画像で分断されていたシーンに含まれる各ピクチャを受け取ると、上記と同様に、そのシーンの特徴量を少なくとも一つ抽出し、制御部１５へ抽出した特徴量を渡す。

図５は、動画像処理装置１により実行される動画像処理の動作フローチャートを示す。
先ず、制御部１５は、対象となる動画像を、動画像処理装置１が有する演算部の数に応じて分割することにより、複数の部分動画像を作成する（ステップＳ１０１）。そして制御部１５は、各部分動画像を、演算部１６−１〜１６−ｎの何れかに渡す。

各演算部１６−１〜１６−ｎは、それぞれ、割り当てられた部分動画像に含まれるカット点を検索する（ステップＳ１０２）。そして各演算部１６−１〜１６−ｎは、割り当てられた部分動画像中で検出された二つのカット点で挟まれた区間を一つのシーンと判定する（ステップＳ１０３）。演算部１６−１〜１６−ｎは、割り当てられた部分動画像に全てが含まれるシーンについて、そのシーンの特徴量を抽出する（ステップＳ１０４）。そして演算部１６−１〜１６−ｎは、割り当てられた部分動画像に含まれるカット点の時刻、及びその部分動画像に全体が含まれるシーンについての特徴量及びそのシーンの開始時刻と終了時刻を制御部１５へ渡す。

制御部１５は、特徴量が求められたシーンの中から、検索対象シーンと類似するシーンを求める（ステップＳ１０５）。そして制御部１５は、モニタインターフェース部１２を介して、検索対象シーンと類似するシーンを表示装置に表示させる（ステップＳ１０６）。

さらに、制御部１５は、部分動画像同士の区切りで分断されたシーンを結合し、元の動画像からその結合されたシーンを演算部１６−１〜１６−ｎの何れかへ割り当てる（ステップＳ１０７）。そして結合されたシーンを割り当てられた演算部は、そのシーンの特徴量を抽出し、抽出した特徴量を制御部１５に渡す（ステップＳ１０８）。制御部１５は、新たに特徴量が求められた、結合されたされたシーンのうち、検索対象シーンと類似するシーンを求める（ステップＳ１０９）。そして制御部１５は、モニタインターフェース部１２を介して、その分断されたシーンのうちで、検索対象シーンと類似するシーンを表示装置に表示させる（ステップＳ１１０）。
その後、動画像処理装置１は、動画像処理を終了する。

以上に説明してきたように、この動画像処理装置は、複数の演算部により、部分動画像ごとに並列にカット点を探索することで、カット点の探索に要する時間を短縮できる。またこの動画像処理装置は、各演算部が並列に、その演算部に割り当てられた部分動画像に全体が含まれるシーンの特徴量を抽出するので、シーンの特徴量の抽出に要する時間も短縮できる。さらにこの動画像処理装置は、制御部が、特徴量が抽出されたシーンから順次、検索対象となるシーンと類似するか否か判定するので、シーンの大まかな検索結果が得られるまでの時間を短縮できる。そしてこの動画像処理装置は、部分動画像の区切りを挟んだ二つのカット点で挟まれた区間を一つのシーンとして、そのシーンを再度演算部に割り当てて特徴量を抽出させるので、全てのシーンについて正確な特徴量を抽出できる。

なお、本発明は上記の実施形態に限定されるものではない。例えば、制御部が有するプロセッサが、複数の演算部のうちの一つを兼ねていてもよい。また、複数の演算部は、互いに独立した複数のプロセッサではなく、複数の処理を並列して実行可能な一つのプロセッサであってもよい。

また他の変形例によれば、動画像処理装置は、例えば、インターフェース部、モニタインターフェース部、記憶部、記録媒体アクセス装置及び制御部を含む装置と、通信ネットワークを介して接続された複数のサーバとを有していてもよい。この場合、各サーバが、それぞれ一つの演算部に対応する。この変形例では、制御部を含む装置は、その通信ネットワークを介して各サーバへ部分動画像を送信する。各サーバは受信した部分動画像に含まれるカット点を探索し、またその部分動画像に全てが含まれるシーンの特徴量を抽出し、カット点の時刻、シーンの特徴量などを通信ネットワークを介して制御部を含む装置へ送信する。さらに制御部を含む装置は、部分動画像の区切りで分断されたシーンを何れかのサーバへ送信し、そのサーバにそのシーンの特徴量を抽出させる。

この変形例では、制御部は、動画像を分割する前に、各サーバからカット点の探索及シーンの特徴量の抽出に割り当て可能なハードウェアリソースに関する情報を受け取ってもよい。そして制御部は、その情報に基づいて、割り当て可能なハードウェアリソースが大きいサーバほど、割り当てる部分動画像の期間を長くしてもよい。さらに制御部は、カット点の探索及びシーンの特徴量の抽出が終了したサーバから順に、部分動画像の区切りで分断されたシーンを再度割り当ててもよい。このように、動画像処理装置は、各サーバの処理能力及び演算負荷に応じて、各サーバに割り当てる部分動画像の時間長及びシーンの再割り当てを決定することで、動画像全体に対するシーンの検出及びシーンの特徴量の抽出に要する時間を短縮できる。

さらに他の変形例では、制御部は、時間的に連続する二つの部分動画像の一部が重複するように、動画像を複数の部分動画像に分割してもよい。これにより、部分動画像の先頭または最後がカット点と一致する場合でも、その部分動画像と連続する部分動画像が割り当てられた演算部が、そのカット点を検出できる。そのため、動画像処理装置は、全てのカット点を正確に検出できる。なお、部分動画像同士が重複する区間の長さは、その重複区間内に含まれるカット点を何れか一方の部分動画像が割り当てられた演算部が検索するのに十分な長さとすればよく、例えば、1秒〜数秒程度に設定される。

また、制御部及び各演算部の機能をプロセッサに実行させるコンピュータプログラムは、光記録媒体または磁気記録媒体といった記録媒体に記録された形で提供されてもよい。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
動画像を複数の部分動画像に分割する制御部と、
前記複数の部分動画像の何れかが割り当てられ、当該割り当てられた部分動画像に含まれる、シーンが切り替わるカット点を検出し、該検出されたカット点のうちの時間的に連続する二つのカット点で挟まれた当該割り当てられた部分動画像に含まれる第１のシーンの特徴量を抽出する複数の演算部とを有し、
前記制御部は、前記複数の部分動画像のうちの時間的に連続する二つの部分動画像の区切りの前後の前記カット点で挟まれた第２のシーンの特徴量を前記複数の演算部の何れかに抽出させる、
動画像処理装置。
（付記２）
前記制御部は、前記動画像を、前記複数の演算部の数と同じ数の部分動画像に等分割し、前記複数の演算部のそれぞれに、前記複数の部分動画像のうちの何れか一つを割り当てる、付記１に記載の動画像処理装置。
（付記３）
前記制御部は、前記複数の演算部のそれぞれに割り当てる部分動画像の時間長が、当該演算部の演算能力が高いほど長くなるように、前記動画像を分割する、付記１に記載の動画像処理装置。
（付記４）
制御部が動画像を複数の部分動画像に分割し、該複数の部分動画像のそれぞれを複数の演算部の何れかに割り当て、
前記複数の演算部のそれぞれが、当該割り当てられた部分動画像に含まれる、シーンが切り替わるカット点を検出し、該検出されたカット点のうちの時間的に連続する二つのカット点で挟まれた当該割り当てられた部分動画像に含まれる第１のシーンの特徴量を抽出し、
前記制御部が、前記複数の部分動画像のうちの時間的に連続する二つの部分動画像の区切りの前後の前記カット点で挟まれた第２のシーンの特徴量を前記複数の演算部の何れかに抽出させる、
ことを含む動画像処理方法。
（付記５）
前記制御部は、
前記複数の演算部のうちの前記第２のシーンの特徴量を抽出した演算部から前記第２のシーンの特徴量を受け取るよりも前に、前記第１のシーンの特徴量を検索対象シーンの特徴量と比較することにより、前記第１のシーンが当該検索対象シーンと類似するシーンか否かを判定し、
前記第２のシーンの特徴量を受け取った後に、前記第２のシーンの特徴量を前記検索対象シーンの特徴量と比較することにより、前記第２のシーンが当該検索対象シーンと類似するシーンか否かを判定する、付記４に記載の動画像処理方法。
（付記６）
制御部と、複数の演算部とを含むコンピュータにおいて実行される動画像処理用コンピュータプログラムであって、
前記制御部に、動画像を複数の部分動画像に分割させ、かつ、該複数の部分動画像のそれぞれを前記複数の演算部の何れかに割り当てさせ、
前記複数の演算部のそれぞれに、当該割り当てられた部分動画像に含まれる、シーンが切り替わるカット点を検出させ、該検出されたカット点のうちの時間的に連続する二つのカット点で挟まれた当該割り当てられた部分動画像に含まれる第１のシーンの特徴量を抽出させ、
前記複数の演算部の何れかに、前記複数の部分動画像のうちの時間的に連続する二つの部分動画像の区切りの前後の前記カット点で挟まれた第２のシーンの特徴量を抽出させる、
動画像処理用コンピュータプログラム。

１ 動画像処理装置
１１ インターフェース部
１２ モニタインターフェース部
１３ 記憶部
１４ 記録媒体アクセス装置
１５ 制御部
１６−１〜１６−ｎ 演算部
１７ 記録媒体

Claims (4)

1. 動画像を複数の部分動画像に分割する制御部と、
   前記複数の部分動画像の何れかが割り当てられ、当該割り当てられた部分動画像に含まれる、シーンが切り替わるカット点を検出し、該検出されたカット点のうちの時間的に連続する二つのカット点で挟まれた当該割り当てられた部分動画像に含まれる第１のシーンの特徴量を抽出する複数の演算部とを有し、
   前記制御部は、前記複数の部分動画像のうちの時間的に連続する二つの部分動画像の区切りの前後の前記カット点で挟まれた第２のシーンの特徴量を前記複数の演算部の何れかに抽出させる、
   動画像処理装置。
2. 制御部が動画像を複数の部分動画像に分割し、該複数の部分動画像のそれぞれを複数の演算部の何れかに割り当て、
   前記複数の演算部のそれぞれが、当該割り当てられた部分動画像に含まれる、シーンが切り替わるカット点を検出し、該検出されたカット点のうちの時間的に連続する二つのカット点で挟まれた当該割り当てられた部分動画像に含まれる第１のシーンの特徴量を抽出し、
   前記制御部が、前記複数の部分動画像のうちの時間的に連続する二つの部分動画像の区切りの前後の前記カット点で挟まれた第２のシーンの特徴量を前記複数の演算部の何れかに抽出させる、
   ことを含む動画像処理方法。
3. 前記制御部は、
   前記複数の演算部のうちの前記第２のシーンの特徴量を抽出した演算部から前記第２のシーンの特徴量を受け取るよりも前に、前記第１のシーンの特徴量を検索対象シーンの特徴量と比較することにより、前記第１のシーンが当該検索対象シーンと類似するシーンか否かを判定し、
   前記第２のシーンの特徴量を受け取った後に、前記第２のシーンの特徴量を前記検索対象シーンの特徴量と比較することにより、前記第２のシーンが当該検索対象シーンと類似するシーンか否かを判定する、請求項２に記載の動画像処理方法。
4. 制御部と、複数の演算部とを含むコンピュータにおいて実行される動画像処理用コンピュータプログラムであって、
   前記制御部に、動画像を複数の部分動画像に分割させ、かつ、該複数の部分動画像のそれぞれを前記複数の演算部の何れかに割り当てさせ、
   前記複数の演算部のそれぞれに、当該割り当てられた部分動画像に含まれる、シーンが切り替わるカット点を検出させ、該検出されたカット点のうちの時間的に連続する二つのカット点で挟まれた当該割り当てられた部分動画像に含まれる第１のシーンの特徴量を抽出させ、
   前記複数の演算部の何れかに、前記複数の部分動画像のうちの時間的に連続する二つの部分動画像の区切りの前後の前記カット点で挟まれた第２のシーンの特徴量を抽出させる、
   動画像処理用コンピュータプログラム。