JP4177239B2 - 映像解析装置，映像解析方法，映像解析プログラムおよびその記録媒体 - Google Patents

Description

本発明は，映像信号を読み込み，映像内容におけるシーンの切り替わり，テロップ文字の有無，音楽の有無等のシーン情報の解析を行う映像技術に関するものである。

映像中のカット，テロップ，音楽のシーン情報の解析を行う映像解析技術は，従来から多数提案されている（例えば，非特許文献１，特許文献１（谷口他，「映像カット点検出方法および装置」），特許文献２（外村他，「シーン抽出処理方法」）参照）。

これらの従来の技術は，映像中のシーン内容を解析するために，いずれも隣り合うフレーム画像の比較演算処理を映像の先頭から最後まで逐次的に行う方式をとっている。隣り合うフレーム画像の比較演算処理の一例として，非特許文献１で提案されているカット検出の方法は，隣り合うフレーム画像同士の対応する画素間の輝度値の差を計算し，その絶対値の全画面にわたる和があらかじめ定められた閾値より大きいときに，カットとして検出するものである。

これら従来の技術では，映像全体を解析する場合，隣り合う２枚のフレーム画像の比較演算処理を映像の先頭から最後まで遂次的に行うため，解析に必要な処理時間が映像を構成するフレーム画像の数に比例した時間だけ必要であった。このため，より短い時間で解析結果を得ることができないという問題があった。

この問題に対し，従来提案されていた他の方法として，隣り合うフレーム画像同士を比較するのではなく，数フレームおきに比較処理を行う方法がある。しかしながら，このように比較するフレーム画像間隔を長くした場合には，同じシーン中での人物，物体が移動する場面などを誤ってシーン変化として検出してしまうことなどがあり，検出精度が低下するという問題があった。

これらの問題を解決する技術として，特許文献３（小林他，「映像解析装置，映像解析方法，映像解析プログラムおよびそのプログラム記録媒体」）に記載されているものがある。この特許文献３に記載された技術は，映像解析の対象である入力された映像データを，一旦，複数の部分映像に分割し，これらの部分映像に対してそれぞれ並列に映像解析処理を行うことで，映像解析時間を従来よりも短縮することが可能となり，映像解析により生じる映像解析結果を統合し，１つの映像データを最初から最後まで逐次的に処理した場合と同様の解析結果を出力することを特徴とする。
特許第２８３９１３２号公報 特許第２９６０９３９号公報 特開２００３−６９９４６号公報 大辻他，「輝度情報を使った動画像ブラウジング」，電気情報通信学会技術報告，IE90-103，1991

特許文献３に記載された技術では，映像解析装置内に映像解析部を複数用意し，映像データを複数の部分映像に分割し，個々の部分映像をそれぞれの映像解析部で並列に解析を行うことで解析時間の短縮を可能としている。しかしながら，常に，映像データをあらかじめ決められた映像解析部の数と同じ数に分割して映像解析を行うと，不具合が生じる場合がある。

まず，映像データの長さに関係なく常に分割して解析を行う場合，映像データが短いと，分割処理および解析結果の統合処理にかかる時間と個々の部分映像の解析時間との合計が，映像データを分割しないでまとめて処理する場合に比べて長くなってしまうことがある。このような場合には，映像解析処理時間を短縮するために，映像を分割し並列で解析処理を行ったにもかかわらず，結果的に映像を分割しないで一つの映像として処理した方が早くなるという問題がある。

また，映像データの分割数が固定されていると，映像解析部を増やすことで並列処理の能力を上げたりすることができなくなるという問題がある。また，映像解析部が稼動しているコンピュータが故障した場合などに，その特定のコンピュータを入れ替える作業を行う間，映像解析処理を停止しなくてはならないという問題がある。

また，映像解析部を複数のコンピュータによって実現するとき，個々のコンピュータの処理性能に違いがあったり，特定のコンピュータが映像解析と無関係な処理を実行しているため映像解析処理能力が著しく劣っていたりした場合に，映像データを分割して映像解析を行うと，個々のコンピュータで映像解析処理が完了する時間が異なってくることになる。このように，映像データの解析処理を次々に実行するときに，ある特定のコンピュータの処理能力が非常に低くかったりすると，すべての解析結果が終了するまで映像解析結果の統合処理を行うことができないため，処理が終了したコンピュータに新たに映像解析処理を依頼することができず，システム全体の処理が非常に非効率になることがあるという問題がある。

本発明は，以上の問題点を考慮してなされたものであり，映像解析処理を分割して実行するかどうかを動的に判断したり，あるいは映像解析処理を分割して実行するその分割数を動的に変更可能としたり，あるいは映像解析処理を分割して実行する場合にはその分割数を個々の映像解析部の処理状況に応じて動的に変更可能な映像解析方法を提供することを目的とする。

本発明の映像解析装置は，上記課題を解決するために，解析対象となる映像データを入力する映像入力部と，前記映像データの解析を並列に実行するＮ個（Ｎ≧２）の映像解析部と，前記映像解析部の各々で実行している映像解析処理の進捗状況情報をそれぞれ出力するＮ個（Ｎ≧２）の進捗状況情報出力部と，前記Ｎ個の進捗状況情報出力部からそれぞれ出力された前記映像解析部の映像解析の進捗状況を示す進捗状況情報もしくは前記映像解析部の負荷を示す負荷情報またはその双方の情報を収集し，管理する処理状況管理部と，前記処理状況管理部が収集した情報に基づいて，前記映像データを部分映像に分割する際の分割数または分割するサイズに関する条件を含む分割条件を決定する分割条件決定部と，前記分割条件決定部が決定した分割条件に基づいて前記映像入力部が入力した映像データをＭ個（Ｍ≦Ｎ）の部分映像に分割し，各部分映像を前記複数の映像解析部のうちのＭ個に割り当てる映像分割部と，前記複数の映像解析部により得られた各部分映像の解析結果を統合し，分割前の映像データの解析結果を生成する解析結果統合部とを備えることを主要な特徴とする。

また，本発明の映像解析方法は，上記課題を解決するために，解析対象となる映像データを分割した部分映像の解析を並列に実行するＮ個（Ｎ≧２）の映像解析部と，前記映像解析部の各々で実行している映像解析処理の進捗状況情報をそれぞれ出力するＮ個（Ｎ≧２）の進捗状況情報出力部とを備える映像解析装置が実行する映像解析方法であって，
解析対象となる映像データを入力する過程と，前記Ｎ個の進捗状況情報出力部からそれぞれ出力された前記映像解析部の映像解析の進捗状況を示す進捗状況情報もしくは前記映像解析部の負荷を示す負荷情報またはその双方の情報を収集する過程と，前記収集した情報に基づいて，前記映像データを部分映像に分割する際の分割数または分割するサイズに関する条件を含む分割条件を決定する過程と，前記決定された分割条件に基づいて前記入力した映像データをＭ個（Ｍ≦Ｎ）の部分映像に分割し，各部分映像を前記Ｎ個の映像解析部のうちのＭ個に割り当てる過程と，前記Ｍ個の映像解析部により，それぞれに割り当てられた部分映像を解析する過程と，各部分映像の解析結果を統合し，分割前の映像データの解析結果を生成する過程とを有することを主要な特徴とする。

以上の各手段による処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。

本発明の作用は以下のとおりである。本発明では，映像データの情報，あらかじめ設定された分割条件，各解析処理装置（映像解析部）の動作状況を考慮に入れて分割するかどうかの判断を下すことが可能となる。このため，映像データが短いと，分割処理して並列に解析処理を行わずに映像データ全体を一つの解析処理装置で解析処理を行うという判断を下すようになるため，分割処理および解析結果の統合処理にかかる時間と個々の部分映像の解析時間との合計が，映像データを分割しないでまとめて処理する場合に比べて長くなってしまうことがあるという問題を回避できる。

また，本発明では，映像データの情報，あらかじめ設定された分割条件，各解析処理装置の動作状況を考慮に入れて分割数や解析処理装置への振り分け条件を動的に決定することが可能となる。このため，解析処理装置を追加すると，処理状況管理部が解析処理装置が追加されたことを認識し，分割条件に加えることで，それ以降の解析処理の際には，新たに追加した解析処理装置を利用することが可能となる。また，故障した解析処理装置を映像解析システムから切り離した場合にも，処理状況管理部が解析処理装置が削除されたことを認識し，分割条件の決定の際にそれ以降の解析処理にその故障した解析処理装置を利用することがなくなるため，システム全体を停止する必要がなく映像解析処理が可能となる。このことにより，解析処理装置を動的に追加できないという問題や，故障した解析処理装置に処理を振り分けてしまうという問題や，故障した解析処理装置を入れ替える間に映像解析処理を停止しなくてはならないという問題を回避できる。

また，本発明では，映像データの情報，あらかじめ設定された分割条件，各解析処理装置の動作状況，各解析処理装置の進捗状況を考慮に入れて分割数や解析処理装置への振り分け条件を動的に決定するので，負荷の高い解析処理装置への処理映像を短くしたりすることで，各解析処理の終了時間を平滑化することが可能となる。このことにより，処理能力の劣っている解析処理装置と処理能力の劣っていない解析処理装置とを同列に扱うことで映像解析システム全体の処理が非効率になるという問題を回避できる。

本発明によれば，映像データの情報，あらかじめ設定された分割条件，各解析処理装置の動作状況，各解析処理装置の進捗状況を考慮に入れて分割の有無，分割数，解析処理装置への振り分け条件を動的に決定するので，実行時の映像データおよび解析処理装置の状況に応じた解析処理が可能となり，従来よりも映像解析時間の短縮が可能となる。

以下，本発明の実施の形態について図を用いて説明する。図１は，本発明による映像解析装置の構成例を示す図である。映像解析装置１は，映像入力部１１，映像データ読み込み部１２，処理状況管理部１３，分割条件決定部１４，重複フレーム数決定部１５，区間決定部１６，映像分割部１７，映像解析部（１〜Ｎ）１８，進捗状況情報出力部（１〜Ｎ）１９，解析結果読み込み部２０，解析結果統合部２１，解析結果出力部２２により構成される。処理状況管理部１３は，解析処理装置リストテーブル２３を保持し，これを管理する。

映像入力部１１は，外部から入力される映像データをメモリなどに記憶する入力装置であり，ビデオキャプチャボード等により実現できる。入力される映像データとしては，ＴＶ放送等のアナログの映像信号や，ＣＤ−ＲＯＭやＤＶＤなどの記録媒体に記録されたディジタルデータ等がある。

映像データ読み込み部１２は，映像入力部１１から入力された映像データを読み込み，映像データの属性情報（映像全体の長さ，ファイルサイズ，フレームレート，総フレーム数等）を読み取る。例えば，パーソナルコンピュータのメモリ上に読み込まれた映像データから，マイクロソフト社のVideo for Windows(登録商標) 等の専用のソフトウェアを利用することで，映像データ全体の時間長の情報等の属性情報を取得することができる。

処理状況管理部１３は，各進捗状況情報出力部（１〜Ｎ）１９から出力された各映像解析部（１〜Ｎ）１８における映像解析処理の進捗状況情報を定期的に収集し，また，各映像解析部（１〜Ｎ）１８のＣＰＵ使用率やハードディスク使用率といった物理情報を定期に収集し，解析処理装置リストテーブル２３に記録して管理する。

分割条件決定部１４は，各映像解析部１８の進捗状況を表す情報や各映像解析部１８の動作状況をもとに，あらかじめ決められた方法を用いて，前記映像データを部分映像に分割する際の分割数，または分割するサイズ等の分割条件を決定する映像の分割条件を決定するものであり，ＣＰＵ等の処理装置で実現できる。

重複フレーム数決定部１５は，生成する複数の部分映像のうち，時間的に隣り合う部分映像に対して，互いに重複するフレーム数を決定するものであり，パーソナルコンピュータ上の専用のソフトウェアによる特定のアルゴリズムを適用することで実現できる。重複フレーム数を決定するアルゴリズムの例としては，時間的に隣り合う部分映像においてイベント区間が分断されないように重複する領域（フレーム）を持つように決定するもの（特許文献３参照）などがあり，このような技術を重複フレーム数の決定に利用することができる。

区間決定部１６は，映像データ読み込み部１２から入力された映像データの属性情報と，分割条件決定部１４から入力された分割条件情報と，処理状況管理部１３から入力された各映像解析部（１〜Ｎ）１８の進捗状況情報および物理情報と，重複フレーム数決定部１５から入力された重複フレーム数とを入力パラメータとして，各部分映像の開始フレーム番号（もしくは開始時間）と終了フレーム番号（もしくは終了時間）とを決定するものであり，ＣＰＵ等の処理装置を利用することで実現できる。

映像分割部１７は，区間決定部１６により入力された各部分映像の開始フレーム番号（もしくは開始時間）と終了フレーム番号（もしくは終了時間）とをパラメータにして映像データ全体を部分映像に分割するものであり，ＣＰＵ等の処理装置を利用することで実現できる。具体的には，映像データを指定された時間で分割してもよいし，映像解析部（１〜Ｎ）１８が映像データの途中から処理を開始できるならば分割しないで，開始点と終了点の情報と映像データ全体を与えるだけでもよい。

映像解析部（１〜Ｎ）１８は，映像分割部１７で生成した各部分映像のシーン情報の解析処理を並列に実行し，各部分映像の解析結果を解析結果読み込み部２０に渡すものであり，ＣＰＵ等の処理装置で実現できる。

映像解析部（１〜Ｎ）１８で用いる映像解析方法としては，映像を構成するフレーム画像の差異を比較する方法（非特許文献１参照）や，フレーム画像列に付随する音声信号の変化を比較する方法（特許文献２参照），またその両方を合わせて用いる方法などを利用することができる。また，解析結果は，特定の特徴のあるシーンの数をカウントしたものや，その区間を時間情報（開始時間，終了時間）等により表したもの，あるいは，解析により特徴を検出したシーンのフレーム画像を保存し，その画像ファイルを一覧表示したものなどである。

進捗状況情報出力部１９は，各映像解析部（１〜Ｎ）１８における解析処理の情報を集計，計算し，処理状況管理部１３に受け渡せる形式で出力する。解析処理の情報をあらかじめ決められた一定間隔でハードディスク上のファイルやデータベースのテーブルに出力することで実現が可能である。

解析結果読み込み部２０は，映像分割部１７により各映像解析部（１〜Ｎ）１８に割り振られた映像の順番をもとに，各映像解析部（１〜Ｎ）１８から得られた各部分映像のシーン情報の解析結果を受け取り，解析結果統合部２１に渡すものであり，ＣＰＵ等の処理装置で実現が可能である。

解析結果統合部２１は，解析結果読み込み部２０により入力された各部分映像の解析結果を，一つの解析結果として統合するものであり，ＣＰＵ等の処理装置で実現が可能である。

解析結果出力部２２は，解析結果統合部２１により得られた解析結果を記憶装置から読み出し，コンピュータディスプレイ等の表示装置に出力する出力装置である。

図２は，図１に示した映像解析装置１を複数の計算機による映像解析システムとして構築した例を示している。複数の計算機による映像解析システムは，映像分割サーバ３１，映像解析サーバ３２（Ａ〜Ｃ）および解析結果統合サーバ３３から構成される。それぞれのサーバは，演算装置，メモリおよびハードディスクを持つ計算機で，データの交換ができるようにネットワーク４０により接続されている。

映像分割サーバ３１には，図１の映像解析装置１における映像入力部１１と，映像データ読み込み部１２と，処理状況管理部１３と，分割条件決定部１４と，重複フレーム数決定部１５と，区間決定部１６と，映像分割部１７とを配置し，解析結果統合サーバ３３には，同じく図１の映像解析装置１における解析結果読み込み部２０と，解析結果統合部２１と，解析結果出力部２２とを配置している。また，映像解析サーバ３２（Ａ〜Ｃ）には，同じく図１の映像解析装置１における映像解析部１８および進捗状況情報出力部１９を，それぞれ少なくとも一組は有するように配置している。本実施の形態では，３台の映像解析サーバ３２（Ａ〜Ｃ）を利用する場合の例を示しているが，実際には映像解析サーバ３２の台数は２台以上であれば何台でもよい。

図３に，解析処理装置リストテーブル２３の構成例を示す。以下では，映像解析部１８と進捗状況情報出力部１９とが配置された処理装置を「解析処理装置」と呼ぶ。解析処理装置として，処理装置１〜処理装置ｎのｎ台が用意されているものとする。

処理状況管理部１３が管理する解析処理装置リストテーブル２３には，図３に示すように，各解析処理装置毎に，稼動中であるか未稼動であるかを示す稼動状況，ＣＰＵ利用率・ハードディスク利用率の物理情報，映像解析を実施中であるか否かを示す進捗状況・開始時刻・終了予定時刻・進捗率の進捗状況情報等の記入欄が設けられている。進捗状況情報記入欄における開始時刻は，解析処理の実行を開始した時刻である。終了予定時刻は，現在処理中の映像データの現在までの処理時間および処理済み映像データの時間長と残りの映像データの時間長の比率から計算することができる。進捗率は，各解析処理装置に割り当てられた部分映像の全体の時間と経過時間との割合である。他に，解析処理を行っている映像データの先頭からの経過時間長を，進捗状況情報としてもよい。

処理状況管理部１３は，定期的に情報を収集し，収集した情報を解析処理装置リストテーブル２３に記録する。解析処理装置リストテーブル２３は，ハードディスク上のファイルでもよいし，メモリ上の領域でもよいし，データベース上のテーブルでもよい。図３では，例えば「処理装置１」は，稼動中であり，ＣＰＵ利用率は５０％であり，ハードディスク利用率は１５％であり，進捗状況は実施中であり，開始時刻が１０時１０分，終了予定時刻が１２：３０で，進捗率が４５％であることが，解析処理装置リストテーブル２３に記録されている。

以下では，図１に示す映像解析装置１における各処理部で実施される具体的な処理内容の例を説明する。図４は，処理状況管理部１３における各種情報の収集および管理方法の処理フローチャートの例である。

ステップＳ１１では，あらかじめ設定しておいた各種情報を収集する時間間隔（収集時間間隔）と，前回収集した時間からの経過時間とを比較し，経過時間が収集時間間隔を超えた場合には，ステップＳ１２に移る。超えない場合には，超えるまで時間を比較し続ける。

ステップＳ１２では，解析処理を行う解析処理装置（映像解析部１８と進捗状況情報出力部１９とが配置された処理装置）の稼動状況等の情報の収集を行う。稼動状況の確認は，例えば，各解析処理装置にネットワーク経由でメッセージを送ると稼動している場合に応答メッセージを返すプログラムを常に動作させておくことで可能となる。ステップＳ１３では，あらかじめ設定しておいた解析処理装置の数だけ，ステップＳ１２を繰り返し実行する。解析処理装置の数は，例えば，データベースのテーブルに格納しておいて随時変更可能にしたり，ハードディスク上のファイルに記述しておいて随時変更可能にしたりしてもかまわない。

ステップＳ１４では，ステップＳ１３において収集した情報を解析処理装置リストテーブル２３の稼動状況記入欄に記入する。

ステップＳ１５では，ステップＳ１４において記入された解析処理装置リストテーブル２３から稼動している解析処理装置を調べ，稼動中の解析処理装置のＣＰＵ利用率，ハードディスク利用率の情報を収集し，解析処理装置リストテーブル２３の物理情報記入欄に記入する。解析処理装置のＣＰＵ利用率やハードディスク利用率等は，コンピュータ上の専用プログラムを利用して取得することが可能である。ステップＳ１６では，稼動中の解析処理装置の数だけステップＳ１５を繰り返す。

ステップＳ１７では，稼動中の解析処理装置の進捗状況情報出力部１９から出力された解析処理の進捗状況結果を収集し，解析処理装置リストテーブル２３の進捗状況情報記入欄に記入する。ここで，解析処理装置で映像データの解析処理が行われていない場合には，進捗状況は出力されず，「処理なし」という情報を解析処理装置リストテーブル２３に記入する。ステップＳ１８では，稼動中の解析処理装置の数だけステップＳ１７を繰り返す。

ステップＳ１９では，進捗状況管理の処理の終了が依頼されたどうかう判定し，終了が依頼されるまで，各解析処理装置の監視（ステップＳ１１〜ステップＳ１８）を繰り返し行う。例えば，図２に示す映像解析システムでは，各サーバは常に稼動して様々な映像の解析依頼を待ち，特別な状況以外は常に動作し続ける構成をとることも可能であり，そのような場合には，ステップＳ１９の処理が必要となる。また，一度映像解析処理が終了するとすべての処理を停止させるような映像解析システムでは，ステップＳ１９を省略して終了してもかまわない。

図５は，分割条件決定部１４における分割条件を決定する処理フローチャートの例である。ここでは，説明を簡単にするために，処理時間の比較において，重複フレーム数決定部１５が決定する重複フレーム数は０と仮定して説明する。なお，重複フレーム数を考慮する場合には，例えば，一般的な映像を分割した場合の重複フレーム数の平均値などをあらかじめ実験的に求めて，その平均フレーム数の処理時間などを分割数に応じて解析処理時間に加えた計算を行えばよい。

ステップＳ３１では，分割条件決定部１４において，あらかじめ設定された１台当たりの平均解析結果統合時間（ｍ）を読み込む。この平均解析結果統合時間（ｍ）の設定は，例えば，あらかじめ複数の映像データに関して分割数を変化させながら解析処理を実行させて，そのそれぞれの解析結果を統合する時間を複数計測し，平均値を求めてあらかじめ設定しておくことで実現できる。

ステップＳ３２では，分割条件決定部１４において，あらかじめ設定された映像データの単位映像時間長当たりの映像解析処理にかかる時間（単位映像時間当たりの解析処理時間（ｓ））を読み込む。この単位映像時間長当たりの解析処理時間（ｓ）の設定は，複数の映像長（時間長）の映像データの解析をあらかじめ行っておいてその時間を測定し，単位映像時間長当たりの解析処理時間（ｓ）をあらかじめ設定しておくことで実現できる。この単位映像時間長当たりの解析処理時間（ｓ）は，映像データのフォーマット，フレームレート，画面サイズ，ビットレート等の情報により異なる可能性があるので，映像解析システムとして処理可能な映像データにより複数用意することも可能であり，指定された映像データの属性に合わせて切り替えて使うようにすることも可能である。

ステップＳ３３では，映像データ読み込み部１２から，映像データの時間長（Ｌ）を読み込む。

ステップＳ３４では，単位映像時間長当たりの解析処理時間（ｓ）と映像データの時間長（Ｌ）を利用して，映像データ全体の解析処理時間（Ｓ）を求める。映像データ全体の解析処理時間（Ｓ）は，映像データの時間長（Ｌ）を単位映像時間長当たりの解析処理時間（ｓ）で割ることによって求めることができる（Ｓ＝Ｌ÷ｓ）。

ステップＳ３５では，処理状況管理部１３が管理する情報から，稼動中の解析処理装置のうち，処理可能な処理装置数（Ａ）を求める。処理可能な処理装置数（Ａ）は，稼動中の解析処理装置のすべてとしてもよいし，ＣＰＵ利用率が５０％以下の解析処理装置としてもよい。また，例えばＣＰＵ利用率が５０％の解析処理装置を１台として数え，ＣＰＵ利用率が０％の解析処理装置を２台として数えてもよいし，解析処理の進捗状況が終了している解析処理装置ともうすぐ終了する解析処理装置（例えば９５％完了している解析処理装置）を数えてもよい。

ステップＳ３６〜ステップＳ３９では，ステップＳ３１〜ステップＳ３５までで取得した情報をもとに，分割数を決定する。具体的には，まず稼動処理装置数（ａ）を２〜Ａの範囲で変動させて，最も処理効率がよい（解析処理にかかる時間が最も少なくなると思われる）解析処理装置数を求める。

まず，（ａ）台の解析処理装置で解析処理を実行した場合，１台の解析処理装置で解析処理にかかる時間は，映像データ全体の解析処理時間（Ｓ）を（ａ）で割ったものとなる（Ｓ÷ａ）。次に，（ａ）台で処理した結果を統合するので，統合処理全体にかかる時間は，１台当たりの平均解析結果統合時間（ｍ）の（ａ）倍となる（ｍ×ａ）。つまり，分割して解析した場合の処理時間の合計は，（Ｓ÷ａ）＋（ｍ×ａ）となる。これを分割しなかった場合，つまり，映像データ全体の解析処理時間（Ｓ）と比較しながら，（Ｓ÷ａ）＋（ｍ×ａ）が最小となる稼動処理装置数（ａ）を求める。

（Ｓ÷ａ）＋（ｍ×ａ）が最小となる（ａ）のときに，（Ｓ÷ａ）＋（ｍ×ａ）が映像データ全体の解析処理時間（Ｓ）より小さければ，（Ｓ÷ａ）＋（ｍ×ａ）が最小となる（ａ）を分割数とする。

また，稼動処理装置数（ａ）を２〜Ａまで変動させても，（Ｓ÷ａ）＋（ｍ×ａ）が全体の解析処理時間（Ｓ）より小さくならない場合には，分割する必要がないと判断できるので，分割数を０として設定し，以降の解析処理において分割せずに実行すればよいこととなる。

これより，分割不要な場合に分割して処理時間がかえって遅くなるという問題を解決できる。また，実際の解析処理装置の状態を考慮した分割数による解析処理の実行が可能となるため，故障した解析処理装置があってもそれ以外の解析処理装置での処理が可能となり，負荷の高い解析処理装置への処理映像を短くすることも可能となる。

分割条件決定部１４により分割数を決定する処理の例を説明したが，分割数の代わりに，同様に分割するサイズを決定することもできる。分割するサイズを決定する場合には，各解析処理装置の進捗状況情報および物理情報から，分割した部分映像をそれぞれの解析処理装置が処理した場合の終了予定時刻が一致し，かつ終了予定時刻がもっとも早くなるように決定する。分割数または分割するサイズを決めた後の重複フレーム数決定部１５による重複フレーム数を決定する処理および区間決定部１６による各部分映像の開始フレーム番号と終了フレーム番号を決定する処理は，既存の技術を用いて実施することができるので，ここでの詳しい説明は省略する。

特に，映像の時間長が長い映像データの分割では，解析処理対象の一つの映像データを１回ですべて分割するのではなく，何回かに分けて分割し，かつ各分割区間で分割数または分割サイズを動的に変更するようにしてもよい。すなわち，例えば２時間の映像データについて，まず１５分単位の分割区間に分割し，１５分ごとの分割区間の映像データについて分割条件決定部１４による分割条件の決定を行い，実際の各解析処理装置の解析処理能力を計測しながら，映像データの分割区間ごとに，分割数または分割サイズを動的に変更し，また，部分映像を割り当てる解析処理装置を動的に変更するようにしてもよい。このようにすれば，解析処理装置の解析処理能力が変動するような場合にも，全体として効率のよい解析処理を行うことができる。

本発明による映像解析装置の構成例を示す図である。 映像解析装置を複数の計算機による映像解析システムとして構築した例を示す図である。 解析処理装置リストテーブルの構成例を示す図である。 処理状況管理部における各種情報の収集および管理方法の処理フローの一例を示す図である。 分割条件決定部における分割条件を決定する処理フローの一例を示す図である。

符号の説明

１ 映像解析装置
１１ 映像入力部
１２ 映像データ読み込み部
１３ 処理状況管理部
１４ 分割条件決定部
１５ 重複フレーム数決定部
１６ 区間決定部
１７ 映像分割部
１８ 映像解析部
１９ 進捗状況情報出力部
２０ 解析結果読み込み部
２１ 解析結果統合部
２２ 解析結果出力部
２３ 解析処理装置リストテーブル
３１ 映像分割サーバ
３２ 映像解析サーバ
３３ 解析結果統合サーバ
４０ ネットワーク

Claims (6)

1. 映像データの解析を行う映像解析装置において，
   解析対象となる映像データを入力する映像入力部と，
   前記映像データの解析を並列に実行するＮ個（Ｎ≧２）の映像解析部と，
   前記映像解析部の各々で実行している映像解析処理の進捗状況情報をそれぞれ出力するＮ個（Ｎ≧２）の進捗状況情報出力部と，
   前記Ｎ個の進捗状況情報出力部からそれぞれ出力された前記映像解析部の映像解析の進捗状況を示す進捗状況情報もしくは前記映像解析部の負荷を示す負荷情報またはその双方の情報を収集し，管理する処理状況管理部と，
   前記処理状況管理部が収集した情報に基づいて，前記映像データを部分映像に分割する際の分割数または分割するサイズに関する条件を含む分割条件を決定する分割条件決定部と，
   前記分割条件決定部が決定した分割条件に基づいて前記映像入力部が入力した映像データをＭ個（Ｍ≦Ｎ）の部分映像に分割し，各部分映像を前記複数の映像解析部のうちのＭ個に割り当てる映像分割部と，
   前記複数の映像解析部により得られた各部分映像の解析結果を統合し，分割前の映像データの解析結果を生成する解析結果統合部とを備える
   ことを特徴とする映像解析装置。
2. 解析対象となる映像データを分割した部分映像の解析を並列に実行する複数の映像解析部と，前記映像解析部の各々で実行している映像解析処理の進捗状況情報をそれぞれ出力する複数の進捗状況情報出力部とを備え，映像データの解析を行う映像解析装置であって，
   解析対象となる映像データを入力する映像入力部と，
   前記映像入力部で入力された映像データを読み込み，映像データ全体の時間長の情報を含む映像データの属性情報を読み取る映像データ読み込み部と，
   前記複数の進捗状況情報出力部からそれぞれ出力された前記映像解析部の映像解析の進捗状況を示す進捗状況情報もしくは前記映像解析部の負荷を示す負荷情報またはその双方の情報を収集し，管理する処理状況管理部と，
   前記映像データ読み込み部により取得された映像データ全体の時間長の情報と，前記処理状況管理部で管理されている進捗状況情報もしくは負荷情報またはその双方の情報とから，前記映像データを部分映像に分割する際の分割数または分割するサイズに関する条件を含む分割条件を決定する分割条件決定部と，
   映像データの分割により生成される複数の部分映像のうち，時間的に隣り合う部分映像に対して，互いに重複するフレーム数を決定する重複フレーム数決定部と，
   映像データの分割により生成される複数の部分映像について，各部分映像の開始フレーム番号または開始時間と終了フレーム番号または終了時間とを決定する区間決定部と，
   前記分割条件決定部で決定された分割条件と，前記重複フレーム数決定部で決定された重複するフレーム数と，前記区間決定で決定された各部分映像の開始フレーム番号または開始時間と終了フレーム番号または終了時間とをもとに，前記映像入力部により入力された映像データを複数の部分映像に分割し，分割した部分映像をそれぞれ前記複数の映像解析部のうちの分割個数分の映像解析部に割り当てる映像分割部と，
   前記映像解析部により得られた各部分映像の解析結果を読み込む解析結果読み込み部と，
   前記映像分割部で設定された時間的に隣り合う部分映像が持つ重複フレーム部分の解析結果を比較し各解析結果の統合を行う解析結果統合部と，
   前記解析結果統合部により得られた解析結果を出力する解析結果出力部とを備える
   ことを特徴とする映像解析装置。
3. 解析対象となる映像データを分割した部分映像の解析を並列に実行するＮ個（Ｎ≧２）の映像解析部と，前記映像解析部の各々で実行している映像解析処理の進捗状況情報をそれぞれ出力するＮ個（Ｎ≧２）の進捗状況情報出力部とを備える映像解析装置が実行する映像解析方法であって，
   解析対象となる映像データを入力する過程と，
   前記Ｎ個の進捗状況情報出力部からそれぞれ出力された前記映像解析部の映像解析の進捗状況を示す進捗状況情報もしくは前記映像解析部の負荷を示す負荷情報またはその双方の情報を収集する過程と，
   前記収集した情報に基づいて，前記映像データを部分映像に分割する際の分割数または分割するサイズに関する条件を含む分割条件を決定する過程と，
   前記決定された分割条件に基づいて前記入力した映像データをＭ個（Ｍ≦Ｎ）の部分映像に分割し，各部分映像を前記Ｎ個の映像解析部のうちのＭ個に割り当てる過程と，
   前記Ｍ個の映像解析部により，それぞれに割り当てられた部分映像を解析する過程と，
   各部分映像の解析結果を統合し，分割前の映像データの解析結果を生成する過程とを有する
   ことを特徴とする映像解析方法。
4. 解析対象となる映像データを分割した部分映像の解析を並列に実行する複数の映像解析部と，前記映像解析部の各々で実行している映像解析処理の進捗状況情報をそれぞれ出力する複数の進捗状況情報出力部とを備える映像解析装置が実行する映像解析方法であって，
   解析対象となる映像データを入力する映像入力ステップと，
   前記映像入力ステップで入力された映像データを読み込み，映像データ全体の時間長の情報を含む映像データの属性情報を読み取る映像データ読み込みステップと，
   前記複数の進捗状況情報出力部からそれぞれ出力された前記映像解析部の映像解析の進捗状況を示す進捗状況情報もしくは前記映像解析部の負荷を示す負荷情報またはその双方の情報を収集する処理状況管理ステップと，
   前記映像データ読み込みステップにより取得された映像データ全体の時間長の情報と，前記処理状況管理ステップで収集された進捗状況情報もしくは負荷情報またはその双方の情報から，前記映像データを部分映像に分割する際の分割数または分割するサイズに関する条件を含む分割条件を決定する分割条件決定ステップと，
   映像データの分割により生成される複数の部分映像のうち，時間的に隣り合う部分映像に対して，互いに重複するフレーム数を決定する重複フレーム数決定ステップと，
   映像データの分割により生成される複数の部分映像について，各部分映像の開始フレーム番号または開始時間と終了フレーム番号または終了時間とを決定する区間決定ステップと，
   前記分割条件決定ステップで決定された分割条件と，前記重複フレーム数決定ステップで決定された重複するフレーム数と，前記区間決定で決定された各部分映像の開始フレーム番号または開始時間と終了フレーム番号または終了時間とをもとに，前記映像入力ステップにより入力された映像データを複数の部分映像に分割する映像分割ステップと，
   前記複数の映像解析部によって，前記映像分割ステップで分割された部分映像の解析を並列に実行する映像解析ステップと，
   前記映像解析部による映像解析処理の進捗状況情報を出力する進捗状況情報出力ステップと，
   前記映像解析ステップにより得られた各部分映像の解析結果を読み込む解析結果読み込みステップと，
   前記映像分割ステップで設定された時間的に隣り合う部分映像が持つ重複フレーム部分の解析結果を比較し各解析結果の統合を行う解析結果統合ステップと，
   前記解析結果統合ステップにより得られた解析結果を出力する解析結果出力ステップとを有する
   ことを特徴とする映像解析方法。
5. 請求項３または請求項４に記載の映像解析方法をコンピュータに実行させるための映像解析プログラム。
6. 請求項３または請求項４に記載の映像解析方法をコンピュータに実行させるための映像解析プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images