JP3785068B2 - 映像解析装置,映像解析方法,映像解析プログラムおよびそのプログラム記録媒体 - Google Patents

映像解析装置,映像解析方法,映像解析プログラムおよびそのプログラム記録媒体 Download PDF

Info

Publication number
JP3785068B2
JP3785068B2 JP2001257564A JP2001257564A JP3785068B2 JP 3785068 B2 JP3785068 B2 JP 3785068B2 JP 2001257564 A JP2001257564 A JP 2001257564A JP 2001257564 A JP2001257564 A JP 2001257564A JP 3785068 B2 JP3785068 B2 JP 3785068B2
Authority
JP
Japan
Prior art keywords
video
analysis
analysis result
partial
dividing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001257564A
Other languages
English (en)
Other versions
JP2003069946A (ja
Inventor
昭久 小林
秀豪 桑野
正志 森本
治彦 児島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2001257564A priority Critical patent/JP3785068B2/ja
Publication of JP2003069946A publication Critical patent/JP2003069946A/ja
Application granted granted Critical
Publication of JP3785068B2 publication Critical patent/JP3785068B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は,映像信号を読み込み,映像内容におけるシーンの切り替わり,テロップ文字の有無,音楽の有無等のシーン情報の解析を行う映像解析技術に関するものである。
【0002】
【従来の技術】
映像中のカット,テロップ,音等のシーン情報の解析を行う映像解析技術は,従来から多数提案されている。
(参考文献)
[1]大辻他,「輝度情報を使った動画像ブラウジング」,電気情報通信学会技術報告,IE90−103,1991。
[2]谷口他,「映像カット点検出方法および装置」,特許番号第2839132号。
[3]外村他,「シーン抽出処理方法」,特許番号第2960939号
[4]中島他,「キーワード画像抽出による動画像サマリの作成」,情処全大 1F‐10,1994 後期。
【0003】
従来の手法は,いずれも映像中のシーン内容を解析するために,隣り合うフレーム画像の比較演算処理を映像の先頭から最後まで逐次的に行う方式をとる。
【0004】
隣り合うフレーム画像の比較演算処理の一例として,参考文献[1]で提案されているカット検出の方法は,隣り合うフレーム画像同士の対応する画素間の輝度値の差を計算して,その絶対値の全画面にわたる和があらかじめ定められた閾値より大きいときカットとして検出するものである。
【0005】
【発明が解決しようとする課題】
従来の技術では,映像全体を解析する場合,隣り合う2枚のフレーム画像の比較演算処理を映像の先頭から最後まで逐次的に行うため,解析に必要な処理時間が映像を構成するフレーム画像の数に比例した時間だけ必要であった。このため,より短い時間で解析結果を得ることができないという問題があった。
【0006】
この問題に対し,従来提案されていた方法として,隣り合うフレーム画像同士を比較するのではなく,数フレーム置きに比較処理を行う方法がある。しかしながら,このように比較するフレーム画像間隔を長くした場合には,同じシーン中での人物,物体が移動する場面などを誤ってシーン変化として検出してしまうことなどがあり,検出精度が低下するという問題もあった。
【0007】
本発明の目的は,映像中のカット,テロップ,音等のシーン情報の解析を行う映像解析において,検出の精度を従来よりも低下させることなく,映像解析時間を従来よりも短縮することを可能とすることにある。
【0008】
【課題を解決するための手段】
本発明は,上記課題を解決するため,映像解析の対象である入力された映像データを,一旦,部分映像に分割し,これらの部分映像の映像解析の処理を並列に行い,映像解析により生じる映像解析結果を統合し,1つの映像データを最初から最後まで逐次的に処理した場合と同様の解析結果を出力することを特徴とする。
【0009】
具体的な手段としては,映像データを入力し,記憶する映像入力手段と,前記映像入力手段で入力された映像データをあらかじめ定められた条件に従い時分割し,複数の部分映像を生成する映像分割手段と,前記映像分割手段で得られた各部分映像に対してのシーン情報の解析を並列に実行する映像解析手段と,前記映像解析手段により得られた複数の解析結果を統合する解析結果統合手段と,前記解析結果統合手段により得られた解析結果を出力する解析結果出力手段とを有する。
【0010】
以上の手段を用いることにより,入力された映像データを時分割し,複数の部分映像を生成することで,映像解析処理を並列に実行することが可能となり,さらに,映像解析処理を並列に実行した結果生じる複数の解析結果を統合することにより,映像を構成するフレーム画像の比較演算処理を映像の先頭から最後まで逐次的に行う従来の方式よりも,映像解析時間の短縮が可能となる。
【0011】
ただし,映像データを時分割する処理において,映像をある任意の時間を境界として単純に分割してしまうと,分割点前後のフレーム画像の比較演算処理が行われないため,分割点付近の正しい映像解析結果が得られない場合がある。例えば,仮に映像を分割した点がシーンの切り替わりと同じタイミングである場合には,該シーンの切り替わりの前後のフレーム画像が各々異なる部分映像に含まれてしまい,両者を比較することができないため,シーンの切り替わりの情報を抽出できない。
【0012】
このような映像解析精度の低下は,より精度の高い映像の解析結果が必要な場合に問題となる可能性があるため,第2の本発明では,さらに前記映像分割手段に,入力された映像データを分割する数または分割するサイズ等の分割条件を決定する分割条件決定手段と,生成される複数の部分映像のうち,時間的に隣り合う部分映像に対して,互いに重複するフレーム数を決定する重複フレーム数決定手段と,生成される複数の部分映像について,各部分映像の開始フレーム番号と終了フレーム番号を決定する区間決定手段とを設け,また,前記解析結果統合手段に,前記映像分割手段により得られた各部分映像の解析結果を読み込む解析結果読み込み手段と,前記映像分割手段で設定された時間的に隣り合う部分映像が持つ重複するフレーム部分の解析結果を比較し,各解析結果の統合を行う統合判断手段とを設ける。
【0013】
このように映像を分割する際に,隣り合う部分映像が互いに重複するフレーム画像を持つようにし,重複部分の解析結果を比較しながら統合することで,映像を分割することにより生じる映像解析の精度の低下を防ぐことが可能となり,かつ,従来よりも短い時間で映像解析の処理を完了することが可能となる。
【0014】
以上の手段は,コンピュータと,そのコンピュータにインストールされ実行されるソフトウェアプログラムとによって実現することができ,そのプログラムは,コンピュータが読み取り可能な可搬媒体メモリ,半導体メモリ,ハードディスク等の適当な記録媒体に格納することができる。
【0015】
【発明の実施の形態】
以下,本発明を適用した映像解析装置の例について,図面を参照しながら説明する。図1は,本発明による映像解析装置の構成例を示す。映像解析装置1は,映像入力部11,映像分割部12,N個の映像解析部(1〜N)13,解析結果統合部14および解析結果出力部15により構成される。
【0016】
映像入力部11は,外部から入力される映像データをメモリなどに記憶する入力装置であり,ビデオキャプチャーボード等により実現できる。入力される映像データとしては,TV放送等のアナログの映像信号や,CD−ROMやDVDなどの記録媒体に記録されたディジタルデータ等がある。
【0017】
映像分割部12は,映像入力部11により入力された映像データの属性情報(ファイルサイズ,フレームレート,総フレーム数等)を読み取り,生成する部分映像の数や生成する部分映像の時間長や部分映像のファイルサイズ等の条件を決定し,読み取った映像データの属性情報と決定した条件とをパラメータとして,生成する部分映像の開始フレーム番号および終了フレーム番号を算出し,部分映像を生成し,生成した部分映像を映像解析部(1〜N)13に渡す処理装置であり,CPU等により実現可能である。
【0018】
この映像分割部12により部分映像が生成できるため,映像解析部(1〜N)13は,各部分映像の映像解析処理を並列に実行できるようになる。なお,前記の映像データの属性情報は,例えば,映像データがコンピュータ上のディジタルファイル形式の場合,該ファイルのヘッダ情報として存在するため,これを専用のソフトウェアプログラムで読み込むことで獲得が可能である。
【0019】
映像解析部(1〜N)13は,映像分割部12で生成した各部分映像のシーン情報の解析処理を並列に実行し,各部分映像の解析結果を解析結果統合部14へ渡す処理装置であり,CPU等の処理装置で実現できる。各映像解析部(1〜N)13がどの部分映像を処理するかを決定する方法としては,映像分割部12から映像解析部(1〜N)13へ,処理対象の映像ファイルを特定できるようなメッセージを通知する方法が適用可能である。または,映像解析部(1〜N)13および部分映像ファイルにあらかじめシーケンシャルな番号を振っておき,各映像解析部(1〜N)13が,自己と同じファイル番号を持つファイルを読み出すという方法もある。
【0020】
映像解析部(1〜N)13で用いる映像解析方法は,上記「従来の技術」の項で引用した文献で用いられているように,映像を構成するフレーム画像の差異を比較する方法(参考文献[1])や,フレーム画像列に付随する音声信号の変化を比較する方法(参考文献[3]),またその両方を合わせて用いる方法を利用することで実現できる。また,解析結果は,特定の特徴のあるシーンの数をカウントしたものや,その区間を時間情報(開始時間,終了時間)等により表したもの,あるいは,解析により特徴を検出したシーンのフレーム画像を保存し,その画像ファイルを一覧表示したものなどである。
【0021】
解析結果統合部14は,映像解析部(1〜N)13により得られた各部分映像のシーン情報の解析結果を受け取り,1つの解析結果として統合する処理装置であり,CPU等の処理装置で実現可能である。解析結果を統合する方法としては,各部分映像に設定された番号を用いて,その番号の順番に解析結果を並び替え,結合する方法がある。この映像解析部13の解析結果の統合処理により,1入力映像データに対して1解析結果という,従来と同じ解析結果を提供できるようになる。
【0022】
解析結果出力部15は,解析結果統合部14により得られた解析結果を記憶装置から読み出し,コンピュータディスプレイ等の表示装置に出力する出力装置である。
【0023】
図2は,図1に示した映像解析装置を複数の計算機による映像解析システムとして構築した例を示している。複数の計算機による映像解析システムは,映像分割サーバ21,映像解析サーバ22(A〜C)および解析結果統合サーバ23から構成される。それぞれのサーバは,演算装置,メモリおよびハードディスクを持つ計算機で,データの交換ができるようにネットワーク30により接続されている。
【0024】
映像分割サーバ21には,図1の映像解析装置1における映像入力部11と映像分割部12とを配し,解析結果統合サーバ23には,同じく図1の映像解析装置1における解析結果統合部14と解析結果出力部15とを配している。また,映像解析サーバ22(A〜C)は,図1の映像解析装置1における映像解析部13の機能を少なくとも1つは有する。本実施の形態では,3台の映像解析サーバ22(A〜C)を利用する場合の例を示しているが,実際には映像解析サーバ22の台数は何台であっても良い。映像解析サーバ22の台数の増減により,並列に実行する映像解析処理の数をコントロールできる。
【0025】
図3は,本実施の形態における映像解析内容と映像解析結果の例を示す。図3(a)は,本発明が対象としている映像解析内容の一例であり,図3(b)は映像解析結果の一例である。映像解析内容は,入力されたデータから,図3(a)に示すように,▲1▼カット点から次のカット点までの区間(イベントタイプ:カット),▲2▼映像にテロップの表示があった区間(イベントタイプ:テロップ),▲3▼映像に音楽が流れている区間(イベントタイプ:音楽),の3つのイべントを同時に検出するものである。
【0026】
従って解析結果は,図3(b)に示すように,項目の1番目として,前記▲1▼,▲2▼,▲3▼のどのイベントが検出されたのかと,項目の2番目として,該イべントが映像の何秒から開始したのかを表す開始時間と,項目の3番目として,該イべントが何秒に終了したのかを表す終了時間とからなり,本解析結果の例では,検出された各イべントの開始時間が早い順番に上から列挙されている。
【0027】
図4は,本発明の映像解析装置における映像分割部の構成例を示す。映像分割部12は,入力された映像データのヘッダ情報等により映像の属性情報を取得する属性情報取得部121と,あらかじめ設定された映像の分割条件を読み出すなどの方法により映像の分割条件を決定する分割条件決定部122と,生成する複数の部分映像のうち,時間的に隣り合う部分映像に対して,互いに重複するフレーム数を決定する重複フレーム数決定部123と,属性情報取得部121により取得したフレーム数等の映像の属性情報と分割条件決定部122により決定された分割数等の分割条件と重複フレーム数決定部123により決定された重複フレーム数とをパラメータとして各部分映像の開始フレーム番号と終了フレーム番号を決定する区間決定部124とから構成される。
【0028】
図5は,時間的に隣り合う部分映像に重複領域(フレーム)を持たせた例を示している。図5では,入力された映像データを3つの部分映像に分割し,各部分映像には,重複フレームを2フレームずつ持たせている。映像分割部12が図4のような構成をとることにより,図5の映像分割例に示すように,時間的に隣り合う部分映像が,重複する領域(フレーム)を持つように,入力された映像データを複数の部分映像に分割できる。
【0029】
図6は,本発明の映像解析装置における解析結果統合部の構成例を示す。解析結果統合部14は,映像解析部(1〜N)13より出力される各部分映像の解析結果を読み込む解析結果読み込み部141と,読み込んだ解析結果中の各イべントの区間が複数の部分映像に跨るものであるかどうかを判断し,複数の部分映像に跨るものであると判断した場合に,現在2つ以上の異なるイべントとして認識されているイべントを1つのイべントとして結合することにより各解析結果を統合し,1つの解析結果とする統合判断部142により構成される。
【0030】
次に,部分映像に重複領域を設ける意味を明らかにするために,部分映像に重複領域を設けずに,各部分映像を任意の時間で単純に分割した場合に生じる可能性がある問題点について説明する。
【0031】
大きく分けて問題点は2つあり,第1の問題点は,1つのイべント区間(シーンなど)が2つのイベント区間に分断されて検出される可能性があるということである。つまり,本来検出されるべきでないイベントが検出されたことになる。この不要なイべントの検出を防ぐために,統合処理により,分断された2つのイベント区間を1つにまとめるという方法も考えられるが,逆に,分割点で実際にシーンの切り替わり等によりイべント区間が別れている場合には,この別々のイベントが検出できないということになってしまう。
【0032】
第2の問題点は,検出するためにある一定の時間が必要なイべントの検出を行うような映像解析が必要な場合に起こる問題で,このようなイべントが分割点により分断されてしまうと,検出に必要な時間に満たさなかったために,どちらかあるいは両方の部分映像の解析結果に,この本来検出されるべきイべントの検出漏れが生じる可能性があるということである。
【0033】
上記2つの問題点を回避するために,部分映像の重複領域が設けられている。以下,図7を参照してその活用方法を説明する。図7は,本発明における重複領域の統合処理を説明する図である。
【0034】
まず,図7(a)は,1つのイべント区間が2つのイべント区間に分断されて検出されてしまった場合の解析結果の統合例を説明するための図である。解析結果Aは,入力された映像データの200秒から300秒までの部分映像(以下,便宜上,この部分映像を部分映像Aと呼ぶ)に含まれるカット,テロップ,音楽の各イべントが何秒から何秒までの間で発生したかを解析した結果例であり,解析結果Bは,解析結果Aと同じ入力映像データの290秒から400秒までの部分映像(以下,便宜上,この部分映像を部分映像Bと呼ぶ)に含まれるイベントを解析した結果例である。
【0035】
部分解析結果Aの最後のカットイべントの終了時間が300(単位は秒)であり,解析結果Bの最初のカットイべントの開始時間が290であることからも分かるように,部分映像Aと部分映像Bは,10秒間分の重複領域を持っている。つまり,この10秒間の映像の解析結果は,解析結果Aと解析結果Bの両方に含まれている。
【0036】
ここで,解析結果Aの最後に検出されたテロップのイべント(280〜300)と,解析結果Bで2番目のイべントとして検出されたテロップのイべント(300〜310)に注目すると,重複領域である290〜300は,解析結果Aのテロップには含まれているが,解析結果Bのテロップには含まれていない。よって,解析結果Aのテロップと解析結果Bは独立したイべントであると判断できる。
【0037】
一方,解析結果Aの最後のカットイべント(280〜300)と解析結果Bの最初のカットイべント(290〜320)に注目すると,重複領域である290〜300は,両イベントに含まれているため,このイベントは,本来1つのイベントとして検出されるものであることが判断できる。
【0038】
このようにして,各イべントが映像を分割した前後で繋がっているかどうかを全てのイベントに対して比較し,本来,1つのイべントとして検出されるものであると判断した場合には,そのイベントを結合する。この処理によって,解析結果Aと解析結果Bを統合したものが統合後の解析結果となる。
【0039】
次に,図7(b)は,映像分割によりイべントの検出に必要な時間を満たさなくなってしまった場合の解析結果の統合例を示している。(a)と同様に,解析結果Aは,入力された映像データの200秒から300秒までの部分映像に含まれるカット,テロップ,音楽の各イべントが何秒から何秒までの間で発生したかを解析した結果例であり,解析結果Bは,解析結果Aと同じ入力映像データの290秒から400秒までの部分映像に含まれるイベントを解析した結果例である。重複領域も,(a)の場合と同様に10秒に設定している。
【0040】
ここでは,解析結果Bの2番目の検出イべントである音楽のイべント(295〜330)に注目する。解析結果Bでは,重複領域である290〜300の一部(295〜300)に音楽のイべントが検出されているが,解析結果Aでは,290〜300の間に音楽のイべントは検出されていない。このような場合には,検出結果Aにおいて本来検出されるべきイべントが,映像分割によりイべントの検出に必要な時間に満たさなくなってしまったと判断し,解析結果Bの解析内容を優先して解析結果を統合すれば,正しい解析結果が得られる。もちろん重複する領域は,イべントの検出に最低限必要な時間以上設ける必要がある。
【0041】
このように時間的に隣り合う部分映像に適当な重複領域を設けることで,映像分割により生じる可能性のある映像解析精度の低下を抑えることができる。
【0042】
図8は,解析結果統合部による統合処理フローチャートである。また,図9は,部分映像の解析結果の例であり,解析結果レポート,ヘッダテーブルおよび解析結果テーブルの例を示している。各部分映像の解析結果は,図9に示すように,入力された映像データのどの部分を解析したレポートであるかを記したヘッダテーブル40と,実際の解析結果を記した解析結果テーブル50により構成されているとする。
【0043】
開始時において,分割番号を指定するためのカウンタiは1である。まず,分割番号1番の解析結果ファイルから解析結果を読み込んでメモリに展開し(ステップS10),ヘッダテーブル40から分割数Nを読み込み(ステップS11),N−1個の空の比較イベントテーブル(図10)を作成する(ステップS12)。
【0044】
次に分割番号2番の解析結果ファイルから解析結果を読み込んでメモリ上に展開し(ステップS13),作成済みの比較イベントテーブルにイべントを抜き出して記録する(ステップS14)。以下同様に,順次,iに1を加えながら分割番号N番までステップS13,S14の処理を繰り返す(ステップS15)。
【0045】
ここで,図10に,比較イベントテーブルの作成の例を示す。比較イベントテーブル60は,部分映像の解析結果中の各イべントの最初に検出されたイべントの開始時間・終了時間を抜き出し,イべント毎に格納したものである。図10の例では,解析結果中の上から1つ目のイベント{カット,280〜300}が最初のカットイべントで,これが比較イベントテーブル60に格納されている。次に,上から3つ目のイベント{テロップ,280〜310}が最初のテロップのイべントであり,これが比較イベントテーブル60に格納されている。次に,上から5つ目のイべント{音楽,310〜420}が最初の音楽イベントであり,これが比較イベントテーブル60に格納されている。なお,比較イベントテーブル60は,解析結果毎に作成される。
【0046】
2番目からN番目までの比較イベントテーブル60を作成した後,カウンタiを1に戻し(ステップS16),再び分割番号1の解析結果ファイルから解析結果を,順次,メモリに読み込む(ステップS17)。読み込んだ解析結果についてイべント毎に比較イベントテーブル60を参照し,比較イベントテーブル60内の各イべントと開始時間・終了時間が独立であるものはそのまま統合解析結果テーブルへとコピーし,イベント区間が重複する場合には,イべントの結合を行い,統合解析結果テーブルへと書き出す(ステップS18)。ステップS17,S18の処理を分割番号N−1まで繰り返す(ステップS19)。
【0047】
最後に分割番号N番の解析結果を読み込み(ステップS20),統合解析結果テーブルに書き出していない部分の解析結果をそのまま統合解析結果テーブルへ書き足し(ステップS21),最終的な統合解析結果テーブルをファイルとして書き出す(ステップS22)。
【0048】
次に,映像解析装置1によって,TV放送等やビデオカメラにより撮影されたアナログ信号をA/D変換し,ハードディスク等の記憶装置への記憶を行いながら,映像解析を行う場合の例について説明する。これは,映像の解析速度より映像をA/D変換しファイル化する処理速度の方が数段速く,入力に対して処理が追いつかないような,処理時間が非常に長い映像解析を行う場合の例である。この例の場合のシステムの構成は,図1と同様である。
【0049】
映像入力部11は,入力されるTV放送等のアナログ信号をA/D変換し,ハードディスク等の記憶装置に記憶していく。映像分割部12は,入力された信号の記憶が始まると,既に記憶された部分の映像の解析を始めるように映像解析部(1)13に指示する。あらかじめ定められた時間長のデータを1つの映像解析部(1)13に割り当てると,これから記憶されていく映像データを次の映像解析部(2)13に解析を始めるように指示する。同様にまた,あらかじめ定められた時間長のデータを割り当てると,これから記憶されていく映像データを次の映像解析部(3)13(図では省略)に解析を始めるように指示する。このような処理を繰り返し,最初に割り当てたデータの解析が終了した時点で,再びその映像解析部(1)13に新たなデータを割り当てる。
【0050】
記憶された映像データを受信した各映像解析部(1〜N)13は,映像の解析を行い,解析結果統合部14へ解析結果を送信する。解析結果統合部14は,映像解析部(1〜N)13から送信された解析結果を順次受信し,統合処理を行う。統合処理は継続的に行われるが,解析結果が他の部分映像の解析結果の影響を受けないと判断した時点で,解析結果出力部15により順次コンピュータディスプレイやプリンタ等の表示装置へ出力される。この例において,映像信号の入力と解析結果の出力が釣り合うように,映像解析部13の個数を決めることで,処理コストが高い映像解析でも,リアルタイムに映像解析を行うことが可能になる。
【0051】
【発明の効果】
以上説明したように,入力された映像データを時分割し,複数の部分映像を生成することで,映像解析処理を並列に実行することが可能となり,また,映像解析処理を並列に実行した結果生じる複数の部分解析結果を統合することで,映像を構成するフレーム画像の比較演算処理を映像の先頭から最後まで逐次的に行う従来方式よりも,映像解析時間の短縮が可能となる。
【0052】
さらに,映像を分割する際に,隣り合う部分映像が重複領域を持つようにし,重複領域の解析結果を比較しながら統合することで,映像を分割することで生じることがある映像解析の精度の低下を防ぐことが可能となる。
【図面の簡単な説明】
【図1】本発明による映像解析装置の構成例を示す図である。
【図2】映像解析装置を複数の計算機による映像解析システムとして構築した例を示す図である。
【図3】映像解析内容と映像解析結果の例を示す図である。
【図4】映像解析部の構成例を示す図である。
【図5】時間的に隣り合う部分映像に重複領域(フレーム)を持たせた例を示す図である。
【図6】解析結果統合部の構成例を示す図である。
【図7】重複領域の統合処理を説明する図である。
【図8】解析結果統合部による統合処理フローチャートである。
【図9】解析結果レポート,ヘッダテーブルおよび解析結果テーブルの例を示す図である。
【図10】比較イベントテーブルの作成の例を示す図である。
【符号の説明】
1 映像解析装置
11 映像入力部
12 映像分割部
121 属性情報取得部
122 分割条件決定部
123 重複フレーム数決定部
124 区間決定部
13 映像解析部(1〜N)
14 解析結果統合部
141 解析結果読み込み部
142 統合判断部
15 解析結果出力部

Claims (6)

  1. 入力される映像信号を解析し,解析した結果を出力する映像解析装置であって,
    映像データを入力し,記憶する映像入力手段と,
    前記映像入力手段で入力された映像データをあらかじめ定められた条件に従い時分割し,複数の部分映像を生成する映像分割手段と,
    前記映像分割手段で得られた各部分映像に対してのシーン情報の解析を並列に実行する映像解析手段と,
    前記映像解析手段により得られた複数の解析結果を統合する解析結果統合手段と,
    前記解析結果統合手段により得られた解析結果を出力する解析結果出力手段とを備える
    ことを特徴とする映像解析装置。
  2. 請求項1記載の映像解析装置において,
    前記映像分割手段は,
    入力された映像データを分割する数または分割するサイズ等の分割条件を決定する分割条件決定手段と,
    生成される複数の部分映像のうち,時間的に隣り合う部分映像に対して,互いに重複するフレーム数を決定する重複フレーム数決定手段と,
    生成される複数の部分映像について,各部分映像の開始フレーム番号と終了フレーム番号を決定する区間決定手段とを備え,
    前記解析結果統合手段は,
    前記映像分割手段により得られた各部分映像の解析結果を読み込む解析結果読み込み手段と,
    前記映像分割手段で設定された時間的に隣り合う部分映像が持つ重複するフレーム部分の解析結果を比較し各解析結果の統合を行う統合判断手段とを備える
    ことを特徴とする映像解析装置。
  3. 入力される映像信号を解析し,解析した結果を出力する映像解析方法であって,
    映像データを入力し,記憶する映像入力ステップと,
    前記映像入力ステップで入力された映像データをあらかじめ定められた条件に従い時分割し,複数の部分映像を生成する映像分割ステップと,
    前記映像分割ステップで得られた各部分映像に対してのシーン情報の解析を並列に実行する映像解析ステップと,
    前記映像解析ステップにより得られた複数の解析結果を統合する解析結果統合ステップと,
    前記解析結果統合ステップにより得られた解析結果を出力する解析結果出力ステップとを有する
    ことを特徴とする映像解析方法。
  4. 請求項3記載の映像解析方法において,
    前記映像分割ステップは,
    入力された映像データを分割する数または分割するサイズ等の分割条件を決定する分割条件決定ステップと,
    生成される複数の部分映像のうち,時間的に隣り合う部分映像に対して,互いに重複するフレーム数を決定する重複フレーム数決定ステップと,
    生成される複数の部分映像について,各部分映像の開始フレーム番号と終了フレーム番号を決定する区間決定ステップとを含み,
    前記解析結果統合ステップは,
    前記映像分割ステップにより得られた各部分映像の解析結果を読み込む解析結果読み込みステップと,
    前記映像分割ステップで設定された時間的に隣り合う部分映像が持つ重複するフレーム部分の解析結果を比較し各解析結果の統合を行う統合判断ステップとを含む
    ことを特徴とする映像解析方法。
  5. 請求項3または請求項4記載の映像解析方法におけるステップをコンピュータに実行させるための映像解析プログラム。
  6. 請求項3または請求項4記載の映像解析方法におけるステップをコンピュータに実行させるためのプログラムを記録した
    ことを特徴とする映像解析プログラムの記録媒体。
JP2001257564A 2001-08-28 2001-08-28 映像解析装置,映像解析方法,映像解析プログラムおよびそのプログラム記録媒体 Expired - Fee Related JP3785068B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001257564A JP3785068B2 (ja) 2001-08-28 2001-08-28 映像解析装置,映像解析方法,映像解析プログラムおよびそのプログラム記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001257564A JP3785068B2 (ja) 2001-08-28 2001-08-28 映像解析装置,映像解析方法,映像解析プログラムおよびそのプログラム記録媒体

Publications (2)

Publication Number Publication Date
JP2003069946A JP2003069946A (ja) 2003-03-07
JP3785068B2 true JP3785068B2 (ja) 2006-06-14

Family

ID=19085202

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001257564A Expired - Fee Related JP3785068B2 (ja) 2001-08-28 2001-08-28 映像解析装置,映像解析方法,映像解析プログラムおよびそのプログラム記録媒体

Country Status (1)

Country Link
JP (1) JP3785068B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180067223A (ko) 2016-12-12 2018-06-20 한화에어로스페이스 주식회사 영상처리장치 및 그의 영상분석방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4559935B2 (ja) * 2005-08-25 2010-10-13 株式会社東芝 画像記憶装置及び方法
JP4849339B2 (ja) 2007-03-30 2012-01-11 ソニー株式会社 情報処理装置および方法
JP4895125B2 (ja) * 2007-07-26 2012-03-14 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
JP5359247B2 (ja) * 2008-12-17 2013-12-04 株式会社ニコン 電子カメラ
JP5699856B2 (ja) * 2011-08-18 2015-04-15 富士通株式会社 動画像処理装置、動画像処理方法及び動画像処理用コンピュータプログラム
JP5702269B2 (ja) * 2011-12-13 2015-04-15 日本電信電話株式会社 並列映像解析装置、並列映像解析方法及び並列映像解析プログラム
JP5882883B2 (ja) * 2012-12-03 2016-03-09 日本電信電話株式会社 テロップ検出装置、テロップ検出方法及びテロップ検出プログラム
CN106550208B (zh) * 2015-09-21 2019-04-19 杭州海康威视数字技术股份有限公司 视频拆分方法、设备及视频分析系统
CN112584073B (zh) * 2020-12-24 2022-08-02 杭州叙简科技股份有限公司 一种基于5g的执法记录仪分布式协助计算方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180067223A (ko) 2016-12-12 2018-06-20 한화에어로스페이스 주식회사 영상처리장치 및 그의 영상분석방법

Also Published As

Publication number Publication date
JP2003069946A (ja) 2003-03-07

Similar Documents

Publication Publication Date Title
KR101994592B1 (ko) 비디오 콘텐츠의 메타데이터 자동 생성 방법 및 시스템
US7483624B2 (en) System and method for indexing a video sequence
US9014537B2 (en) Information processing apparatus and method, and program
US7487524B2 (en) Method and apparatus for presenting content of images
JP4559935B2 (ja) 画像記憶装置及び方法
JP4920395B2 (ja) 動画要約自動作成装置、方法、及びコンピュータ・プログラム
EP1081960A1 (en) Signal processing method and video/voice processing device
US20070101266A1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
JP2011223325A (ja) コンテンツ検索装置および方法、並びにプログラム
EP1600973A1 (en) Moving image processing apparatus and method
JP3785068B2 (ja) 映像解析装置,映像解析方法,映像解析プログラムおよびそのプログラム記録媒体
US20110153328A1 (en) Obscene content analysis apparatus and method based on audio data analysis
US8630532B2 (en) Video processing apparatus and video processing method
JP2004274768A (ja) 注釈付きビデオファイルを生成する方法
JP3258924B2 (ja) シーン管理装置、シーン管理方法及び記録媒体
JP2009123095A (ja) 映像解析装置及び映像解析方法
US20170040040A1 (en) Video information processing system
KR101869905B1 (ko) 영상 재생 방법 및 장치
JP3977683B2 (ja) 映像解析装置,映像解析方法,映像解析プログラムおよび映像解析プログラムの記録媒体
JPWO2005043901A1 (ja) レジューム再生システム
JP2001119661A (ja) 動画編集システムおよび記録媒体
US11361797B2 (en) Moving image reproduction apparatus, moving image reproduction method, moving image reproduction system, and storage medium
JP3754397B2 (ja) 電子透かし検出装置,電子透かし検出方法,電子透かし検出プログラムおよび電子透かし検出プログラムの記録媒体
Li et al. Bridging the semantic gap in sports
JP4177239B2 (ja) 映像解析装置,映像解析方法,映像解析プログラムおよびその記録媒体

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060316

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090324

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100324

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110324

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110324

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120324

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130324

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees