JP4394920B2 - 映像分類表示方法及びそのシステム並びにプログラム - Google Patents

Description

本発明は、映像を分類して表示するためのシステム及び方法並びにこれを実行するプログラムに関するものである。

衛星放送、ＣＡＴＶ放送や光ネットワーク、高速モパイルネットワークにおけるインターネット放送など、近年の映像放送環境の発展には目覚しいものがある。このように、利用者が大量の映像情報にアクセスできる環境が充実しつつある。その一方で、これら大量の映像情報の中から、利用者が見たい映像を探し出したり、見たい映像にアクセスしたりする技術の提供は、従来のままである。これらを、効率良くあるいは簡単にできるようにすることは、こうした大量の映像情報を扱う際に必要不可欠である。また、映像情報が多様化するにつれて、それらに対する個人の興味も多様化し、これまでの画一的な映像を放送するのではなく、個人の興味や嗜好に適応した映像をアクセスする手段の提供の二一ズも高まっている。

これらの問題を鑑みて画像情報を利用して視聴の対象となる映像を構造化する技術が発明されている。例えぱ、特開平１０−２３４００４０号に記載の「動画像表示装置および表示方法」は、視聴の対象となるデジタル動画像データを、シーンの変化等に応じて複数の場面に区分し、その場面中に登場する人物の所定の映像を登場回数と共に分類する装置、及び方法である。

しかしながら、一般に、ある作品としての映像やライブ映像などには、同じ人物が登場することが多く、登場人物が写っているシーンでの分類は、あまり効果的ではない。このため、この登場人物が行う動作に着目した映像の分類が最近では求められている。ところが、これらは自動化されておらず、映像の各シーンに対して、どのような動作を行っているかなどを人手により分類し、それを人手により記述することが行われるのが現状である。
特開平１０−２３４００４号（段落番号００１６及び図１）

本発明は、かかる事情に鑑みなされたもので、その目的は、映像を分類して表示するための新たな映像分類表示方法及びそのシステム並びにプログラム、特に、映像を動作によって分類し、それを一覧表示することができる映像分類表示方法及びそのシステム並びにプログラムの提供にある。

前記課題を解決するために、本発明の映像分類表示方法及びそのシステムは、所定のフレーム数の基準映像区間に対し、同フレーム数の他の映像区間について差分パターン画像に基づいて類似性を判定し、類似していれば基準映像区間と同じ分類番号を与え、これを全映像区間に対して処理してフレームを分類している。

すなわち、本発明の映像分類表示システムの態様としては、映像を分類して表示するための映像分類表示システムにおいて、入力された画像から差分パターン画像を生成し、この差分パターン画像に基づいて映像を解析する手段と、基準となる部分映像区間を有し、前記解析結果に基づいて、別の複数の部分映像区間が前記差分パターン画像の比較で類似していれば、この部分映像区間を同じクラスの映像として分類する手段と、前記映像分類部における分類結果に基づいて分類映像情報を表示する手段と、前記映像を分類する手段により格納された映像に関する情報を保持する映像データベースを備え、前記映像を分類する手段は、映像情報を入力し、前記映像データベースに格納するステップと、分類するための最小単位となる処理フレーム数を入力するステップと、前記映像データベースから未分類フレームを検索するステップと、この検索結果の未分類フレーム群に対して最小フレーム番号から処理フレーム数分の画像を取得するステップとを実行し、前記映像を解析する手段は、入力された画像群に対して、各画素について、隣接フレーム間での画素値の差が最初にしきい値を越える場合に、そのフレーム番号を画素値として、参照差分パターン画像を生成し、前記映像を分類する手段は、前記最小フレーム番号と処理フレーム数から初期の開始フレーム番号を設定するステップと、処理フレーム数分の画像を開始フレーム番号から一フレーム毎に取得するステップとを実行するステップとを実行し、前記映像を解析する手段は、前記入力された画像群に対して、各画素について、前記隣接フレームとは異なる隣接フレーム間での画素値の差が最初にしきい値を越える場合に、そのフレーム番号を画素値として、差分パターン画像を生成し、前記映像を分類する手段は、前記差分パターン画像と前記参照差分パターン画像との類似度を算出するステップと、この類似度が閾値を満たす場合に前記差分パターン画像を構成するフレームに分類番号を付与するステップと、同じ参照差分パターン画像における分類番号の付与の有無を判定し前記参照差分パターン画像の該当するフレームに分類番号を付与するステップと、前記付与された分類番号について映像データベースを更新するステップとを実行する。

前記映像分類表示システムにおいて、前記分類映像情報を表示する手段は、表示の対象となる映像情報の選択を入力するステップと、選択された映像情報を映像データベースから検索するステップと、この映像情報に対して分類数を取得するステップと、各分類番号に対して代表画像を選択するステップと、この代表画像を付与された分類番号が多いもの順に一覧表示するステップと、表示の対象となる分類表示映像の分類番号を入力するステップと、この分類番号のフレームをフレーム番号の小さい順に順次表示するステップとを実行するようにしてもよい。

また、本発明の映像分類表示方法の態様としては、入力された画像から差分パターン画像を生成し、この差分パターン画像に基づいて映像を解析する映像解析部と、基準となる部分映像区間を有し、前記解析結果に基づいて、別の複数の部分映像区間が前記差分パターン画像の比較で類似していれば、この部分映像区間を同じクラスの映像として分類する映像分類部と、前記映像分類部での分類結果に基づき分類映像情報を表示する映像表示部と、前記映像分類部により格納された映像に関する情報を保持する映像データベースを備えた映像分類表示システムによる画像分類表示方法であって、前記映像分類部が、映像情報を入力し、前記映像データベースに格納するステップと、分類するための最小単位となる処理フレーム数を入力するステップと、前記映像データベースから未分類フレームを検索するステップと、この検索結果の未分類フレーム群に対して最小フレーム番号から処理フレーム数分の画像を取得するステップとを実行する手順と、前記映像解析部が、入力された画像群に対して、各画素について、隣接フレーム間での画素値の差が最初にしきい値を越える場合に、そのフレーム番号を画素値として、参照差分パターン画像を生成する手順と、前記映像分類部が、前記最小フレーム番号と処理フレーム数から初期の開始フレーム番号を設定するステップと、処理フレーム数分の画像を開始フレーム番号から一フレーム毎に取得するステップとを実行する手順と、前記映像解析部が、前記入力された画像群に対して、各画素について、前記隣接フレームとは異なる隣接フレーム間での画素値の差が最初にしきい値を越える場合に、そのフレーム番号を画素値として、差分パターン画像を生成する手順と、前記映像分類部が、前記差分パターン画像と前記参照差分パターン画像との類似度を算出するステップと、この類似度が閾値を満たす場合に前記差分パターン画像を構成するフレームに分類番号を付与するステップと、同じ参照差分パターン画像における分類番号の付与の有無を判定し前記参照差分パターン画像の該当するフレームに分類番号を付与するステップと、付与された分類番号について映像データベースを更新するステップとを実行する手順とを有する。

前記映像分類表示方法において、前記映像表示部が、表示の対象となる映像情報の選択を入力するステップと、選択された映像情報を映像データベースから検索するステップと、この映像情報に対して分類数を取得するステップと、各分類番号に対して代表画像を選択するステップと、この代表画像を付与された分類番号が多いもの順に一覧表示するステップと、表示の対象となる分類表示映像の分類番号を入力するステップと、この分類番号のフレームをフレーム番号の小さい順に順次表示するステップとを実行する手順を有するようにしてもよい。

以上の映像分類表示方法とそのシステムはコンピュータにその手順及び手段を実行するためのプログラムによっても実現でき、さらには、このプログラムをコンピュータ読み取り可能な記録媒体に記録すること、ネットワークを通して提供することも可能である。前記記録媒体としては、フレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバルディスク等が例示される。

本発明の映像分類表示方法及びそのシステム並びにプログラムによれば、所定のフレーム数の基準映像区間に対し、同フレーム数の他の映像区間について差分パターン画像に基づいて類似性を判定し、類似していれば基準映像区間と同じ分類番号を与え、これを全映像区間に対して処理してフレームを分類しているので、映像を動作によって分類し、それを一覧表示することができる。

以下、図面を参照しながら本発明の実施の形態について説明する。

図１は、本発明の映像分類表示システムを示した概略構成図である。

本実施形態の映像分類表示システム１は、映像解析部１１と映像分類部１２と映像表示部１３と映像データベース１４とを備える。

映像解析部１１は、入力された画像（映像コンテンツ１０）から参照差分パターン画像と差分パターン画像とを生成し、これらの画像に基づいて映像を解析する。映像分類部１２は、映像解析部１１での解析結果に基づき映像を分類する。映像表示部１３は、映像分類部１２での分類結果に基づき分類映像情報を表示する。映像データベース１４は、映像分類部１２により格納された映像に関する情報を保持する。

映像解析部１１において、参照差分パターン画像及び差分パターン画像の生成にあたっては、入力された画像群に対して、各画素について、隣接フレーム間での画素値の差が最初にしきい値を越える場合に、そのフレーム番号を画素値として画像を生成するとよい。画像間の類似度の算出は、通常の画像処理で利用される、例えば、以下の式で示される正規化相互相関値を利用するとよい。

基準画像をＴ（ｘ，ｙ）、入力画像をＩ（ｘ，ｙ）で表すと、相関値Ｒ（ｘ，ｙ）を算出するための演算式は以下の数１式で表せる。

また、利用する閾値は、予め決めておくとしてもよいし、平均値、度数、偏差値などといった統計的に算出される値を利用して動的に算出するとしてもよく、これらの値の算出手法は、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。

以上の処理部は、利用者とのインタフェースとなるキーボード、マウス、ジョイスティックなどの入力装置、ＣＲＴディスプレイなどの出力装置などが備えられた、例えば、パーソナルコンピュータにより実現できる。この場合、前記各処理部、すなわち、映像解析部１１、映像分類部１２及び映像表示部１３は、このような情報処理機器のメモリに格納されて実行されるプログラムにより実現することができる。

図２は、当該システムにおける映像分類の手順をフローチャートで示したものである。また、図３は、同システムにおける映像表示の手順をフローチャートで示したものである。以下、この流れにしたがって詳細に説明する。

映像分類部１２は、映像解析部１１において生成された差分パターン画像の照合に基づいて、映像の分類を行なう。この処理は図２に示す以下の手順（ステップ１０１〜１１３）で実行される。

（ステップ１０１） 映像分類部１１において、映像情報（映像コンテンツ１０）を入力し、これを映像データベース１０に格納する。

（ステップ１０２） 分類するための最小単位となる処理フレーム数を入力する。

（ステップ１０３） 映像データベース１４から未分類フレームを検索する。

（ステップ１０４） 検索結果の未分類フレーム群に対し、最小フレーム番号から処理フレーム数分の画像を取得する。

（ステップ１０５） 映像解析部１１において前記取得した画像群から参照差分パターン画像を生成する。

（ステップ１０６） 最小フレーム番号と処理フレーム数から初期の開始フレーム番号を設定する。

（ステップ１０７） 処理フレーム数分の画像を開始フレーム番号から一フレーム毎に取得する。

（ステップ１０８） 映像解析部１１において前記取得した画像群から差分パターン画像を生成する。

（ステップ１０９） 差分パターン画像と参照差分パターン画像との類似度を算出する。

（ステップ１１０） 類似度が閾値を満たす場合に、差分パターン画像を構成するフレームに分類番号を付与する。

（ステップ１１１） 同じ参照差分パターン画像における分類番号の付与の有無を判定する。

（ステップ１１２） 前記分類番号の付与が有ある場合、参照差分パターン画像の全フレームに分類番号を付与する。一方、前記分類番号の付与が無い場合、最初のフレームに分類番号を付与する。

（ステップ１１３） 付与された分類番号について、映像データベース１４を更新する。

尚、ステップ１０４において、検索結果の未分類フレーム群に対し、最小フレーム番号から処理フレーム数分の画像を取得できない場合（連続する未分類フレームが処理フレーム数分ない場合）は、該フレームを処理済みとして、それに続く連続するフレームを取得することとする。

映像表示部１３では、映像分類部１２での分類結果に基づいて、分類映像情報を表示することが行われる。この処理は図３に示す手順（ステップ２０１〜２０７）で行われる。

（ステップ２０１） 表示の対象となる映像情報の選択を入力する。

（ステップ２０２） 選択された映像情報を映像データベース１４から検索する。

（ステップ２０３） 検索された映像情報に対して、分類数が取得する。

（ステッナ２０４） 各分類番号に対して、処理フレーム数／２番目のフレームを代表画像として選択する。

（ステップ２０５） 付与された分類番号が多いもの順に代表画像を一覧表示する。

（ステップ２０６） 表示の対象となる分類表示映像の分類番号を入力する。

（ステップ２０７） 入力された分類番号のフレームをフレーム番号の小さい順に順次表示する。

このとき、これらにおける表示対象の選択は、利用者とのインタフェースとなるキーボード、マウス、ジョイスティックなどの入力装置を用いて行われ、その処理結果としての映像情報などはＣＲＴディスプレイなどの出力装置を用いて行われる。これらは、同じコンピュータにより実現されてもよいし、またインターネットなどのネットワークで物理的に接続されているコンピュータ同士、あるいはまた携帯電話のようなモパイル端末とコンピュータでもよい。

次いで、図４及び図５を参照しながら、これまで説明してきた映像分類表示システムにおいて映像を動作によって分類し、それを一覧表示する際の具体的な手順について説明する。

映像分類部１１において、ある指定された映像情報を入力して、映像データベース１４に格納したとする。この映像に対し、分類するための最小単位となる処理フレーム数、ここでは３フレームが指定されたとする。これらに対し、映像データベース１４から未分類フレームを検索した結果、ここでは、図４の４０１に示すような全１２フレームの画像群から構成される。続いて、映像解析部１２において、４０２に示すように、最小フレーム番号１から３フレームの画像を取得し、参照差分パターン画像を生成する。これに対し、３フレームの画像を、開始フレーム番号４から一フレーム毎に、４０３〜４０９に示すように順に取得していき、それぞれの差分パターンを生成する。４０２から生成した参照差分パターン画像と４０３〜４０９から生成した差分パターン画像との類似度を算出する。ここでは、４０６から生成した差分パターン画像との類似度が閾値を満たしたとし、この３フレームに分類番号１を付与する。この付与が行われたので、参照差分パターン画像を構成する４０２に示す３フレームにも分類番号１が付与される。この６フレームについて、付与きれた分類番号を映像データベース１４に登録する。この処理を未分類フレームがなくなるまで繰り返すことが行われる。

この場合は、続いて、図５の５０１に白丸で示す６フレ一ムが未分類フレームとして検索される。続いて、５０２に示すように、最小フレーム番号４から３フレームの画像を取得し、参照差分パターン画像を生成する。これに対し、開始フレーム番号１０から３フレームの画像を取得すると、５０３に示すひとつだけになる。これから差分パターン画像を生成し類似度を算出する。ここでは、閾値を満たしたとし、この３フレームに分類番号２を付与する。この付与が行われたので、参照差分パターン画像を構成する５０２に示す３フレームにも分類番号２が付与される。この６フレームについて、付与された分類番号を映像データベース１４に登録する。これで全ての未分類フレームに対して処理が行われたので、映像分類処理を終了することになる。

ここで、映像分類部１２で利用された差分パターン画像について、映像解析部１１における差分パターン画像の生成の具体的な処理手順を述べる。ここでは、説明のため、上述した３フレームの画像群に対して処理を行い、図６の６０１〜６０３に示すような５×５画素サイズの画像群であったとする。この各画素について、隣接フレーム間での画素値の差が最初にしきい値を越える場合に、フレーム番号が割り当てられる。図６の６０１〜６０３に示す画像に対して、隣接フレーム間（６０１と６０２，６０２と６０３）での画素値の差を算出すると、６０５〜６０６に示す画素がしきい値を越えることになる。これに対し、まず、６０６に示す画素が最初にしきい値を超えることになるので、この画素にフレーム番号１が割り当てられ、６０９に示すようになる。続いて、６０５に示す画素で、６０６でしきい値を超えていない画素にフレーム番号２が割り当てられ、６０８に示すようになる。こうして最終的に、差分パターン画像として、６１０に示すような画像が生成されることになる。

こうして分類され、映像データベース１４に格納された映像を見ることになる。映像表示部１３では、図７に示すように、表示の対象となる映像情報を提示し、見たい情報が指定されることになる。ここで、スポーツに関連した映像を表示の対象とし、利用者が野球を選択したとする。この選択された映像情報を映像データベース１４から検索し、この映像が分類された各番号に対して、代表画像を選択する。ここでは、図８に示すように、分類番号が多いもの上位３位までの打っ動作、投げる動作、守る動作が選ばれ、それぞれの代表画像を一覧表示している。これから、利用者が例えば、打つ動作を選択したとして、この分類番号に分類されたフレーム群を、フレーム番号の小さい順に順次表示することになる。

以上、本発明を実施形態例に基づき具体的に説明したが、本発明の実施形態は本発明の技術思想の範囲で多彩な変形および修正が可能であることは、当業者にとって明白なことであり、このような変形および修正が特許請求の範囲に属することは当然のことである。

また、実施形態で説明した映像分類表示方法は、図１〜図３で示した処理工程をコンピュータに実行させるプログラムで構成し、コンピュータで実行させることができることは言うまでもなく、またコンピュータでその機能を実現するためのプログラム、あるいはコンピュータにその処理の工程の実行させるためのプログラムを、そのコンピュータが読み取りできる記録媒体、例えば、フレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバルディスクなどに記録して、保存したり、配布したりすることが可能である。さらに、これらのプログラムをインターネットや電子メールなど、ネットワークを介して提供することも可能である。そして、前記記録媒体からコンピュータに前記のプログラムをインストールすることにより、あるいはネットワークからダウンロードしてコンピュータに前記のプログラムをインストールすることにより、本発明を実施することが可能となる。但し、コンピュータへのインストールはコンピュータ単位であり、装置やシステムが複数あることなどでインストールの対象となるコンピュータが複数ある場合には、当該プログラムは必要な処理部分毎にインストールされることは当然である。この場合、当該プログラムはコンピュータ対応に記録媒体に記録するか、またはネットワークを介してダウンロードしてもよい。

本発明の映像分類表示システムを示した概略構成図。 本発明の映像分類表示システムにおける映像分類の手順を説明したフローチャート。 本発明の映像分類表示システムにおける映像表示の手順を説明したフローチャート。 本発明の映像分類表示システムによる処理の一例を示した説明図。 本発明の映像分類表示システムによる処理の一例を示した説明図。 本発明の映像分類表示システムによる処理の一例を示した説明図。 本発明の映像分類表示システムによる処理の一例を示した説明図。 本発明の映像分類表示システムによる処理の一例を示した説明図。

符号の説明

１…映像分類表示システム
１０…映像コンテンツ
１１…映像解析部
１２…映像分類部
１３…映像表示部
１４…映像データベース

Claims (5)

1. 映像を分類して表示するための映像分類表示システムにおいて、
   入力された画像から差分パターン画像を生成し、この差分パターン画像に基づいて映像を解析する手段と、
   基準となる部分映像区間を有し、前記解析結果に基づいて、別の複数の部分映像区間が前記差分パターン画像の比較で類似していれば、この部分映像区間を同じクラスの映像として分類する手段と、
   前記映像分類部における分類結果に基づいて分類映像情報を表示する手段と、
   前記映像を分類する手段により格納された映像に関する情報を保持する映像データベースと
   を備え、
   前記映像を分類する手段は、映像情報を入力し、前記映像データベースに格納するステップと、分類するための最小単位となる処理フレーム数を入力するステップと、前記映像データベースから未分類フレームを検索するステップと、この検索結果の未分類フレーム群に対して最小フレーム番号から処理フレーム数分の画像を取得するステップとを実行し、
   前記映像を解析する手段は、入力された画像群に対して、各画素について、隣接フレーム間での画素値の差が最初にしきい値を越える場合に、そのフレーム番号を画素値として、参照差分パターン画像を生成し、
   前記映像を分類する手段は、前記最小フレーム番号と処理フレーム数から初期の開始フレーム番号を設定するステップと、処理フレーム数分の画像を開始フレーム番号から一フレーム毎に取得するステップとを実行するステップとを実行し、
   前記映像を解析する手段は、前記入力された画像群に対して、各画素について、前記隣接フレームとは異なる隣接フレーム間での画素値の差が最初にしきい値を越える場合に、そのフレーム番号を画素値として、差分パターン画像を生成し、
   前記映像を分類する手段は、前記差分パターン画像と前記参照差分パターン画像との類似度を算出するステップと、この類似度が閾値を満たす場合に前記差分パターン画像を構成するフレームに分類番号を付与するステップと、同じ参照差分パターン画像における分類番号の付与の有無を判定し前記参照差分パターン画像の該当するフレームに分類番号を付与するステップと、前記付与された分類番号について映像データベースを更新するステップとを実行すること
   を特徴とする映像分類表示システム。
2. 前記分類映像情報を表示する手段は、
   表示の対象となる映像情報の選択を入力するステップと、
   選択された映像情報を映像データベースから検索するステップと、
   この映像情報に対して分類数を取得するステップと、
   各分類番号に対して代表画像を選択するステップと、
   この代表画像を付与された分類番号が多いもの順に一覧表示するステップと、
   表示の対象となる分類表示映像の分類番号を入力するステップと、
   この分類番号のフレームをフレーム番号の小さい順に順次表示するステップと
   を実行すること
   を特徴とする請求項１に記載の映像分類表示システム。
3. 入力された画像から差分パターン画像を生成し、この差分パターン画像に基づいて映像を解析する映像解析部と、
   基準となる部分映像区間を有し、前記解析結果に基づいて、別の複数の部分映像区間が前記差分パターン画像の比較で類似していれば、この部分映像区間を同じクラスの映像として分類する映像分類部と、
   前記映像分類部での分類結果に基づき分類映像情報を表示する映像表示部と、
   前記映像分類部により格納された映像に関する情報を保持する映像データベースと
   を備えた映像分類表示システムによる画像分類表示方法であって、
   前記映像分類部が、映像情報を入力し、前記映像データベースに格納するステップと、分類するための最小単位となる処理フレーム数を入力するステップと、前記映像データベースから未分類フレームを検索するステップと、この検索結果の未分類フレーム群に対して最小フレーム番号から処理フレーム数分の画像を取得するステップとを実行する手順と、
   前記映像解析部が、入力された画像群に対して、各画素について、隣接フレーム間での画素値の差が最初にしきい値を越える場合に、そのフレーム番号を画素値として、参照差分パターン画像を生成する手順と、
   前記映像分類部が、前記最小フレーム番号と処理フレーム数から初期の開始フレーム番号を設定するステップと、処理フレーム数分の画像を開始フレーム番号から一フレーム毎に取得するステップとを実行する手順と、
   前記映像解析部が、前記入力された画像群に対して、各画素について、前記隣接フレームとは異なる隣接フレーム間での画素値の差が最初にしきい値を越える場合に、そのフレーム番号を画素値として、差分パターン画像を生成する手順と、
   前記映像分類部が、前記差分パターン画像と前記参照差分パターン画像との類似度を算出するステップと、この類似度が閾値を満たす場合に前記差分パターン画像を構成するフレームに分類番号を付与するステップと、同じ参照差分パターン画像における分類番号の付与の有無を判定し前記参照差分パターン画像の該当するフレームに分類番号を付与するステップと、付与された分類番号について映像データベースを更新するステップとを実行する手順と
   を有すること
   を特徴とする映像分類表示方法。
4. 前記映像表示部が、表示の対象となる映像情報の選択を入力するステップと、選択された映像情報を映像データベースから検索するステップと、この映像情報に対して分類数を取得するステップと、各分類番号に対して代表画像を選択するステップと、この代表画像を付与された分類番号が多いもの順に一覧表示するステップと、表示の対象となる分類表示映像の分類番号を入力するステップと、この分類番号のフレームをフレーム番号の小さい順に順次表示するステップとを実行する手順を有すること
   を特徴とする請求項３に記載の映像分類表示方法。
5. コンピュータに請求項１から４のいずれか１項に記載の映像分類表示方法とそのシステムにおける手順及び手段を実行させるためのプログラム。

Images