JPH09219835A - 映像要約方法および装置 - Google Patents
映像要約方法および装置Info
- Publication number
- JPH09219835A JPH09219835A JP8025343A JP2534396A JPH09219835A JP H09219835 A JPH09219835 A JP H09219835A JP 8025343 A JP8025343 A JP 8025343A JP 2534396 A JP2534396 A JP 2534396A JP H09219835 A JPH09219835 A JP H09219835A
- Authority
- JP
- Japan
- Prior art keywords
- video
- section
- type
- image
- representative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
(57)【要約】
【課題】 各映像種別ごとに適した方法で代表画像の抽
出を行う。 【解決手段】 映像入力部１０１より入力される映像デ
ータは映像種別識別部１０２で映像種別が識別され、映
像種別を属性として持つ映像区間Ｔi （ｓｉ，ｅｉ）が
抽出される。抽出された映像区間は映像区間管理部１０
３で管理される。代表画像作成部１０４では映像種別ご
とに予め与えられた手続きが実行され、各映像区間Ｔi
を代表する画像が抽出あるいは合成される。レイアウト
部１０５で代表画像を空間的に並べた映像要約が作成さ
れ、表示部１０６に表示される。映像種別の一つとして
コマーシャル（ＣＭ）を選び、ＣＭを属性として持つ映
像区間（ＣＭクリップ）に対して最後の画像を代表画像
として抽出することもできる。
出を行う。 【解決手段】 映像入力部１０１より入力される映像デ
ータは映像種別識別部１０２で映像種別が識別され、映
像種別を属性として持つ映像区間Ｔi （ｓｉ，ｅｉ）が
抽出される。抽出された映像区間は映像区間管理部１０
３で管理される。代表画像作成部１０４では映像種別ご
とに予め与えられた手続きが実行され、各映像区間Ｔi
を代表する画像が抽出あるいは合成される。レイアウト
部１０５で代表画像を空間的に並べた映像要約が作成さ
れ、表示部１０６に表示される。映像種別の一つとして
コマーシャル（ＣＭ）を選び、ＣＭを属性として持つ映
像区間（ＣＭクリップ）に対して最後の画像を代表画像
として抽出することもできる。
Description
【０００１】
【発明の属する技術分野】本発明は映像データベース、
ビデオデッキ、映像編集装置等の映像関連装置におい
て、映像の検索あるいは内容概略把握の効率化を図るた
めの映像要約方法および装置に関する。
ビデオデッキ、映像編集装置等の映像関連装置におい
て、映像の検索あるいは内容概略把握の効率化を図るた
めの映像要約方法および装置に関する。
【０００２】
【従来の技術および発明が解決しようとする課題】ビデ
オデッキを使ってテープの中から所望の画面を探し出す
ためには、早送り巻き戻し操作を繰り返すしかなく、時
間がかかるという問題点があった。映像データベースな
どで大量の映像データを蓄積しておき、それを効率的に
利用できるようにするためには、映像を要約してユーザ
ーに提示する機能が必要である。映像の時間的な輝度あ
るいは色分布の変化に基づいて場面の切り替え（カッ
ト）を検出し、場面ごとに１枚あるいは複数枚の画像を
抽出して紙の上に一覧表示する方法が開示されている
（外村、谷口、阿久津：ＰaperＶideo：紙を用いた新し
い映像インタフェース、信学技報、ＩＥ94−59，pp.15
−20, 1994.)。この方法には、映像が長くなると場面の
数が多くなるために必ずしも効率的な要約となっていな
いという問題があった。加えてニュース、コマーシャル
（ＣＭ）、映画、天気予報と言った映像種別によって本
来、代表画面を抽出する基準が異なるはずであるのに従
来方法ではその点を考慮していない。
オデッキを使ってテープの中から所望の画面を探し出す
ためには、早送り巻き戻し操作を繰り返すしかなく、時
間がかかるという問題点があった。映像データベースな
どで大量の映像データを蓄積しておき、それを効率的に
利用できるようにするためには、映像を要約してユーザ
ーに提示する機能が必要である。映像の時間的な輝度あ
るいは色分布の変化に基づいて場面の切り替え（カッ
ト）を検出し、場面ごとに１枚あるいは複数枚の画像を
抽出して紙の上に一覧表示する方法が開示されている
（外村、谷口、阿久津：ＰaperＶideo：紙を用いた新し
い映像インタフェース、信学技報、ＩＥ94−59，pp.15
−20, 1994.)。この方法には、映像が長くなると場面の
数が多くなるために必ずしも効率的な要約となっていな
いという問題があった。加えてニュース、コマーシャル
（ＣＭ）、映画、天気予報と言った映像種別によって本
来、代表画面を抽出する基準が異なるはずであるのに従
来方法ではその点を考慮していない。
【０００３】映像種別を識別し、映像区間を分割する方
法については文献（Doborah Ｓwanberg, Chiao-Fe Shu,
Ramesh Jain:Knowledge Guided Parsing in Video Data
bases, SPIE Vol.1908 (1993)pp.13-24)に開示されてい
る。この方法は、ニュース映像を対象とし、ニュース映
像に特有の空間的知識（ニュースキャスタや文字領域の
位置関係）と時間的知識（オープニング、ニューストピ
ックス、天気予報の時間的前後関係）を予め与えてお
き、画像処理の結果得られる特徴量と与えられた知識と
を照合するものである。この方法により、ニュース映像
をニューストピックスや天気予報といった映像種別を属
性として持つ映像区間に分割することができる。しか
し、この文献には要約作成の方法については述べられて
いない。
法については文献（Doborah Ｓwanberg, Chiao-Fe Shu,
Ramesh Jain:Knowledge Guided Parsing in Video Data
bases, SPIE Vol.1908 (1993)pp.13-24)に開示されてい
る。この方法は、ニュース映像を対象とし、ニュース映
像に特有の空間的知識（ニュースキャスタや文字領域の
位置関係）と時間的知識（オープニング、ニューストピ
ックス、天気予報の時間的前後関係）を予め与えてお
き、画像処理の結果得られる特徴量と与えられた知識と
を照合するものである。この方法により、ニュース映像
をニューストピックスや天気予報といった映像種別を属
性として持つ映像区間に分割することができる。しか
し、この文献には要約作成の方法については述べられて
いない。
【０００４】本発明の目的は、上記問題点を解決し、映
像種別に応じた方法で代表画像の抽出を行い、より効率
的な映像予約を行う方法および装置を提供することにあ
る。
像種別に応じた方法で代表画像の抽出を行い、より効率
的な映像予約を行う方法および装置を提供することにあ
る。
【０００５】
【課題を解決するための手段】本発明では、映像データ
を解析して映像種別を識別し、映像種別を属性として持
つ映像区間に映像を時間的に分割し、映像種別ごとに予
め与えられた手続きを実行し、映像区間を代表する画像
を抽出あるいは合成し、その代表画像を空間的に並べて
映像要約を作成する。
を解析して映像種別を識別し、映像種別を属性として持
つ映像区間に映像を時間的に分割し、映像種別ごとに予
め与えられた手続きを実行し、映像区間を代表する画像
を抽出あるいは合成し、その代表画像を空間的に並べて
映像要約を作成する。
【０００６】
【作 用】請求項１の映像要約方法では、映像データを
解析して映像種別を識別し、映像種別を属性として持つ
映像区間に分割し、映像種別ごとに予め与えられた手続
きに従って代表画像を抽出あるいは合成するので、映像
種別に適した方法で代表画像を作成でき、より効率的な
要約が作成できるようになる。
解析して映像種別を識別し、映像種別を属性として持つ
映像区間に分割し、映像種別ごとに予め与えられた手続
きに従って代表画像を抽出あるいは合成するので、映像
種別に適した方法で代表画像を作成でき、より効率的な
要約が作成できるようになる。
【０００７】請求項２の映像要約方法では、コマーシャ
ルを映像種別の一つとして識別し、コマーシャルについ
てはその末尾の画像を代表画像とする。コマーシャルに
おいては、その末尾に会社名、商品名などの情報が表示
されることが一般的であるので、コマーシャルの末尾の
画像を代表画像として抽出することが好適である。
ルを映像種別の一つとして識別し、コマーシャルについ
てはその末尾の画像を代表画像とする。コマーシャルに
おいては、その末尾に会社名、商品名などの情報が表示
されることが一般的であるので、コマーシャルの末尾の
画像を代表画像として抽出することが好適である。
【０００８】
【発明の実施の形態】図１の実施例を参照して発明の実
施の形態を説明する。図において、映像データ入力部１
０１は映像データを映像種別識別部１０２に送る。映像
データ入力部１０１はアナログ映像信号をデジタル化す
る装置であったり、圧縮符号化されたデジタルデータを
復号する映像データ復号装置であったりする。映像デー
タには映像データ、音声データおよび撮影時刻に関する
タイムコード等の付属データが含まれる。
施の形態を説明する。図において、映像データ入力部１
０１は映像データを映像種別識別部１０２に送る。映像
データ入力部１０１はアナログ映像信号をデジタル化す
る装置であったり、圧縮符号化されたデジタルデータを
復号する映像データ復号装置であったりする。映像デー
タには映像データ、音声データおよび撮影時刻に関する
タイムコード等の付属データが含まれる。
【０００９】映像種別識別部１０２は１０１から送られ
てくる映像データから映像種別を識別して、連続して同
じ映像種別を持つ区間を映像種別とともに映像区間管理
部１０３に送る。映像種別としては様々なものが考えら
れるが、テレビ映像が対象であればコマーシャル、番
組、番組の中には映画、ニュース等がある。付属情報の
一つとして映像種別が含まれる場合にはそれを利用して
映像種別を識別し、映像区間とその種別を出力すればよ
い。また、付属情報として映像種別が得られない場合に
は、映像処理によって映像種別を識別する方法を使うこ
ともできる。ＣＭ区間の識別方法の一例を後述する。
てくる映像データから映像種別を識別して、連続して同
じ映像種別を持つ区間を映像種別とともに映像区間管理
部１０３に送る。映像種別としては様々なものが考えら
れるが、テレビ映像が対象であればコマーシャル、番
組、番組の中には映画、ニュース等がある。付属情報の
一つとして映像種別が含まれる場合にはそれを利用して
映像種別を識別し、映像区間とその種別を出力すればよ
い。また、付属情報として映像種別が得られない場合に
は、映像処理によって映像種別を識別する方法を使うこ
ともできる。ＣＭ区間の識別方法の一例を後述する。
【００１０】１０３の映像区間管理部では映像種別を属
性として持つ映像区間を管理する。図２は、映像区間管
理部での映像区間管理方法の一例を示したものである。
映像区間の間には包含関係が存在する場合があるので、
その包含関係を図２に示すような階層（レイヤー）構造
で管理する。例えば、レイヤー２０３のショット（一つ
のカメラで撮影された一つの画面）とレイヤー２０２の
ＣＭクリップ（１本のＣＭ）の間には包含関係がある。
つまり、ＣＭクリップは複数のショットから構成され
る。また、放送ではいくつかのＣＭクリップが連続して
現れることが多いのが、この一連のＣＭをＣＭ区間と呼
び、さらに上位のレイヤー２０１で管理する。レイヤー
２０１でＣＭ区間以外の部分が番組区間である。また、
映像中に音楽を含む映像区間、人の声が含まれている映
像区間を抽出することもできる。また、各ショットは一
連のフレーム２０５に対応する。
性として持つ映像区間を管理する。図２は、映像区間管
理部での映像区間管理方法の一例を示したものである。
映像区間の間には包含関係が存在する場合があるので、
その包含関係を図２に示すような階層（レイヤー）構造
で管理する。例えば、レイヤー２０３のショット（一つ
のカメラで撮影された一つの画面）とレイヤー２０２の
ＣＭクリップ（１本のＣＭ）の間には包含関係がある。
つまり、ＣＭクリップは複数のショットから構成され
る。また、放送ではいくつかのＣＭクリップが連続して
現れることが多いのが、この一連のＣＭをＣＭ区間と呼
び、さらに上位のレイヤー２０１で管理する。レイヤー
２０１でＣＭ区間以外の部分が番組区間である。また、
映像中に音楽を含む映像区間、人の声が含まれている映
像区間を抽出することもできる。また、各ショットは一
連のフレーム２０５に対応する。
【００１１】代表画像作成部１０４では、映像区間管理
部１０３から映像区間を順に入力し、その映像種別に応
じて予め与えられた手続きで代表画像を作成する。例え
ば、ＣＭクリップという映像種別を属性として持つ映像
区間については、映像区間の末尾の映像を代表画像とす
る。ＣＭクリップにおいては、その末尾に会社名、商品
名などの情報が表示されることが一般的であるので、Ｃ
Ｍの末尾の画像を代表画像として抽出するのが好適であ
る。もちろん、末尾から一定時間前の画像をとるように
することも、末尾からにもっと近い字幕を含むフレーム
をとるようにすることもできる。番組という属性を持つ
映像区間については、映像区間の先頭画像を代表画像と
する。番組では最初にタイトルが表示されることが多い
ので、映像区間の先頭画像を代表画像とするのが望まし
い。あるいは番組種別を表す記号を代表画像としたり、
代表画像を作成しないようにすることもできる。
部１０３から映像区間を順に入力し、その映像種別に応
じて予め与えられた手続きで代表画像を作成する。例え
ば、ＣＭクリップという映像種別を属性として持つ映像
区間については、映像区間の末尾の映像を代表画像とす
る。ＣＭクリップにおいては、その末尾に会社名、商品
名などの情報が表示されることが一般的であるので、Ｃ
Ｍの末尾の画像を代表画像として抽出するのが好適であ
る。もちろん、末尾から一定時間前の画像をとるように
することも、末尾からにもっと近い字幕を含むフレーム
をとるようにすることもできる。番組という属性を持つ
映像区間については、映像区間の先頭画像を代表画像と
する。番組では最初にタイトルが表示されることが多い
ので、映像区間の先頭画像を代表画像とするのが望まし
い。あるいは番組種別を表す記号を代表画像としたり、
代表画像を作成しないようにすることもできる。
【００１２】レイアウト部１０５では、１０４で作成さ
れた代表画像を表示部１０６の制限（画面の大きさな
ど）に応じて配置する。例えば、図５に示すように時間
順に並べて出来上がったデータを表示部１０６に送る。
表示部１０６は、コンピュータの画面やプリンタなど画
像を表示することのできるデバイスであれば何でもよ
い。図５に表示の一例を示す。ここでは、ＣＭが一枚の
代表画像５０３で、番組区間が記号５０４に表示されて
おり、この画面を見ることでどのようなＣＭが映像に含
まれているかが一目で把握できる。またこの代表画像の
上をマウス等で指示すると、その指示がビデオ再生手段
に送られ映像の再生を開始するようにすることもでき
る。またこの画面には５０１，５０２に示すようなボタ
ンを使ってユーザが代表画像の作成方法を選択できるよ
うにすることもできる。
れた代表画像を表示部１０６の制限（画面の大きさな
ど）に応じて配置する。例えば、図５に示すように時間
順に並べて出来上がったデータを表示部１０６に送る。
表示部１０６は、コンピュータの画面やプリンタなど画
像を表示することのできるデバイスであれば何でもよ
い。図５に表示の一例を示す。ここでは、ＣＭが一枚の
代表画像５０３で、番組区間が記号５０４に表示されて
おり、この画面を見ることでどのようなＣＭが映像に含
まれているかが一目で把握できる。またこの代表画像の
上をマウス等で指示すると、その指示がビデオ再生手段
に送られ映像の再生を開始するようにすることもでき
る。またこの画面には５０１，５０２に示すようなボタ
ンを使ってユーザが代表画像の作成方法を選択できるよ
うにすることもできる。
【００１３】図１Ｂは図１Ａの映像要約装置の処理フロ
ーチャートである。映像データを時間順に解析して映像
種別を識別し、映像の先頭から数えてｉ番目に現れる映
像区間をＴi とする。映像種別としてはコマーシャル、
番組、番組の中にはニュース、映画、天気予報等様々な
ものが考えられるが、ここでは映像種別としてＫ１，Ｋ
２，…Ｋn のｎ種類が識別されるものとする。映像種別
Ｋj （ｊ＝１〜ｎ）のいずれかを属性として持つ映像区
間（同じ種別Ｋj の連続する区間）Ｔi （ｉ＝０，１，
２，…）に映像を時間的に分割し、Ｔi 区間の始点、終
点の時刻をそれぞれｓｉ，ｅｉとする（ステップＡ０
１）。例えば、テレビ放送では番組とＣＭが交互に現
れ、Ｔ０：ニュース，Ｔ１：ＣＭ，Ｔ２：ＣＭ，Ｔ３：
ＣＭ，Ｔ４：映画、…のようになる。ステップＡ０２で
は、各映像区間Ｔi はその映像種別Ｋj に応じて処理が
分岐する。Ｔi が映像種別Ｋ１であれば、ステップＡ１
１の代表画像作成手続き１の処理に分岐する。代表画像
作成手続き１の処理では、映像区間（ｓｉ，ｅｉ）を代
表する画像を抽出あるいは合成する。この代表画像は１
枚とは限らず、複数枚であってもよい。続いて、配置手
続き１（ステップＡ２１）に処理が移る。配置手続き１
では代表画像をどのように空間的に配置するかを決定す
る。ステップＡ３０では映像の終わりか否かを判定し、
終わりでなければステップＡ０１に分岐する。
ーチャートである。映像データを時間順に解析して映像
種別を識別し、映像の先頭から数えてｉ番目に現れる映
像区間をＴi とする。映像種別としてはコマーシャル、
番組、番組の中にはニュース、映画、天気予報等様々な
ものが考えられるが、ここでは映像種別としてＫ１，Ｋ
２，…Ｋn のｎ種類が識別されるものとする。映像種別
Ｋj （ｊ＝１〜ｎ）のいずれかを属性として持つ映像区
間（同じ種別Ｋj の連続する区間）Ｔi （ｉ＝０，１，
２，…）に映像を時間的に分割し、Ｔi 区間の始点、終
点の時刻をそれぞれｓｉ，ｅｉとする（ステップＡ０
１）。例えば、テレビ放送では番組とＣＭが交互に現
れ、Ｔ０：ニュース，Ｔ１：ＣＭ，Ｔ２：ＣＭ，Ｔ３：
ＣＭ，Ｔ４：映画、…のようになる。ステップＡ０２で
は、各映像区間Ｔi はその映像種別Ｋj に応じて処理が
分岐する。Ｔi が映像種別Ｋ１であれば、ステップＡ１
１の代表画像作成手続き１の処理に分岐する。代表画像
作成手続き１の処理では、映像区間（ｓｉ，ｅｉ）を代
表する画像を抽出あるいは合成する。この代表画像は１
枚とは限らず、複数枚であってもよい。続いて、配置手
続き１（ステップＡ２１）に処理が移る。配置手続き１
では代表画像をどのように空間的に配置するかを決定す
る。ステップＡ３０では映像の終わりか否かを判定し、
終わりでなければステップＡ０１に分岐する。
【００１４】請求項２の発明では、ステップＡ０１が映
像種別Ｋj の一つとしてコマーシャル（ＣＭ）を識別
し、例えばステップＡ１１がコマーシャルの属性を持つ
映像区間（ＣＭクリップ）に対して最後の画像、すなわ
ち時刻ｅｉの画像とすることを特徴とする。もちろん、
時刻ｅｉの代わりにｅｉから一定時間さかのぼった時刻
の画像を抽出することもできる。
像種別Ｋj の一つとしてコマーシャル（ＣＭ）を識別
し、例えばステップＡ１１がコマーシャルの属性を持つ
映像区間（ＣＭクリップ）に対して最後の画像、すなわ
ち時刻ｅｉの画像とすることを特徴とする。もちろん、
時刻ｅｉの代わりにｅｉから一定時間さかのぼった時刻
の画像を抽出することもできる。
【００１５】次に、ＣＭ区間を識別する方法について説
明する。ＣＭ区間が次のような性質を持つことを利用す
る。 （１）１本のＣＭ（ＣＭクリップ）は１５秒あるいは３
０秒の長さを持つ（すなわち、ＣＭクリップの開始時
刻、終了時刻の差が１５秒あるいは３０秒である。） （２）ＣＭクリップ中にはカットが多発することが多
い。
明する。ＣＭ区間が次のような性質を持つことを利用す
る。 （１）１本のＣＭ（ＣＭクリップ）は１５秒あるいは３
０秒の長さを持つ（すなわち、ＣＭクリップの開始時
刻、終了時刻の差が１５秒あるいは３０秒である。） （２）ＣＭクリップ中にはカットが多発することが多
い。
【００１６】 （３）ＣＭ区間は１分程度以上連続してあらわれる。 （４）ＣＭクリップとＣＭクリップの境界には無音区間
がある。 まずＣＭクリップとＣＭクリップの切れ目の候補を見つ
けるために、まず、映像の中で画像の内容が大きく変化
するところ（カット）を検出する。例えば「大辻、外
村、大庭：輝度情報を使った動画像ブラウジング、電気
情報通信学会技術報告、IE-90-103,1991」に示されてい
る方法を用いて検出する。検出されたカット時刻の列を
｛Ｃ１，Ｃ２，Ｃ３，…｝とし、無音区間系列をＳ１，
Ｓ２，Ｓ３，…｝とする。無音区間系列の要素Ｓt は無
音区間の開始時刻、終了時刻を属性として持つ。カット
系列Ｃと無音区間系列ＳからＣＭ区間を推定する手続き
を図３に示す。
がある。 まずＣＭクリップとＣＭクリップの切れ目の候補を見つ
けるために、まず、映像の中で画像の内容が大きく変化
するところ（カット）を検出する。例えば「大辻、外
村、大庭：輝度情報を使った動画像ブラウジング、電気
情報通信学会技術報告、IE-90-103,1991」に示されてい
る方法を用いて検出する。検出されたカット時刻の列を
｛Ｃ１，Ｃ２，Ｃ３，…｝とし、無音区間系列をＳ１，
Ｓ２，Ｓ３，…｝とする。無音区間系列の要素Ｓt は無
音区間の開始時刻、終了時刻を属性として持つ。カット
系列Ｃと無音区間系列ＳからＣＭ区間を推定する手続き
を図３に示す。
【００１７】ｔ＝１，２，３，について、次の処理を行
う。まず、カット時刻Ｃt が無音区間Ｓに含まれている
かどうか調べる（ステップ３０２）。上述した性質
（４）からＣＭクリップとＣＭクリップの境界には無音
区間があるので、Ｃt ∈ＳでないならばＣt はＣＭクリ
ップの先頭でないと判断する。さらに、ｔ′＞ｔかつＣ
t′−Ｃt ＝１５（秒）あるいは３０（秒）、かつＣt
′∈Ｓを満たすｔ′が存在するか調べ、存在しなけれ
ばＣt はＣＭクリップの先頭ではないと判断する（ステ
ップ３０３）。これは性質（１），（４）を満足するか
どうか調べていることになる。さらにt ′−ｔ≧３を満
たすか調べ、満たさなければやはりＣt はＣＭクリップ
の先頭ではないと判断する（ステップ３０４）。これは
性質（２）を満足するか調べていることになる。区間
［Ｃt ，Ｃt ′］をＣＭ候補区間としてキューに挿入す
る（ステップ３０５）。キューの中に６０秒以上継続す
るＣＭ候補区間（すなわち、ＣＭ候補区間が６０秒以上
切れ目なくつながっているもの）が存在するかどうか調
べ（ステップ３０６）、存在すればその区間をＣＭ区間
として出力する（ステップ３０７）。ステップ３０６は
性質（３）を満足するかどうか調べていることになる。
う。まず、カット時刻Ｃt が無音区間Ｓに含まれている
かどうか調べる（ステップ３０２）。上述した性質
（４）からＣＭクリップとＣＭクリップの境界には無音
区間があるので、Ｃt ∈ＳでないならばＣt はＣＭクリ
ップの先頭でないと判断する。さらに、ｔ′＞ｔかつＣ
t′−Ｃt ＝１５（秒）あるいは３０（秒）、かつＣt
′∈Ｓを満たすｔ′が存在するか調べ、存在しなけれ
ばＣt はＣＭクリップの先頭ではないと判断する（ステ
ップ３０３）。これは性質（１），（４）を満足するか
どうか調べていることになる。さらにt ′−ｔ≧３を満
たすか調べ、満たさなければやはりＣt はＣＭクリップ
の先頭ではないと判断する（ステップ３０４）。これは
性質（２）を満足するか調べていることになる。区間
［Ｃt ，Ｃt ′］をＣＭ候補区間としてキューに挿入す
る（ステップ３０５）。キューの中に６０秒以上継続す
るＣＭ候補区間（すなわち、ＣＭ候補区間が６０秒以上
切れ目なくつながっているもの）が存在するかどうか調
べ（ステップ３０６）、存在すればその区間をＣＭ区間
として出力する（ステップ３０７）。ステップ３０６は
性質（３）を満足するかどうか調べていることになる。
【００１８】図４にＣＭ区間推定の模式図を示す。４０
１は時間軸に並べられた無音区間系列Ｓを示し、４０２
はカット系列Ｃt を示す。カット系列の中で、カットと
カットの間の時間間隔が１５秒あるいは３０秒であり、
かつ両端のカットがともに無音区間に含まれるものを４
０３のＣＭ候補区間として抽出する。さらにＣＭ候補区
間が６０秒以上継続しているものを４０４のＣＭ区間と
して出力するわけである。４０５のＣＭ候補区間は継続
時間が６０秒未満であったので、ＣＭ区間としては出力
されない。カット時刻Ｃt は誤差を含んでいるので３０
３の時間測定ではその誤差を見込んで幅を持った判定を
行う方がよい。さらにカットの誤検出、検出もれを見込
んでステップ３０６の判定では６０秒以上継続していな
くても、その間でカット頻度が高ければＣＭ区間である
と判定するようにしてもよい。
１は時間軸に並べられた無音区間系列Ｓを示し、４０２
はカット系列Ｃt を示す。カット系列の中で、カットと
カットの間の時間間隔が１５秒あるいは３０秒であり、
かつ両端のカットがともに無音区間に含まれるものを４
０３のＣＭ候補区間として抽出する。さらにＣＭ候補区
間が６０秒以上継続しているものを４０４のＣＭ区間と
して出力するわけである。４０５のＣＭ候補区間は継続
時間が６０秒未満であったので、ＣＭ区間としては出力
されない。カット時刻Ｃt は誤差を含んでいるので３０
３の時間測定ではその誤差を見込んで幅を持った判定を
行う方がよい。さらにカットの誤検出、検出もれを見込
んでステップ３０６の判定では６０秒以上継続していな
くても、その間でカット頻度が高ければＣＭ区間である
と判定するようにしてもよい。
【００１９】
【発明の効果】以上説明したように、本発明によれば映
像種別ごとに代表画像作成の手続きを用意しておくこと
により、映像種別に適した方法で代表画像を作成できる
ようになり、結果的に効率的な要約を作成できるように
なる効果がある。また、請求項２および３の発明では、
映像種別としてコマーシャルと番組を識別し、コマーシ
ャルの映像区間に対してコマーシャルの最後の画像を代
表画像として抽出することによって、コマーシャルの要
約リストが自動的に作成できる効果がある。
像種別ごとに代表画像作成の手続きを用意しておくこと
により、映像種別に適した方法で代表画像を作成できる
ようになり、結果的に効率的な要約を作成できるように
なる効果がある。また、請求項２および３の発明では、
映像種別としてコマーシャルと番組を識別し、コマーシ
ャルの映像区間に対してコマーシャルの最後の画像を代
表画像として抽出することによって、コマーシャルの要
約リストが自動的に作成できる効果がある。
【図１】Ａはこの発明の映像要約装置の実施例を示すブ
ロック図、ＢはＡの処理フローチャート。
ロック図、ＢはＡの処理フローチャート。
【図２】図１Ａの映像区間管理部１０３のデータ管理方
法を説明するためのタイミングチャート。
法を説明するためのタイミングチャート。
【図３】図１Ａの映像種別識別部１０２におけるＣＭ区
間検出処理のフロー図。
間検出処理のフロー図。
【図４】ＣＭ区間検出処理を説明するためのタイミング
チャート。
チャート。
【図５】図１の表示部１０６に表示されたＣＭを一覧表
示した要約表示画面の図。
示した要約表示画面の図。
Claims (4)
- 【請求項１】 映像データを解析して映像種別を識別
し、その映像種別を属性として持つ映像区間に映像を時
間的に分割し、 該映像種別ごとに予め与えられた手続きを実行して映像
区間を代表する画像を抽出あるいは合成し、 その代表画像を空間的に並べて映像要約を作成するたと
を特徴とする映像要約方法。 - 【請求項２】 請求項１の映像要約方法において、 該映像種別としてコマーシャル（ＣＭ）を識別し、 コマーシャルの属性を持つ映像区間（ＣＭクリップ）に
対して最後の画像を代表画像として抽出することを特徴
とする映像要約方法。 - 【請求項３】 請求項２の映像要約方法において、 コマーシャルを識別する手続きが、映像の時間的な変化
量を基にして検出されるカット点列の時間間隔を測定す
る手続きを含むことを特徴とする映像要約方法。 - 【請求項４】 映像データを解析して映像種別を識別す
る映像種別識別部と、 映像種別を属性として持つ映像区間を管理する映像区間
管理部と、 該映像種別ごとに予め与えられた手続きを実行すること
で映像区間を代表する画像を抽出あるいは合成する代表
画像作成部と、 代表画像を空間的に並べて映像要約を作成するレイアウ
ト部と、 該映像要約を表示する表示部と、 を具備することを特徴とする映像要約装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02534396A JP3407840B2 (ja) | 1996-02-13 | 1996-02-13 | 映像要約方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02534396A JP3407840B2 (ja) | 1996-02-13 | 1996-02-13 | 映像要約方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09219835A true JPH09219835A (ja) | 1997-08-19 |
| JP3407840B2 JP3407840B2 (ja) | 2003-05-19 |
Family
ID=12163256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02534396A Expired - Fee Related JP3407840B2 (ja) | 1996-02-13 | 1996-02-13 | 映像要約方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3407840B2 (ja) |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001027876A1 (en) * | 1999-10-11 | 2001-04-19 | Electronics And Telecommunications Research Institute | Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing |
| JP2001222548A (ja) * | 2000-02-10 | 2001-08-17 | Kddi Corp | 情報検索表示装置 |
| JP2001320670A (ja) * | 2000-03-08 | 2001-11-16 | Lg Electronics Inc | 合成キーフレームの生成方法及びそれを利用したビデオブラウジングシステム |
| WO2002051138A2 (en) * | 2000-12-21 | 2002-06-27 | Koninklijke Philips Electronics N.V. | System and method for accessing a multimedia summary of a video program |
| JP2002521977A (ja) * | 1998-07-28 | 2002-07-16 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオデータストリーム内に配置されたコマーシャルを位置決めする装置および方法 |
| JP2003196297A (ja) * | 2001-12-28 | 2003-07-11 | Canon Inc | 動画像管理装置及び方法 |
| JP2005536094A (ja) * | 2002-08-01 | 2005-11-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | コンテンツのコンテンツベーステーブルを生成するための方法、システム及びプログラムプロダクツ |
| US7181757B1 (en) | 1999-10-11 | 2007-02-20 | Electronics And Telecommunications Research Institute | Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing |
| JP2007521736A (ja) * | 2003-07-03 | 2007-08-02 | 松下電器産業株式会社 | 映像処理装置、映像処理装置の集積回路、映像処理方法、及び映像処理プログラム |
| JP2007267211A (ja) * | 2006-03-29 | 2007-10-11 | Ntt-It Corp | コマーシャル検出方法およびコマーシャル検出装置並びにコマーシャル検出プログラムが記録された記録媒体 |
| JP2007265460A (ja) * | 2006-02-28 | 2007-10-11 | Sanyo Electric Co Ltd | 映像再生装置 |
| US7424204B2 (en) | 2001-07-17 | 2008-09-09 | Pioneer Corporation | Video information summarizing apparatus and method for generating digest information, and video information summarizing program for generating digest information |
| JP2008228302A (ja) * | 2008-03-07 | 2008-09-25 | Sony Corp | 情報処理装置および方法 |
| JP2009246722A (ja) * | 2008-03-31 | 2009-10-22 | Hitachi Ltd | コンテンツ情報表示方法 |
| US7620105B2 (en) | 1998-11-30 | 2009-11-17 | Sony Corporation | Information processing apparatus, information processing method, and distribution media |
| KR100942377B1 (ko) * | 2002-09-28 | 2010-02-12 | 주식회사 케이티 | 장르별 특성 정보를 활용한 퍼지 기반 영상 요약 장치 및그 방법 |
| JP2010109592A (ja) * | 2008-10-29 | 2010-05-13 | Canon Inc | 情報処理装置およびその制御方法 |
| US8014882B2 (en) | 2004-04-06 | 2011-09-06 | Panasonic Corporation | Particular program detection device, method, and program |
| US8041155B2 (en) | 2007-09-25 | 2011-10-18 | Kabushiki Kaisha Toshiba | Image display apparatus and computer program product |
| US8174523B2 (en) | 2008-08-28 | 2012-05-08 | Kabushiki Kaisha Toshiba | Display controlling apparatus and display controlling method |
| US8244738B2 (en) | 2009-03-25 | 2012-08-14 | Kabushiki Kaisha Toshiba | Data display apparatus, method, and program |
| US8866900B2 (en) | 2008-11-12 | 2014-10-21 | Canon Kabushiki Kaisha | Information processing apparatus and method of controlling same |
| US8949741B2 (en) | 2009-03-03 | 2015-02-03 | Kabushiki Kaisha Toshiba | Apparatus and method for presenting content |
| CN110650379A (zh) * | 2019-09-26 | 2020-01-03 | 北京达佳互联信息技术有限公司 | 视频摘要生成方法、装置、电子设备及存储介质 |
-
1996
- 1996-02-13 JP JP02534396A patent/JP3407840B2/ja not_active Expired - Fee Related
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002521977A (ja) * | 1998-07-28 | 2002-07-16 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオデータストリーム内に配置されたコマーシャルを位置決めする装置および方法 |
| US7620105B2 (en) | 1998-11-30 | 2009-11-17 | Sony Corporation | Information processing apparatus, information processing method, and distribution media |
| US7181757B1 (en) | 1999-10-11 | 2007-02-20 | Electronics And Telecommunications Research Institute | Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing |
| WO2001027876A1 (en) * | 1999-10-11 | 2001-04-19 | Electronics And Telecommunications Research Institute | Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing |
| JP2001222548A (ja) * | 2000-02-10 | 2001-08-17 | Kddi Corp | 情報検索表示装置 |
| JP2001320670A (ja) * | 2000-03-08 | 2001-11-16 | Lg Electronics Inc | 合成キーフレームの生成方法及びそれを利用したビデオブラウジングシステム |
| WO2002051138A2 (en) * | 2000-12-21 | 2002-06-27 | Koninklijke Philips Electronics N.V. | System and method for accessing a multimedia summary of a video program |
| WO2002051138A3 (en) * | 2000-12-21 | 2002-08-22 | Koninkl Philips Electronics Nv | System and method for accessing a multimedia summary of a video program |
| US7424204B2 (en) | 2001-07-17 | 2008-09-09 | Pioneer Corporation | Video information summarizing apparatus and method for generating digest information, and video information summarizing program for generating digest information |
| US7269290B2 (en) | 2001-12-28 | 2007-09-11 | Canon Kabushiki Kaisha | Moving image data management apparatus and method |
| US7155064B2 (en) | 2001-12-28 | 2006-12-26 | Canon Kabushiki Kaisha | Moving image data management apparatus and method |
| US6965701B2 (en) | 2001-12-28 | 2005-11-15 | Canon Kabushiki Kaisha | Moving image data management apparatus and method |
| JP2003196297A (ja) * | 2001-12-28 | 2003-07-11 | Canon Inc | 動画像管理装置及び方法 |
| JP2005536094A (ja) * | 2002-08-01 | 2005-11-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | コンテンツのコンテンツベーステーブルを生成するための方法、システム及びプログラムプロダクツ |
| KR100942377B1 (ko) * | 2002-09-28 | 2010-02-12 | 주식회사 케이티 | 장르별 특성 정보를 활용한 퍼지 기반 영상 요약 장치 및그 방법 |
| JP2007521736A (ja) * | 2003-07-03 | 2007-08-02 | 松下電器産業株式会社 | 映像処理装置、映像処理装置の集積回路、映像処理方法、及び映像処理プログラム |
| US8014882B2 (en) | 2004-04-06 | 2011-09-06 | Panasonic Corporation | Particular program detection device, method, and program |
| JP2007265460A (ja) * | 2006-02-28 | 2007-10-11 | Sanyo Electric Co Ltd | 映像再生装置 |
| JP4637042B2 (ja) * | 2006-02-28 | 2011-02-23 | 三洋電機株式会社 | 映像再生装置 |
| JP4719604B2 (ja) * | 2006-03-29 | 2011-07-06 | エヌ・ティ・ティ アイティ株式会社 | コマーシャル検出方法およびコマーシャル検出装置並びにコマーシャル検出プログラムが記録された記録媒体 |
| JP2007267211A (ja) * | 2006-03-29 | 2007-10-11 | Ntt-It Corp | コマーシャル検出方法およびコマーシャル検出装置並びにコマーシャル検出プログラムが記録された記録媒体 |
| US8041155B2 (en) | 2007-09-25 | 2011-10-18 | Kabushiki Kaisha Toshiba | Image display apparatus and computer program product |
| JP2008228302A (ja) * | 2008-03-07 | 2008-09-25 | Sony Corp | 情報処理装置および方法 |
| JP2009246722A (ja) * | 2008-03-31 | 2009-10-22 | Hitachi Ltd | コンテンツ情報表示方法 |
| US8174523B2 (en) | 2008-08-28 | 2012-05-08 | Kabushiki Kaisha Toshiba | Display controlling apparatus and display controlling method |
| JP2010109592A (ja) * | 2008-10-29 | 2010-05-13 | Canon Inc | 情報処理装置およびその制御方法 |
| US8866900B2 (en) | 2008-11-12 | 2014-10-21 | Canon Kabushiki Kaisha | Information processing apparatus and method of controlling same |
| US8949741B2 (en) | 2009-03-03 | 2015-02-03 | Kabushiki Kaisha Toshiba | Apparatus and method for presenting content |
| US8244738B2 (en) | 2009-03-25 | 2012-08-14 | Kabushiki Kaisha Toshiba | Data display apparatus, method, and program |
| CN110650379A (zh) * | 2019-09-26 | 2020-01-03 | 北京达佳互联信息技术有限公司 | 视频摘要生成方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3407840B2 (ja) | 2003-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3407840B2 (ja) | 映像要約方法 | |
| US7401351B2 (en) | System and method for video navigation and client side indexing | |
| US8365235B2 (en) | Trick play of streaming media | |
| US7873258B2 (en) | Method and apparatus for reviewing video | |
| US7587124B2 (en) | Apparatus, method, and computer product for recognizing video contents, and for video recording | |
| EP1229547A2 (en) | System and method for thematically analyzing and annotating an audio-visual sequence | |
| JP3667262B2 (ja) | ビデオスキミング方法及び装置 | |
| US20060062549A1 (en) | Non-linear reproduction control method of multimedia stream and apparatus thereof | |
| WO2006126391A1 (ja) | コンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラム | |
| US20070101266A1 (en) | Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing | |
| US20020126143A1 (en) | Article-based news video content summarizing method and browsing system | |
| CA2482431A1 (en) | An apparatus to edit, reproduce, deliver, search and re-generate condition settings for metadata | |
| JP2004519968A (ja) | 画像シーケンス中の位置を選択する方法及びシステム | |
| KR20070090751A (ko) | 화상 표시방법 및 동영상 재생장치 | |
| JP2001028722A (ja) | 動画像管理装置及び動画像管理システム | |
| CA2387404A1 (en) | Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing | |
| KR101440168B1 (ko) | 개요 및 리포트를 이미 포함하는 시청각 도큐먼트의 새로운 개요를 생성하기 위한 방법 및 상기 방법을 구현할 수 있는 수신기 | |
| JP2000350156A (ja) | 動画像情報の記憶方法及びこれを記録した記録媒体 | |
| JPH08339379A (ja) | 映像解析方法および装置 | |
| KR20100116412A (ko) | 동영상 장면 기반 광고정보 제공장치 및 방법 | |
| JP2002281449A (ja) | 映像装置 | |
| JP3221028B2 (ja) | 動画像情報のキーワード付与方法 | |
| JP6388894B2 (ja) | 長い映像シーケンスの圧縮表示のためのシステム及び方法 | |
| US7844163B2 (en) | Information editing device, information editing method, and computer product | |
| JPH11224266A (ja) | 電子映像文書作成利用方法及びプログラム格納媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090314 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |