JP3407840B2 - 映像要約方法 - Google Patents
映像要約方法Info
- Publication number
- JP3407840B2 JP3407840B2 JP02534396A JP2534396A JP3407840B2 JP 3407840 B2 JP3407840 B2 JP 3407840B2 JP 02534396 A JP02534396 A JP 02534396A JP 2534396 A JP2534396 A JP 2534396A JP 3407840 B2 JP3407840 B2 JP 3407840B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- section
- time
- image
- cut point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】
【発明の属する技術分野】本発明は映像データベース、
ビデオデッキ、映像編集装置等の映像関連装置におい
て、映像の検索あるいは内容概略把握の効率化を図るた
めの映像要約方法および装置に関する。
ビデオデッキ、映像編集装置等の映像関連装置におい
て、映像の検索あるいは内容概略把握の効率化を図るた
めの映像要約方法および装置に関する。
【０００２】
【従来の技術および発明が解決しようとする課題】ビデ
オデッキを使ってテープの中から所望の画面を探し出す
ためには、早送り巻き戻し操作を繰り返すしかなく、時
間がかかるという問題点があった。映像データベースな
どで大量の映像データを蓄積しておき、それを効率的に
利用できるようにするためには、映像を要約してユーザ
ーに提示する機能が必要である。映像の時間的な輝度あ
るいは色分布の変化に基づいて場面の切り替え（カッ
ト）を検出し、場面ごとに１枚あるいは複数枚の画像を
抽出して紙の上に一覧表示する方法が開示されている
（外村、谷口、阿久津：ＰaperＶideo：紙を用いた新し
い映像インタフェース、信学技報、ＩＥ94−59，pp.15
−20, 1994.)。この方法には、映像が長くなると場面の
数が多くなるために必ずしも効率的な要約となっていな
いという問題があった。加えてニュース、コマーシャル
（ＣＭ）、映画、天気予報と言った映像種別によって本
来、代表画面を抽出する基準が異なるはずであるのに従
来方法ではその点を考慮していない。
オデッキを使ってテープの中から所望の画面を探し出す
ためには、早送り巻き戻し操作を繰り返すしかなく、時
間がかかるという問題点があった。映像データベースな
どで大量の映像データを蓄積しておき、それを効率的に
利用できるようにするためには、映像を要約してユーザ
ーに提示する機能が必要である。映像の時間的な輝度あ
るいは色分布の変化に基づいて場面の切り替え（カッ
ト）を検出し、場面ごとに１枚あるいは複数枚の画像を
抽出して紙の上に一覧表示する方法が開示されている
（外村、谷口、阿久津：ＰaperＶideo：紙を用いた新し
い映像インタフェース、信学技報、ＩＥ94−59，pp.15
−20, 1994.)。この方法には、映像が長くなると場面の
数が多くなるために必ずしも効率的な要約となっていな
いという問題があった。加えてニュース、コマーシャル
（ＣＭ）、映画、天気予報と言った映像種別によって本
来、代表画面を抽出する基準が異なるはずであるのに従
来方法ではその点を考慮していない。
【０００３】映像種別を識別し、映像区間を分割する方
法については文献（Doborah Ｓwanberg, Chiao-Fe Shu,
Ramesh Jain:Knowledge Guided Parsing in Video Data
bases, SPIE Vol.1908 (1993)pp.13-24)に開示されてい
る。この方法は、ニュース映像を対象とし、ニュース映
像に特有の空間的知識（ニュースキャスタや文字領域の
位置関係）と時間的知識（オープニング、ニューストピ
ックス、天気予報の時間的前後関係）を予め与えてお
き、画像処理の結果得られる特徴量と与えられた知識と
を照合するものである。この方法により、ニュース映像
をニューストピックスや天気予報といった映像種別を属
性として持つ映像区間に分割することができる。しか
し、この文献には要約作成の方法については述べられて
いない。
法については文献（Doborah Ｓwanberg, Chiao-Fe Shu,
Ramesh Jain:Knowledge Guided Parsing in Video Data
bases, SPIE Vol.1908 (1993)pp.13-24)に開示されてい
る。この方法は、ニュース映像を対象とし、ニュース映
像に特有の空間的知識（ニュースキャスタや文字領域の
位置関係）と時間的知識（オープニング、ニューストピ
ックス、天気予報の時間的前後関係）を予め与えてお
き、画像処理の結果得られる特徴量と与えられた知識と
を照合するものである。この方法により、ニュース映像
をニューストピックスや天気予報といった映像種別を属
性として持つ映像区間に分割することができる。しか
し、この文献には要約作成の方法については述べられて
いない。
【０００４】本発明の目的は、上記問題点を解決し、映
像種別に応じた方法で代表画像の抽出を行い、より効率
的な映像要約を行う方法を提供することにある。
像種別に応じた方法で代表画像の抽出を行い、より効率
的な映像要約を行う方法を提供することにある。
【０００５】
【課題を解決するための手段】本発明では、映像データ
を解析して映像種別を識別し、映像種別を属性として持
つ映像区間に映像を時間的に分割し、映像種別ごとに予
め与えられた手続きを実行し、映像区間を代表する画像
を抽出あるいは合成し、その代表画像を空間的に並べて
映像要約を作成する。
を解析して映像種別を識別し、映像種別を属性として持
つ映像区間に映像を時間的に分割し、映像種別ごとに予
め与えられた手続きを実行し、映像区間を代表する画像
を抽出あるいは合成し、その代表画像を空間的に並べて
映像要約を作成する。
【０００６】
【作 用】映像要約方法では、映像データを解析して映
像種別を識別し、映像種別を属性として持つ映像区間に
分割し、映像種別ごとに予め与えられた手続きに従って
代表画像を抽出あるいは合成するので、映像種別に適し
た方法で代表画像を作成でき、より効率的な要約が作成
できるようになる。
像種別を識別し、映像種別を属性として持つ映像区間に
分割し、映像種別ごとに予め与えられた手続きに従って
代表画像を抽出あるいは合成するので、映像種別に適し
た方法で代表画像を作成でき、より効率的な要約が作成
できるようになる。
【０００７】請求項２の映像要約方法では、コマーシャ
ルを映像種別の一つとして識別し、コマーシャルについ
てはその末尾の画像を代表画像とする。コマーシャルに
おいては、その末尾に会社名、商品名などの情報が表示
されることが一般的であるので、コマーシャルの末尾の
画像を代表画像として抽出することが好適である。
ルを映像種別の一つとして識別し、コマーシャルについ
てはその末尾の画像を代表画像とする。コマーシャルに
おいては、その末尾に会社名、商品名などの情報が表示
されることが一般的であるので、コマーシャルの末尾の
画像を代表画像として抽出することが好適である。
【０００８】
【発明の実施の形態】図１の実施例を参照して映像要約
方法を説明する。図において、映像データ入力部１０１
は映像データを映像種別識別部１０２に送る。映像デー
タ入力部１０１はアナログ映像信号をデジタル化する装
置であったり、圧縮符号化されたデジタルデータを復号
する映像データ復号装置であったりする。映像データに
は映像データ、音声データおよび撮影時刻に関するタイ
ムコード等の付属データが含まれる。
方法を説明する。図において、映像データ入力部１０１
は映像データを映像種別識別部１０２に送る。映像デー
タ入力部１０１はアナログ映像信号をデジタル化する装
置であったり、圧縮符号化されたデジタルデータを復号
する映像データ復号装置であったりする。映像データに
は映像データ、音声データおよび撮影時刻に関するタイ
ムコード等の付属データが含まれる。
【０００９】映像種別識別部１０２は１０１から送られ
てくる映像データから映像種別を識別して、連続して同
じ映像種別を持つ区間を映像種別とともに映像区間管理
部１０３に送る。映像種別としては様々なものが考えら
れるが、テレビ映像が対象であればコマーシャル、番
組、番組の中には映画、ニュース等がある。付属情報の
一つとして映像種別が含まれる場合にはそれを利用して
映像種別を識別し、映像区間とその種別を出力すればよ
い。また、付属情報として映像種別が得られない場合に
は、映像処理によって映像種別を識別する方法を使うこ
ともできる。ＣＭ区間の識別方法の一例を後述する。
てくる映像データから映像種別を識別して、連続して同
じ映像種別を持つ区間を映像種別とともに映像区間管理
部１０３に送る。映像種別としては様々なものが考えら
れるが、テレビ映像が対象であればコマーシャル、番
組、番組の中には映画、ニュース等がある。付属情報の
一つとして映像種別が含まれる場合にはそれを利用して
映像種別を識別し、映像区間とその種別を出力すればよ
い。また、付属情報として映像種別が得られない場合に
は、映像処理によって映像種別を識別する方法を使うこ
ともできる。ＣＭ区間の識別方法の一例を後述する。
【００１０】１０３の映像区間管理部では映像種別を属
性として持つ映像区間を管理する。図２は、映像区間管
理部での映像区間管理方法の一例を示したものである。
映像区間の間には包含関係が存在する場合があるので、
その包含関係を図２に示すような階層（レイヤー）構造
で管理する。例えば、レイヤー２０３のショット（一つ
のカメラで撮影された一つの画面）とレイヤー２０２の
ＣＭクリップ（１本のＣＭ）の間には包含関係がある。
つまり、ＣＭクリップは複数のショットから構成され
る。また、放送ではいくつかのＣＭクリップが連続して
現れることが多いのが、この一連のＣＭをＣＭ区間と呼
び、さらに上位のレイヤー２０１で管理する。レイヤー
２０１でＣＭ区間以外の部分が番組区間である。また、
映像中に音楽を含む映像区間、人の声が含まれている映
像区間を抽出することもできる。また、各ショットは一
連のフレーム２０５に対応する。
性として持つ映像区間を管理する。図２は、映像区間管
理部での映像区間管理方法の一例を示したものである。
映像区間の間には包含関係が存在する場合があるので、
その包含関係を図２に示すような階層（レイヤー）構造
で管理する。例えば、レイヤー２０３のショット（一つ
のカメラで撮影された一つの画面）とレイヤー２０２の
ＣＭクリップ（１本のＣＭ）の間には包含関係がある。
つまり、ＣＭクリップは複数のショットから構成され
る。また、放送ではいくつかのＣＭクリップが連続して
現れることが多いのが、この一連のＣＭをＣＭ区間と呼
び、さらに上位のレイヤー２０１で管理する。レイヤー
２０１でＣＭ区間以外の部分が番組区間である。また、
映像中に音楽を含む映像区間、人の声が含まれている映
像区間を抽出することもできる。また、各ショットは一
連のフレーム２０５に対応する。
【００１１】代表画像作成部１０４では、映像区間管理
部１０３から映像区間を順に入力し、その映像種別に応
じて予め与えられた手続きで代表画像を作成する。例え
ば、ＣＭクリップという映像種別を属性として持つ映像
区間については、映像区間の末尾の映像を代表画像とす
る。ＣＭクリップにおいては、その末尾に会社名、商品
名などの情報が表示されることが一般的であるので、Ｃ
Ｍの末尾の画像を代表画像として抽出するのが好適であ
る。もちろん、末尾から一定時間前の画像をとるように
することも、末尾からもっと近い字幕を含むフレームを
とるようにすることもできる。番組という属性を持つ映
像区間については、映像区間の先頭画像を代表画像とす
る。番組では最初にタイトルが表示されることが多いの
で、映像区間の先頭画像を代表画像とするのが望まし
い。あるいは番組種別を表す記号を代表画像としたり、
代表画像を作成しないようにすることもできる。
部１０３から映像区間を順に入力し、その映像種別に応
じて予め与えられた手続きで代表画像を作成する。例え
ば、ＣＭクリップという映像種別を属性として持つ映像
区間については、映像区間の末尾の映像を代表画像とす
る。ＣＭクリップにおいては、その末尾に会社名、商品
名などの情報が表示されることが一般的であるので、Ｃ
Ｍの末尾の画像を代表画像として抽出するのが好適であ
る。もちろん、末尾から一定時間前の画像をとるように
することも、末尾からもっと近い字幕を含むフレームを
とるようにすることもできる。番組という属性を持つ映
像区間については、映像区間の先頭画像を代表画像とす
る。番組では最初にタイトルが表示されることが多いの
で、映像区間の先頭画像を代表画像とするのが望まし
い。あるいは番組種別を表す記号を代表画像としたり、
代表画像を作成しないようにすることもできる。
【００１２】レイアウト部１０５では、１０４で作成さ
れた代表画像を表示部１０６の制限（画面の大きさな
ど）に応じて配置する。例えば、図５に示すように時間
順に並べて出来上がったデータを表示部１０６に送る。
表示部１０６は、コンピュータの画面やプリンタなど画
像を表示することのできるデバイスであれば何でもよ
い。図５に表示の一例を示す。ここでは、ＣＭが一枚の
代表画像５０３で、番組区間が記号５０４に表示されて
おり、この画面を見ることでどのようなＣＭが映像に含
まれているかが一目で把握できる。またこの代表画像の
上をマウス等で指示すると、その指示がビデオ再生手段
に送られ映像の再生を開始するようにすることもでき
る。またこの画面には５０１，５０２に示すようなボタ
ンを使ってユーザが代表画像の作成方法を選択できるよ
うにすることもできる。
れた代表画像を表示部１０６の制限（画面の大きさな
ど）に応じて配置する。例えば、図５に示すように時間
順に並べて出来上がったデータを表示部１０６に送る。
表示部１０６は、コンピュータの画面やプリンタなど画
像を表示することのできるデバイスであれば何でもよ
い。図５に表示の一例を示す。ここでは、ＣＭが一枚の
代表画像５０３で、番組区間が記号５０４に表示されて
おり、この画面を見ることでどのようなＣＭが映像に含
まれているかが一目で把握できる。またこの代表画像の
上をマウス等で指示すると、その指示がビデオ再生手段
に送られ映像の再生を開始するようにすることもでき
る。またこの画面には５０１，５０２に示すようなボタ
ンを使ってユーザが代表画像の作成方法を選択できるよ
うにすることもできる。
【００１３】図１Ｂは図１Ａの映像要約装置の処理フロ
ーチャートである。映像データを時間順に解析して映像
種別を識別し、映像の先頭から数えてｉ番目に現れる映
像区間をＴi とする。映像種別としてはコマーシャル、
番組、番組の中にはニュース、映画、天気予報等様々な
ものが考えられるが、ここでは映像種別としてＫ１，Ｋ
２，…Ｋn のｎ種類が識別されるものとする。映像種別
Ｋj （ｊ＝１〜ｎ）のいずれかを属性として持つ映像区
間（同じ種別Ｋj の連続する区間）Ｔi （ｉ＝０，１，
２，…）に映像を時間的に分割し、Ｔi 区間の始点、終
点の時刻をそれぞれｓｉ，ｅｉとする（ステップＡ０
１）。例えば、テレビ放送では番組とＣＭが交互に現
れ、Ｔ０：ニュース，Ｔ１：ＣＭ，Ｔ２：ＣＭ，Ｔ３：
ＣＭ，Ｔ４：映画、…のようになる。ステップＡ０２で
は、各映像区間Ｔi はその映像種別Ｋj に応じて処理が
分岐する。Ｔi が映像種別Ｋ１であれば、ステップＡ１
１の代表画像作成手続き１の処理に分岐する。代表画像
作成手続き１の処理では、映像区間（ｓｉ，ｅｉ）を代
表する画像を抽出あるいは合成する。この代表画像は１
枚とは限らず、複数枚であってもよい。続いて、配置手
続き１（ステップＡ２１）に処理が移る。配置手続き１
では代表画像をどのように空間的に配置するかを決定す
る。ステップＡ３０では映像の終わりか否かを判定し、
終わりでなければステップＡ０１に分岐する。
ーチャートである。映像データを時間順に解析して映像
種別を識別し、映像の先頭から数えてｉ番目に現れる映
像区間をＴi とする。映像種別としてはコマーシャル、
番組、番組の中にはニュース、映画、天気予報等様々な
ものが考えられるが、ここでは映像種別としてＫ１，Ｋ
２，…Ｋn のｎ種類が識別されるものとする。映像種別
Ｋj （ｊ＝１〜ｎ）のいずれかを属性として持つ映像区
間（同じ種別Ｋj の連続する区間）Ｔi （ｉ＝０，１，
２，…）に映像を時間的に分割し、Ｔi 区間の始点、終
点の時刻をそれぞれｓｉ，ｅｉとする（ステップＡ０
１）。例えば、テレビ放送では番組とＣＭが交互に現
れ、Ｔ０：ニュース，Ｔ１：ＣＭ，Ｔ２：ＣＭ，Ｔ３：
ＣＭ，Ｔ４：映画、…のようになる。ステップＡ０２で
は、各映像区間Ｔi はその映像種別Ｋj に応じて処理が
分岐する。Ｔi が映像種別Ｋ１であれば、ステップＡ１
１の代表画像作成手続き１の処理に分岐する。代表画像
作成手続き１の処理では、映像区間（ｓｉ，ｅｉ）を代
表する画像を抽出あるいは合成する。この代表画像は１
枚とは限らず、複数枚であってもよい。続いて、配置手
続き１（ステップＡ２１）に処理が移る。配置手続き１
では代表画像をどのように空間的に配置するかを決定す
る。ステップＡ３０では映像の終わりか否かを判定し、
終わりでなければステップＡ０１に分岐する。
【００１４】請求項２の発明では、ステップＡ０１が映
像種別Ｋj の一つとしてコマーシャル（ＣＭ）を識別
し、例えばステップＡ１１がコマーシャルの属性を持つ
映像区間（ＣＭクリップ）に対して最後の画像、すなわ
ち時刻ｅｉの画像とすることを特徴とする。もちろん、
時刻ｅｉの代わりにｅｉから一定時間さかのぼった時刻
の画像を抽出することもできる。
像種別Ｋj の一つとしてコマーシャル（ＣＭ）を識別
し、例えばステップＡ１１がコマーシャルの属性を持つ
映像区間（ＣＭクリップ）に対して最後の画像、すなわ
ち時刻ｅｉの画像とすることを特徴とする。もちろん、
時刻ｅｉの代わりにｅｉから一定時間さかのぼった時刻
の画像を抽出することもできる。
【００１５】次に、ＣＭ区間を識別する方法について説
明する。ＣＭ区間が次のような性質を持つことを利用す
る。 （１）１本のＣＭ（ＣＭクリップ）は１５秒あるいは３
０秒の長さを持つ（すなわち、ＣＭクリップの開始時
刻、終了時刻の差が１５秒あるいは３０秒である。） （２）ＣＭクリップ中にはカットが多発することが多
い。
明する。ＣＭ区間が次のような性質を持つことを利用す
る。 （１）１本のＣＭ（ＣＭクリップ）は１５秒あるいは３
０秒の長さを持つ（すなわち、ＣＭクリップの開始時
刻、終了時刻の差が１５秒あるいは３０秒である。） （２）ＣＭクリップ中にはカットが多発することが多
い。
【００１６】
（３）ＣＭ区間は１分程度以上連続してあらわれる。
（４）ＣＭクリップとＣＭクリップの境界には無音区間
がある。 まずＣＭクリップとＣＭクリップの切れ目の候補を見つ
けるために、まず、映像の中で画像の内容が大きく変化
するところ（カット）を検出する。例えば「大辻、外
村、大庭：輝度情報を使った動画像ブラウジング、電気
情報通信学会技術報告、IE-90-103,1991」に示されてい
る方法を用いて検出する。検出されたカット時刻の列を
｛Ｃ１，Ｃ２，Ｃ３，…｝とし、無音区間系列をＳ１，
Ｓ２，Ｓ３，…｝とする。無音区間系列の要素Ｓt は無
音区間の開始時刻、終了時刻を属性として持つ。カット
系列Ｃと無音区間系列ＳからＣＭ区間を推定する手続き
を図３に示す。
がある。 まずＣＭクリップとＣＭクリップの切れ目の候補を見つ
けるために、まず、映像の中で画像の内容が大きく変化
するところ（カット）を検出する。例えば「大辻、外
村、大庭：輝度情報を使った動画像ブラウジング、電気
情報通信学会技術報告、IE-90-103,1991」に示されてい
る方法を用いて検出する。検出されたカット時刻の列を
｛Ｃ１，Ｃ２，Ｃ３，…｝とし、無音区間系列をＳ１，
Ｓ２，Ｓ３，…｝とする。無音区間系列の要素Ｓt は無
音区間の開始時刻、終了時刻を属性として持つ。カット
系列Ｃと無音区間系列ＳからＣＭ区間を推定する手続き
を図３に示す。
【００１７】ｔ＝１，２，３，について、次の処理を行
う。まず、カット時刻Ｃt が無音区間Ｓに含まれている
かどうか調べる（ステップ３０２）。上述した性質
（４）からＣＭクリップとＣＭクリップの境界には無音
区間があるので、Ｃt ∈ＳでないならばＣt はＣＭクリ
ップの先頭でないと判断する。さらに、ｔ′＞ｔかつＣ
t′−Ｃt ＝１５（秒）あるいは３０（秒）、かつＣt
′∈Ｓを満たすｔ′が存在するか調べ、存在しなけれ
ばＣt はＣＭクリップの先頭ではないと判断する（ステ
ップ３０３）。これは性質（１），（４）を満足するか
どうか調べていることになる。さらにt ′−ｔ≧３を満
たすか調べ、満たさなければやはりＣt はＣＭクリップ
の先頭ではないと判断する（ステップ３０４）。これは
性質（２）を満足するか調べていることになる。区間
［Ｃt ，Ｃt ′］をＣＭ候補区間としてキューに挿入す
る（ステップ３０５）。キューの中に６０秒以上継続す
るＣＭ候補区間（すなわち、ＣＭ候補区間が６０秒以上
切れ目なくつながっているもの）が存在するかどうか調
べ（ステップ３０６）、存在すればその区間をＣＭ区間
として出力する（ステップ３０７）。ステップ３０６は
性質（３）を満足するかどうか調べていることになる。
う。まず、カット時刻Ｃt が無音区間Ｓに含まれている
かどうか調べる（ステップ３０２）。上述した性質
（４）からＣＭクリップとＣＭクリップの境界には無音
区間があるので、Ｃt ∈ＳでないならばＣt はＣＭクリ
ップの先頭でないと判断する。さらに、ｔ′＞ｔかつＣ
t′−Ｃt ＝１５（秒）あるいは３０（秒）、かつＣt
′∈Ｓを満たすｔ′が存在するか調べ、存在しなけれ
ばＣt はＣＭクリップの先頭ではないと判断する（ステ
ップ３０３）。これは性質（１），（４）を満足するか
どうか調べていることになる。さらにt ′−ｔ≧３を満
たすか調べ、満たさなければやはりＣt はＣＭクリップ
の先頭ではないと判断する（ステップ３０４）。これは
性質（２）を満足するか調べていることになる。区間
［Ｃt ，Ｃt ′］をＣＭ候補区間としてキューに挿入す
る（ステップ３０５）。キューの中に６０秒以上継続す
るＣＭ候補区間（すなわち、ＣＭ候補区間が６０秒以上
切れ目なくつながっているもの）が存在するかどうか調
べ（ステップ３０６）、存在すればその区間をＣＭ区間
として出力する（ステップ３０７）。ステップ３０６は
性質（３）を満足するかどうか調べていることになる。
【００１８】図４にＣＭ区間推定の模式図を示す。４０
１は時間軸に並べられた無音区間系列Ｓを示し、４０２
はカット系列Ｃt を示す。カット系列の中で、カットと
カットの間の時間間隔が１５秒あるいは３０秒であり、
かつ両端のカットがともに無音区間に含まれるものを４
０３のＣＭ候補区間として抽出する。さらにＣＭ候補区
間が６０秒以上継続しているものを４０４のＣＭ区間と
して出力するわけである。４０５のＣＭ候補区間は継続
時間が６０秒未満であったので、ＣＭ区間としては出力
されない。カット時刻Ｃt は誤差を含んでいるので３０
３の時間測定ではその誤差を見込んで幅を持った判定を
行う方がよい。さらにカットの誤検出、検出もれを見込
んでステップ３０６の判定では６０秒以上継続していな
くても、その間でカット頻度が高ければＣＭ区間である
と判定するようにしてもよい。
１は時間軸に並べられた無音区間系列Ｓを示し、４０２
はカット系列Ｃt を示す。カット系列の中で、カットと
カットの間の時間間隔が１５秒あるいは３０秒であり、
かつ両端のカットがともに無音区間に含まれるものを４
０３のＣＭ候補区間として抽出する。さらにＣＭ候補区
間が６０秒以上継続しているものを４０４のＣＭ区間と
して出力するわけである。４０５のＣＭ候補区間は継続
時間が６０秒未満であったので、ＣＭ区間としては出力
されない。カット時刻Ｃt は誤差を含んでいるので３０
３の時間測定ではその誤差を見込んで幅を持った判定を
行う方がよい。さらにカットの誤検出、検出もれを見込
んでステップ３０６の判定では６０秒以上継続していな
くても、その間でカット頻度が高ければＣＭ区間である
と判定するようにしてもよい。
【００１９】
【発明の効果】以上説明したように、本発明によれば映
像種別ごとに代表画像作成の手続きを用意しておくこと
により、映像種別に適した方法で代表画像を作成できる
ようになり、結果的に効率的な要約を作成できるように
なる効果がある。請求項１および２の発明では、映像種
別としてコマーシャルと番組を識別し、コマーシャルの
映像区間に対してコマーシャルの最後の画像を代表画像
として抽出することによって、コマーシャルの要約リス
トが自動的に作成できる効果がある。
像種別ごとに代表画像作成の手続きを用意しておくこと
により、映像種別に適した方法で代表画像を作成できる
ようになり、結果的に効率的な要約を作成できるように
なる効果がある。請求項１および２の発明では、映像種
別としてコマーシャルと番組を識別し、コマーシャルの
映像区間に対してコマーシャルの最後の画像を代表画像
として抽出することによって、コマーシャルの要約リス
トが自動的に作成できる効果がある。
【図１】Ａは映像要約装置の実施例を示すブロック図、
ＢはＡの処理フローチャート。
ＢはＡの処理フローチャート。
【図２】図１Ａの映像区間管理部１０３のデータ管理方
法を説明するためのタイミングチャート。
法を説明するためのタイミングチャート。
【図３】図１Ａの映像種別識別部１０２におけるＣＭ区
間検出処理のフロー図。
間検出処理のフロー図。
【図４】ＣＭ区間検出処理を説明するためのタイミング
チャート。
チャート。
【図５】図１の表示部１０６に表示されたＣＭを一覧表
示した要約表示画面の図。
示した要約表示画面の図。
フロントページの続き
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04N 5/76 - 5/956
H04N 7/24 - 7/68
Claims (2)
- 【請求項１】 画像の内容が大きく変化するカット点の
時刻系列Ｃｔ（ｔは１，２，３・・・）を求め、 開始時刻と終了時刻とを属性として持つ無音区間系列Ｓ
ｉ（ｉは１，２，３・・・）を求め、 無音区間Ｓｉにカット点時刻Ｃｔが含まれ、かつ、 カット点時刻Ｃｔ′とカット点時刻Ｃｔとの間隔が１５
秒又は３０秒で（ｔ′＞ｔ）、かつ無音区間Ｓｉ′
（ｉ′＞ｉ）にカット点時刻Ｃｔ′が含まれ、かつ、 ｔ′−ｔ≧３ならば、〔カット点時刻Ｃｔ、カット点時
刻Ｃｔ′〕をコマーシャル候補区間とし、 ６０秒以上連続して継続するコマーシャル候補区間をコ
マーシャル区間として出力することを特徴とする映像要
約方法。 - 【請求項２】 請求項１の映像要約方法において、上記コマーシャル区間では、上記コマーシャル区間の最
後の画像を代表として抽出し、代表画像を空間的に並べ
て映像要約を作成する ことを特徴とする映像要約方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02534396A JP3407840B2 (ja) | 1996-02-13 | 1996-02-13 | 映像要約方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02534396A JP3407840B2 (ja) | 1996-02-13 | 1996-02-13 | 映像要約方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09219835A JPH09219835A (ja) | 1997-08-19 |
| JP3407840B2 true JP3407840B2 (ja) | 2003-05-19 |
Family
ID=12163256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02534396A Expired - Fee Related JP3407840B2 (ja) | 1996-02-13 | 1996-02-13 | 映像要約方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3407840B2 (ja) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6100941A (en) * | 1998-07-28 | 2000-08-08 | U.S. Philips Corporation | Apparatus and method for locating a commercial disposed within a video data stream |
| JP4178629B2 (ja) | 1998-11-30 | 2008-11-12 | ソニー株式会社 | 情報処理装置および方法、並びに記録媒体 |
| KR100371813B1 (ko) * | 1999-10-11 | 2003-02-11 | 한국전자통신연구원 | 효율적인 비디오 개관 및 브라우징을 위한 요약 비디오 기술구조 및 이의 기록매체, 이를 이용한 요약 비디오 기술 데이터 생성 방법 및 생성시스템, 요약 비디오 기술 데이터의 브라우징 장치 및 브라우징 방법. |
| US7181757B1 (en) | 1999-10-11 | 2007-02-20 | Electronics And Telecommunications Research Institute | Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing |
| JP3816712B2 (ja) * | 2000-02-10 | 2006-08-30 | Ｋｄｄｉ株式会社 | 情報検索表示装置 |
| KR100512138B1 (ko) * | 2000-03-08 | 2005-09-02 | 엘지전자 주식회사 | 합성 키프레임을 이용한 비디오 브라우징 시스템 |
| US20020083473A1 (en) * | 2000-12-21 | 2002-06-27 | Philips Electronics North America Corporation | System and method for accessing a multimedia summary of a video program |
| JP4615166B2 (ja) | 2001-07-17 | 2011-01-19 | パイオニア株式会社 | 映像情報要約装置、映像情報要約方法及び映像情報要約プログラム |
| JP4194272B2 (ja) | 2001-12-28 | 2008-12-10 | キヤノン株式会社 | 動画像管理装置及び方法 |
| US20040024780A1 (en) * | 2002-08-01 | 2004-02-05 | Koninklijke Philips Electronics N.V. | Method, system and program product for generating a content-based table of contents |
| KR100942377B1 (ko) * | 2002-09-28 | 2010-02-12 | 주식회사 케이티 | 장르별 특성 정보를 활용한 퍼지 기반 영상 요약 장치 및그 방법 |
| US7941031B2 (en) * | 2003-07-03 | 2011-05-10 | Panasonic Corporation | Video processing apparatus, IC circuit for video processing apparatus, video processing method, and video processing program |
| JP4675884B2 (ja) | 2004-04-06 | 2011-04-27 | パナソニック株式会社 | 特定番組検出装置及び方法並びにプログラム |
| JP4637042B2 (ja) * | 2006-02-28 | 2011-02-23 | 三洋電機株式会社 | 映像再生装置 |
| JP4719604B2 (ja) * | 2006-03-29 | 2011-07-06 | エヌ・ティ・ティ アイティ株式会社 | コマーシャル検出方法およびコマーシャル検出装置並びにコマーシャル検出プログラムが記録された記録媒体 |
| JP2009080580A (ja) | 2007-09-25 | 2009-04-16 | Toshiba Corp | 映像表示装置及び方法 |
| JP4752855B2 (ja) * | 2008-03-07 | 2011-08-17 | ソニー株式会社 | 情報処理装置および方法 |
| JP4945497B2 (ja) * | 2008-03-31 | 2012-06-06 | 株式会社日立製作所 | コンテンツ情報表示方法 |
| JP5060430B2 (ja) | 2008-08-28 | 2012-10-31 | 株式会社東芝 | 表示制御装置、及び方法 |
| JP5247356B2 (ja) * | 2008-10-29 | 2013-07-24 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
| JP5483863B2 (ja) | 2008-11-12 | 2014-05-07 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
| JP5388631B2 (ja) | 2009-03-03 | 2014-01-15 | 株式会社東芝 | コンテンツ提示装置、及び方法 |
| JP4852119B2 (ja) | 2009-03-25 | 2012-01-11 | 株式会社東芝 | データ表示装置、データ表示方法、データ表示プログラム |
| CN110650379B (zh) * | 2019-09-26 | 2022-04-01 | 北京达佳互联信息技术有限公司 | 视频摘要生成方法、装置、电子设备及存储介质 |
-
1996
- 1996-02-13 JP JP02534396A patent/JP3407840B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09219835A (ja) | 1997-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3407840B2 (ja) | 映像要約方法 | |
| EP0729117B1 (en) | Method and apparatus for detecting a point of change in moving images | |
| US7587124B2 (en) | Apparatus, method, and computer product for recognizing video contents, and for video recording | |
| JP3667262B2 (ja) | ビデオスキミング方法及び装置 | |
| KR100584280B1 (ko) | 멀티미디어 컨텐트의 재생 제어 방법 및 시스템 | |
| US6192183B1 (en) | Video editing scheme using icons directly obtained from coded video data | |
| US7356244B2 (en) | Method and system for replaying video images | |
| JP4613867B2 (ja) | コンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラム | |
| EP1229547A2 (en) | System and method for thematically analyzing and annotating an audio-visual sequence | |
| JP2000516434A (ja) | 可視索引付けシステム | |
| CA2482431A1 (en) | An apparatus to edit, reproduce, deliver, search and re-generate condition settings for metadata | |
| JP2004519968A (ja) | 画像シーケンス中の位置を選択する方法及びシステム | |
| KR20030026529A (ko) | 키프레임 기반 비디오 요약 시스템 | |
| JP2001028722A (ja) | 動画像管理装置及び動画像管理システム | |
| US20090248637A1 (en) | Device, method, and computer-readable recording medium for notifying content scene appearance | |
| KR101440168B1 (ko) | 개요 및 리포트를 이미 포함하는 시청각 도큐먼트의 새로운 개요를 생성하기 위한 방법 및 상기 방법을 구현할 수 있는 수신기 | |
| WO1998034182A2 (en) | A method and device for navigating through video matter by means of displaying a plurality of key-frames in parallel | |
| JPH08339379A (ja) | 映像解析方法および装置 | |
| JP3728775B2 (ja) | 動画像の特徴場面検出方法及び装置 | |
| JP3221028B2 (ja) | 動画像情報のキーワード付与方法 | |
| JP4325767B2 (ja) | データ受信装置、およびデータ受信方法 | |
| US7844163B2 (en) | Information editing device, information editing method, and computer product | |
| JP2001339680A (ja) | オーディオ／ビデオの概要情報の構成および閲覧方法 | |
| JP2000023062A (ja) | ダイジェスト作成システム | |
| JPH11259061A (ja) | デジタル動画像処理装置およびデジタル動画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090314 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |