JP3209234B2 - 代表画面抽出方法 - Google Patents

代表画面抽出方法

Info

Publication number
JP3209234B2
JP3209234B2 JP04353992A JP4353992A JP3209234B2 JP 3209234 B2 JP3209234 B2 JP 3209234B2 JP 04353992 A JP04353992 A JP 04353992A JP 4353992 A JP4353992 A JP 4353992A JP 3209234 B2 JP3209234 B2 JP 3209234B2
Authority
JP
Japan
Prior art keywords
representative screen
image
shot
extracting
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP04353992A
Other languages
English (en)
Other versions
JPH05244475A (ja
Inventor
明人 阿久津
有二 大庭
担之 星野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP04353992A priority Critical patent/JP3209234B2/ja
Publication of JPH05244475A publication Critical patent/JPH05244475A/ja
Application granted granted Critical
Publication of JP3209234B2 publication Critical patent/JP3209234B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、フレームを単位としあ
る時間連続する映像の中から、該映像の内容を代表する
画面を選択し、抽出する代表画面抽出方法に関する。
【0002】
【従来の技術】従来、映像の代表画面として、ショッ
ト、テイク等の先頭画面を用いていた。このショット、
テイク等の先頭画面を抽出する方法として、映像情報を
解析してショット、テイク等の変り目であるカット点を
検出する方法がある[例えば、谷中他、“動画像信号の
拾い見装置”、特開昭64−68084号公報]。音声
情報を解析してその特徴点により代表画面を抽出する手
法も報告されている[外村他、“シーン抽出処理方
法”、特開平3−80782号公報]。また、人により
規定された映像/画像の優先度を用いて代表画面を抽出
する方法が報告されている[安部他、“動画像ダイジェ
スト自動生成方式”特開平3−90968号公報]。
【0003】
【発明が解決しようとする課題】しかしながら上記した
従来技術は、映像の代表画面を、ショット、テイク等の
先頭画面のみと考えた抽出手法であり、ショット、テイ
ク等の内容が持つ物理的特徴を考慮していないため、シ
ョット、テイク等の画面の内容が必ずしも適切な代表画
面とはいえない。また、優先度を考慮して代表画面を抽
出する方法は、膨大な映像/画像の優先度の人による規
定のため、処理の自動化に問題がある。
【0004】本発明の目的は、適切な代表画面を自動的
に抽出することができる代表画面抽出方法を提供するこ
とである。
【0005】
【課題を解決するための手段】上記目的を達成するため
に、本発明の第1の代表画面抽出方法は、映像のカット
点を検出し、該カット点で規定される各ショットについ
てカメラ操作の有無を判定し、カメラ操作無しと判定さ
れたショットについて、該ショットの動きベクトルを求
め、その時空間分布をクラスタリングして各クラスタに
おける重心点に対応するフレーム画像を代表画面として
選択し、抽出する。本発明の第2の代表画面抽出方法
は、映像のカット点を検出し、該カット点で規定される
各ショットについてカメラ操作の有無を判定し、カメラ
操作有りと判定されたショットについて、その推定した
カメラ操作パラメータの極値に対応するフレームの画像
を代表画面として選択し、抽出する。 本発明の第3の代
表画面抽出方法は、映像のカット点を検出し、該カット
点で規定される各ショットについてカメラ操作の有無を
判定し、カメラ操作有りと判定されたショットについ
て、その推定したカメラ操作パラメータを該ショットか
ら差し引き、該ショットの動きベクトルを求め、その時
空間分布をクラスタリングして各クラスタにおける重心
点に対応するフレーム画像を代表画面として選択し、抽
出する。
【0006】
【作用】ショット、テイク等の内容が持つ物理的特徴を
考慮するので、適切な代表画面の抽出が可能となる。ま
た、本発明の処理は計算処理が可能なため、代表画面を
自動的に抽出することができる。
【0007】
【実施例】次に、本発明の実施例について図面を参照し
て説明する。
【0008】図1は本発明の一実施例の代表画面抽出方
法のアルゴリズムを示す流れ図、図2はテイク/ショッ
ト検出に用いた動きベクトル差分のランダム頻度分布
図、図3はカメラ操作有無検出に用いた動きベクトル差
分の頻度分布図、図4は代表画面抽出に用いたカメラ操
作パラメータの特徴を示す図、図5は代表画面抽出に用
いた動き方向時間変化の特徴を示す図である。従来用い
られている代表画面抽出方法を、図1に破線で示した。
この従来の代表画面抽出方法は、テイク/ショット規定
の手順(手順A)のみで構成されて、代表画面を規定さ
れたテイク/ショットの先頭画面としていた。
【0009】本実施例は、該代表画面抽出処理に新たに
B,C,Dの手順を加えたことに特徴を有し、テイク/
ショットの内容が持つ物理的特徴を考慮して代表画面を
抽出する。また、映像を撮影する時、必ずカメラ操作が
行われる。本実施例においてカメラ操作を静止とそれ以
外の大きく2つに分類し、静止をカメラ操作なしと見な
した。本実施例の特徴としてカメラ操作ありのテイク/
ショットの場合、代表画面の一つとしてカメラ操作が終
る最終画面を抽出することがある。通常、カメラ操作の
終りはテイク/ショットの終りであり、カメラ操作あり
の場合、テイク/ショットの最終画面が代表画面の1つ
になる。この代表画面抽出は、放送局、映画等の分野で
カメラ操作ありで撮影されたテイク/ショットの最終画
面を“パンじり、ズームじり等”と呼び撮影/編集等の
際慎重に扱っていることに起因する。以下、各手順A,
B,C,Dについて文献を引用するとともにその例を示
し、本実施例の代表画面抽出方法を詳細に説明する。
【0010】テイク/ショットの規定(手順A)に関し
て、最近多くの発表がなされている(大辻他、“輝度情
報を使った動画ブラウジング”、信学技報、IE90−
103,1991等)。これらの方法は、基本的に映像
情報のフレーム間差分を用いている。この手法は、テイ
ク/ショットのつなぎ目(カット点)のフレーム間にお
いて映像情報(輝度、色度等)が急激に変化することを
用いている。ここでは、処理Aの一例として動きベクト
ルのフレーム間差分ベクトルのランダム頻度分布を用い
たテイク/ショットの規定結果を図2に示す。図2中の
23,24,25の範囲がテイク/ショットであり、点
21、点22がカット点である。ここで用いた手法は、
テイク/ショットのつなぎ目のフレーム間における動き
のなめらかさの不連続性であり、手法的にフレーム間の
ブロック単位の相関から算出される動きベクトルの差分
ベクトルを用いている。この手法を用いるとテイク/シ
ョットのつなぎ目では、結果的に算出される差分ベクト
ルはフレーム内でランダム性を見せる。このランダム性
のフレーム毎の大きさを表した図が、図2である。ラン
ダム性の大きなフレームがテイク/ショットのつなぎ目
であるカット点である。
【0011】次に、カメラ操作有無規定(手順B)にお
いて、その一例として規定結果を図3に示す。図中のテ
イク/ショット31、テイク/ショット33は、カメラ
操作なし、図3中のテイク/ショット32は、カメラ操
作ありを示している。この手法は、フレーム間で見られ
るカメラ操作による動きのなめらかさを基としている。
手法としてフレーム間より算出される動きベクトルの時
間差分ベクトルの大きさゼロのフレーム内の総和を用い
ている。時間差分ベクトルの大きさゼロは動きのなめら
かさを表しておりフレーム内の総和が大きい場合、カメ
ラ操作が行われていると規定できる。また、図2と図3
とから実施例に用いた映像は、4つのテイク/ショット
(テイク/ショット31,32,33と最終フレームの
テイク/ショット)から構成されていることを示してい
る。この処理段階でカメラ操作ありと規定できた場合、
代表画面の一つとしてテイク/ショットの最終画面を抽
出する。
【0012】次に、カメラ操作なしと規定された場合、
手順Cにおいてそのテイク/ショットの持つ物理的特徴
を抽出する。この手順において特徴なしと規定された場
合、代表画面はテイク/ショットの先頭画面とする。特
徴ありと規定される場合の一例をテイク/ショット31
の場合で示す。テイク/ショット31の動きベクトルの
時間に対する方向の変化の様子を図5に示す。図5中の
分布は各分布の広がりによりクラスタリングされてお
り、各クラスタを記号(□、△、*、◇)別に示してあ
る。テイク/ショット31の場合動きベクトルの方向の
時間変化に特徴を有し、ベクトル方向vs時間空間にお
いて分布のクラスタが見られる。その特徴を表す図が図
5である。テイク/ショット31の代表画面は、物理的
特徴点(クラスタ分布の重心等)である点51、点5
2、点53にそれぞれ示した3つの画面になる。
【0013】次に、手順Bでカメラ操作ありと規定され
たテイク/ショットに関してそれらの持つ物理的特徴を
手順Dで抽出する。物理的特徴の一つであるカメラ操作
パラメータ推定法に関して、「阿久津他、“動画像イン
デクシングを目的としたカメラ操作の規定方法”、第2
回機能図形情報システムシンポジウム講演論文集、p
p.107−112,1991」等でその手法が報告さ
れている。これらの方法は、映像から算出された動きベ
クトルを用いている。カメラ操作により生じる動きベク
トルの時空間的規則性(動きベクトルの時間的連続性、
発散点/収束点位置、ベクトルの大きさ、向き)により
カメラ操作を規定している。処理Dの一例として阿久津
等の手法を用いてカメラ操作を規定した結果を図3に示
す。
【0014】また、テイク/ショット32に対して推定
したカメラ操作パラメータを図4に示す。図4中の41
は、カメラ操作パラメータ空間(時間軸を持たない)を
示し、pan(f)はパンパラメータ、tilt(f)
はチルトパラメータ、zoom(f)はズームパラメー
タをそれぞれ示し、画面速度[ピクセル/フレーム]を
表す。テイク/ショット32の代表画面は、最終画面と
パンパラメータpan(f),チルトパラメータtil
t(f),ズームパラメータzoom(f)の物理的特
徴点(極値等)である点41、点42、点43に示した
計4つの画面になる。
【0015】また、推定したカメラ操作パラメータをそ
のテイク/ショットから差し引き、カメラ操作なしとし
て手順Bにもどり手順Cにおいて物理的特徴を抽出する
ことも可能である。
【0016】図6は本実施例の代表画面抽出方法を実現
する装置のブロック図である。この装置は、映像信号を
入力する映像信号入力部61と、手順Aの処理を行なう
テイク/ショット規定部62と、手順Bの処理を行なう
カメラ操作規定部63と、手順C,Dの処理を行なう物
理的特徴抽出部64と、代表画面を選択し、抽出する代
表画面出力部65で構成されている。
【0017】以上、本発明を実施例に基づき具体的に説
明したが、本発明は、前記実施例に限定されるものでは
なく、その要旨を逸脱しない範囲において種々の変更が
可能であることは言うまでもない。また、代表画面抽出
のために用いる映像の物理的特徴空間は、実施例に示し
た動きを初め、輝度、色相、音声等全ての映像情報が該
当することは、同様に言うまでもない。
【0018】
【発明の効果】以上説明したように本発明は、映像につ
いての統計的解析を行い該映像の撮影時のカメラ操作の
時間的特徴と映像の時空間的特徴を算出し、該算出結果
から前記特徴量の変化点を求め、この変化点を与えるフ
レームの画像を代表画面として選択し、抽出することに
より、適切な代表画面を自動的に抽出することが可能と
なる効果がある。
【図面の簡単な説明】
【図1】本発明の一実施例の代表画面抽出方法のアルゴ
リズムを示す流れ図である。
【図2】テイク/ショット検出に用いた動きベクトル差
分のランダム頻度分布図である。
【図3】カメラ操作有無検出に用いた動きベクトル差分
の頻度分布図である。
【図4】代表画面抽出に用いたカメラ操作パラメータの
特徴を示す図である。
【図5】代表画面抽出に用いた動き方向時間変化の特徴
を示す図である。
【図6】図1〜図5の代表画面抽出方法を実現する装置
のブロック図である。
【符号の説明】
A〜D 手順 21,22 カット点 23,24,25 テイク/ショット 31,32,33 テイク/ショット 41 カメラ操作パラメータ空間 42,43,44 点 51,52,53 点 61 映像信号入力部 62 テイク/ショット規定部 63 カメラ操作規定部 64 物理的特徴抽出部 65 代表画面出力部
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭64−68084(JP,A) 特開 昭61−65588(JP,A) 特開 平3−80782(JP,A) 特開 平3−90968(JP,A) 特開 平2−261234(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 5/222 - 5/257

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 フレームを単位としある時間連続する映
    像の中から、該映像の内容を代表する画像を選択し、抽
    出する代表画面抽出方法であって、映像のカット点を検出し、該カット点で規定される各シ
    ョットについてカメラ操作の有無を判定し、カメラ操作
    無しと判定されたショットについて、該ショットの動き
    ベクトルを求め、その時空間分布をクラスタリングして
    各クラスタにおける重心点に対応する フレーム画像を代
    表画面として選択し、抽出する代表画面抽出方法。
  2. 【請求項2】 フレームを単位としある時間連続する映
    像の中から、該映像の内容を代表する画像を選択し、抽
    出する代表画面抽出方法であって、 映像のカット点を検出し、該カット点で規定される各シ
    ョットについてカメラ操作の有無を判定し、カメラ操作
    有りと判定されたショットについて、その推定したカメ
    ラ操作パラメータの極値に対応するフレームの画像を代
    表画面として選択し、抽出する代表画面抽出方法。
  3. 【請求項3】 フレームを単位としある時間連続する映
    像の中から、該映像の内容を代表する画像を選択し、抽
    出する代表画面抽出方法であって、 映像のカット点を検出し、該カット点で規定される各シ
    ョットについてカメラ操作の有無を判定し、カメラ操作
    有りと判定されたショットについて、その推定したカメ
    ラ操作パラメータを該ショットから差し引き、該ショッ
    トの動きベクトルを求め、その時空間分布をクラスタリ
    ングして各クラスタにおける重心点に対応するフレーム
    画像を代表画面として選択し、抽出する代表画面抽出方
    法。
JP04353992A 1992-02-28 1992-02-28 代表画面抽出方法 Expired - Lifetime JP3209234B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP04353992A JP3209234B2 (ja) 1992-02-28 1992-02-28 代表画面抽出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04353992A JP3209234B2 (ja) 1992-02-28 1992-02-28 代表画面抽出方法

Publications (2)

Publication Number Publication Date
JPH05244475A JPH05244475A (ja) 1993-09-21
JP3209234B2 true JP3209234B2 (ja) 2001-09-17

Family

ID=12666548

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04353992A Expired - Lifetime JP3209234B2 (ja) 1992-02-28 1992-02-28 代表画面抽出方法

Country Status (1)

Country Link
JP (1) JP3209234B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06165107A (ja) * 1992-11-26 1994-06-10 Matsushita Electric Ind Co Ltd 動画像ダイジェスト自動表示装置
KR101932573B1 (ko) * 2018-06-19 2018-12-27 성우판금 주식회사 진동 흡수형 단열 창호 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6072542A (en) * 1997-11-25 2000-06-06 Fuji Xerox Co., Ltd. Automatic video segmentation using hidden markov model

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06165107A (ja) * 1992-11-26 1994-06-10 Matsushita Electric Ind Co Ltd 動画像ダイジェスト自動表示装置
KR101932573B1 (ko) * 2018-06-19 2018-12-27 성우판금 주식회사 진동 흡수형 단열 창호 시스템

Also Published As

Publication number Publication date
JPH05244475A (ja) 1993-09-21

Similar Documents

Publication Publication Date Title
EP1984893B1 (en) Method and apparatus for modifying a moving image sequence
CN1846445B (zh) 基于遮蔽检测对像素的时间插值
EP2030440B1 (en) Scaling an image based on a motion vector
Tonomura et al. Structured video computing
US5808664A (en) Method of converting two-dimensional images into three-dimensional images
KR100563866B1 (ko) 영상 신호의 디인터레이스 방법 및 장치
EP0666687B1 (en) Method for detecting camera motion induced scene changes
EP0729117B1 (en) Method and apparatus for detecting a point of change in moving images
US7123769B2 (en) Shot boundary detection
CN108184165B (zh) 视频播放方法、电子装置和计算机可读存储介质
JP3656036B2 (ja) Mpeg圧縮ビデオ環境でのディゾルブ/フェード検出方法
JPH08307820A (ja) インタレースされたビデオから高画質静止画像を生成するためのシステム及び方法
JP2006510072A (ja) 一様なカラーセグメントを検出するための方法及びシステム
JP2006513661A (ja) バックグラウンド動きベクトル検出方法及び装置
JP2007506333A (ja) 動きベクトルフィールド再タイミング
JP3240871B2 (ja) 映像要約方法
JP3209234B2 (ja) 代表画面抽出方法
JP2957851B2 (ja) 手振れ補正方法
JPH07236153A (ja) 動画像のカット点検出およびカット画面グループ検出装置
JP3609236B2 (ja) 映像テロップ検出方法および装置
JP2006518960A (ja) ショット切れ目検出
JP3213105B2 (ja) 映像の構図自動決定処理方法
JP4223762B2 (ja) 映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム
JPH03214364A (ja) シーン変化検出方法
JP4166463B2 (ja) 映像生成装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070713

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080713

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080713

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090713

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090713

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100713

Year of fee payment: 9