JP3564233B2 - 映像提示方法 - Google Patents

映像提示方法 Download PDF

Info

Publication number
JP3564233B2
JP3564233B2 JP18709196A JP18709196A JP3564233B2 JP 3564233 B2 JP3564233 B2 JP 3564233B2 JP 18709196 A JP18709196 A JP 18709196A JP 18709196 A JP18709196 A JP 18709196A JP 3564233 B2 JP3564233 B2 JP 3564233B2
Authority
JP
Japan
Prior art keywords
video
frame
still image
image
presenting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP18709196A
Other languages
English (en)
Other versions
JPH1032754A (ja
Inventor
豪 東野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP18709196A priority Critical patent/JP3564233B2/ja
Publication of JPH1032754A publication Critical patent/JPH1032754A/ja
Application granted granted Critical
Publication of JP3564233B2 publication Critical patent/JP3564233B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Digital Computer Display Output (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)
  • User Interface Of Digital Computer (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、蓄積映像あるいはネットワークや放送を介して得られた映像をパーソナルコンピュータ等のディスプレイ等に提示、ブラウズする技術に関するものである。
【0002】
【従来の技術】
従来、映像を閲覧する場合においては、テープあるいはハードディスク上に記録された映像をVTRと同様に再生、早送り、まき戻し、高速再生等の方法で再生し、閲覧する手法がある。
【0003】
また、映像にシーンチェンジが入る度に1フレームの映像を静止画として2次元的に配置して、映像全体の概要を把握する手法(ペーパービデオTM、参考文献:外村,谷口,阿久津,“Paper Video:紙を用いた新しい映像インタフェース”,信学技報IE94−59,pp.15−20,(1994−09).)がある。この手法では、映画等を対象にフレーム毎の輝度値等の差分を求め、その値の大きい箇所、すなわちフレーム間で動き特徴量が急激に変化する箇所をシーンチェンジと判断している。
【0004】
【発明が解決しようとする課題】
上記従来のVTRと同様の映像の再生手法では、映像が時間的に一次元で提示されるため、全体の概要を一度に把握する事が困難である。この問題を解決するめに発明されたものが、上記従来のペーパービデオTMの手法であった。
【0005】
しかしながら、ペーパービデオTMの手法は、フレーム間で動き特徴量が急激に変化するシーンチェンジを元に映像を区切っているため、シーンチェンジが存在しない映像には適用できないという問題点がある。
【0006】
更に、前記ペーパービデオTMの手法では、配置されている静止画像が1フレーム分であるため、1枚の静止画では動きに意味のある映像を表現するのは困難であるという問題点がある。
【0007】
本発明は、上記の問題点を解決するためのものであり、その目的は、シーンチェンジが存在しない映像に対しても映像の概要の把握を容易にするとともに、動きに意味のある映像の概要の把握を容易にする映像提示方法を提供することにある。
【0008】
【課題を解決するための手段】
前記の目的を達成するため、本発明は、映像をフレーム単位でアクセス可能な形態として入力、提示する映像提示方法において、入力された映像内容の動き特徴量をフレーム毎に検出する過程と、該動き特徴量が予め設定されている閾値を下回ったフレームを区切りとして映像を連続動き区間に分割する過程と、該連続動き区間内の映像をフレーム単位に複数重ねあわせて1枚の静止画を作成し随時提示する過程と、を具備することを特徴とする。
【0009】
また、上記の発明において、作成された静止画が複数ある場合に該複数の静止画をそれぞれが発生した時間順に配置し、ディスプレイ上に提示する過程を具備するのが、特徴量変化の大きいシーンチェンジが存在しない映像に対し、映像の概要把握を容易にする点で好適である。
【0010】
さらに、上記の発明において、ディスプレイ上に時間順に配置された静止画をポインティングデバイスでクリックする事により、該クリックされた静止画で表現された連続動き区間内の映像を再生、提示する過程を具備するのが、映像の概要把握をより一層容易にする上で好適である。
【0011】
本発明では、映像のフレーム間の動き特徴量がある閾値を下回ったフレームを区切りとして連続動き区間に分割し、この連続動き区間内の映像をフレーム単位に重ねあわせて1枚の静止画を作成し、随時提示することによって、残像のような効果を取り入れた静止画で一連の動作を表す連続動き区間の内容を表現し、動きに意味のある映像の概要の把握を容易にする。
【0012】
また、このようにして作成された連続動き区間毎の静止画を、その連続動き区間の代表画像として発生時間順に画面に一覧的に配置して提示することによって、シーンチェンジが存在しないため、シーンチェンジによる代表画像が作成できないような映像に対しても、代表画像の作成を可能として、映像の概要の把握を容易にする。
【0013】
本発明では、例えば手話等のコンテンツ映像において、文節毎に手の動きが止まることに着目して、従来の発想とは逆に動き特徴量が小さくなった箇所をシーンチェンジ、ないしはシーンチェンジに相当する箇所とした点に特徴がある。
【0014】
【発明の実施の形態】
以下に、本発明の実施の形態について図面を参照して詳細に説明する。
【0015】
図1は、本発明の一実施形態例の映像提示方法を説明するためのシステム構成例の概要を示すブロック図である。本実施形態例では、手話映像に適用した場合を例に説明する。
【0016】
VTRあるいはネットワーク、放送からの映像素材1は、映像入力部2において、映像素材1がアナログの場合にはA/D変換されて、フレーム毎にアクセス可能な形態に変換され、動き特徴量検出部3、提示用静止画作成部4、およびバッファメモリまたはHD(ハードディスク)5に入力される。
【0017】
動き特徴量検出部3では、連続する2フレーム間の差異を元に動き特徴量を測定する。ここで、動き特徴量とは、例えば、次式で算出される全画素に渡る2フレーム間の輝度値の差の2乗総和(D)、
=Σi=1 {f(i)−fm−1(i)}
m:フレーム番号
i:フレーム内の画素を示す添え字
(i):第mフレーム第i画素の輝度値
N:1フレーム内の画素数
あるいはH.261、MPEG等の動画像符号化で用いられる動きベクトルの値、あるいは時空間内での物体の動きを示す軌跡の変化等で表される。動き特徴量の値が大きいほど動きが激しいという指標になる。
【0018】
フレーム分割判定部6では、図2に示すように、前記動き特徴量検出部3で検出された動き特徴量が予め設定された閾値(一点鎖線)を下回った際に、一連の動作を示す連続動き区間の区切りとしてフレーム分割を提示用静止画作成部4に通知する。図2では、手話等の特殊なコンテンツ映像において、手の動きが止まった箇所が、動き特徴量が閾値以下となったフレームに対応している。
【0019】
提示用静止画作成部4では、フレーム分割判定部6からフレーム分割指示が通知されるまで、映像入力部2を経て入力されたフレーム単位の映像を図3に示すように重ね合わせて一枚の提示用静止画像を作成する。この時、フレーム単位の映像を重ね合わせる手法としては、全てのフレームを重ね合わせる手法、一定間隔のフレームを重ね合わせる手法、動き特徴量検出部3で検出された動き特徴量が予め設定された閾値を上回ったフレームのみを重ね合わせる手法等が適用可能である。
【0020】
提示用静止画像は作成される都度、提示部7において図4の画面例に示すような画面上に、時間経過順に配置、提示される。すなわち、図4では、図2のように分割された各連続動き区間内の塊の映像に関し、図3のように重ね合わされた静止画像を各塊の映像の代表画面として時系列的に画面に表示する。なお、配置されている各静止画像は、該静止画像を作成した最初と最後のフレーム番号の情報を保持している。また、図4に示した画面は、頁の概念を持っており、提示用静止画が一画面上に配置不可能になった際には、新しい頁を追加し、該新頁に配置、提示する。
【0021】
UI(ユーザインタフェース)制御部8は、ユーザ操作によるマウス等のポインティングデバイス9からの指示入力に基づいて提示部7を制御する。すなわち、図4中上部の前頁指示ボタン11あるいは次頁指示ボタン12をポインティングデバイス9でクリック等の操作によって指示した際には、その旨を提示部7に通知し、提示部7は前頁あるいは次頁の表示に切り替える。また、画面上の任意の静止画像をクリック等の操作によって指示した場合には、その旨を提示部7に通知し、該通知を受けた提示部7は、指示された画像が保持している最初と最後のフレーム番号情報を映像再生部10に通知し、該指示された画像の映像再生を要求する。
【0022】
該要求を受けた映像再生部10は、バッファメモリまたはHD(ハードディスク)5の蓄積媒体に蓄積されている映像情報から、前記指示された画像の最初と最後のフレーム番号に該当する部分を読み取り、これを再生し、提示部7を介して提示する。この時に、提示する画面上の場所は、図5(a)に示すように、元の静止画と同じ場所(クリック等の操作をした場所)で提示する場合と、図5(b)に示すように別のウィンドウを新しく生成して、該ウィンドウ上で提示する場合が考えられる。なお、再生映像は、通常のVTRのように停止、まき戻し等の操作が可能である。
【0023】
【発明の効果】
以上説明したように、本発明を用いれば、動き特徴量が小さくなった部分を区切りとして分割し、その区間の映像をフレーム毎に複数重ね合わせて1枚の静止画を作成し、随時提示するようにしたので、残像のような効果を有する映像表現が可能になり、映像、特に手話映像のように、その動きに意味のある映像の概要を把握する事が容易になるという利点が得られる。
【0024】
また、そのような区切りにより分割された連続動き区間毎に作成された静止画を時系列的に画面に配置して提示するようにした場合には、特に、動き特徴量の変化が大きいシーンチェンジが存在しない映像に対しても、代表画像を一覧的に提示することができるため、映像の概要の把握が容易になるという利点が得られる。
【図面の簡単な説明】
【図1】本発明の一実施形態例の映像提示方法を説明するシステム構成例の概要を示すブロック図である。
【図2】本発明の一実施形態例の映像提示方法における映像の動き特徴量変化と連続動き区間の判定手法例を説明する概念図である。
【図3】本発明の一実施形態例の映像提示方法における提示用静止画像作成手法例を説明する概念図である。
【図4】本発明の一実施形態例の映像提示方法による提示画面構成例を示す図である。
【図5】(a),(b)は本発明の一実施形態例の映像提示方法における映像の再生提示手法例を説明する図である。
【符号の説明】
1…映像素材
2…映像入力部
3…動き特徴量検出部
4…提示用静止画作成部
5…バッファメモリまたはHD
6…フレーム分割判定部
7…提示部
8…UI制御部
9…ポインティングデバイス
10…映像再生部
11…前頁指示ボタン
12…次頁指示ボタン

Claims (3)

  1. 映像をフレーム単位でアクセス可能な形態として入力、提示する映像提示方法において、
    入力された映像内容の動き特徴量をフレーム毎に検出する過程と、
    該動き特徴量が予め設定されている閾値を下回ったフレームを区切りとして映像を連続動き区間に分割する過程と、
    該連続動き区間内の映像をフレーム単位に複数重ねあわせて1枚の静止画を作成し随時提示する過程と、
    を具備することを特徴とする映像提示方法。
  2. 作成された静止画が複数ある場合に該複数の静止画をそれぞれが発生した時間順に配置し、ディスプレイ上に提示する過程を具備する、
    ことを特徴とする請求項1記載の映像提示方法。
  3. ディスプレイ上に時間順に配置された静止画をポインティングデバイスでクリックする事により、該クリックされた静止画で表現された連続動き区間内の映像を再生、提示する過程を具備する、
    ことを特徴とする請求項2記載の映像提示方法。
JP18709196A 1996-07-17 1996-07-17 映像提示方法 Expired - Fee Related JP3564233B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18709196A JP3564233B2 (ja) 1996-07-17 1996-07-17 映像提示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18709196A JP3564233B2 (ja) 1996-07-17 1996-07-17 映像提示方法

Publications (2)

Publication Number Publication Date
JPH1032754A JPH1032754A (ja) 1998-02-03
JP3564233B2 true JP3564233B2 (ja) 2004-09-08

Family

ID=16199955

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18709196A Expired - Fee Related JP3564233B2 (ja) 1996-07-17 1996-07-17 映像提示方法

Country Status (1)

Country Link
JP (1) JP3564233B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4797847B2 (ja) * 2006-07-12 2011-10-19 ソニー株式会社 画像処理装置、画像処理手順およびプログラム
JP4735693B2 (ja) * 2008-09-22 2011-07-27 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP4504452B1 (ja) * 2009-01-15 2010-07-14 株式会社東芝 映像視聴装置及び映像再生制御方法及び記録再生用プログラム

Also Published As

Publication number Publication date
JPH1032754A (ja) 1998-02-03

Similar Documents

Publication Publication Date Title
EP1024444B1 (en) Image information describing method, video retrieval method, video reproducing method, and video reproducing apparatus
EP2127368B1 (en) Concurrent presentation of video segments enabling rapid video file comprehension
JP3319678B2 (ja) 動画像の高速ブラウジング装置
US8411735B2 (en) Data processing apparatus, data processing method, and program
US7149974B2 (en) Reduced representations of video sequences
JP4536402B2 (ja) 映像再生装置、映像再生方法及びその方法をコンピュータに実行させるためのプログラム
US5627765A (en) Method and apparatus for compressing and analyzing video and for creating a reference video
US20090025039A1 (en) Method and apparatus for video digest generation
JP2001258038A (ja) ビデオシーケンスのキーフレーム抽出方法、ビデオシーケンスのキーフレーム抽出装置、記憶媒体及びプログラムソフトウェア
JPH04207878A (ja) 動画像管理装置
JP3166971B2 (ja) ディジタルデータ記録再生装置及び再生装置
CN103369128A (zh) 同时显示多个运动图像缩略图的图像再现装置及方法
US7483619B2 (en) System for authoring and viewing detail on demand video
JP2000350165A (ja) 動画像記録再生装置
CN110913260A (zh) 显示控制方法、显示控制装置和电子设备
JPH11284948A (ja) サムネイル作成方法及びサムネイル表示方法
US20090136201A1 (en) Image processing apparatus
JP2001160920A (ja) インバース・テレシネ変換装置
JP3564233B2 (ja) 映像提示方法
US6944390B1 (en) Method and apparatus for signal processing and recording medium
JP2002094947A (ja) 高速映像再生装置、高速映像再生方法および記録媒体
JP4574771B2 (ja) 画像情報記述方法
CN1595970A (zh) 根据开始/结束片段特定画面检测广告片段的方法及系统
JP4609711B2 (ja) 画像処理装置および方法、並びにプログラム
JP2001119661A (ja) 動画編集システムおよび記録媒体

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040607

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090611

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090611

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100611

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100611

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110611

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120611

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees