WO2006064749A1

WO2006064749A1 - 動画像再生方法および動画像再生装置

Info

Publication number: WO2006064749A1
Application number: PCT/JP2005/022748
Authority: WO
Inventors: Maki Takahashi; Shuichi Watanabe
Original assignee: Sharp Kabushiki Kaisha
Priority date: 2004-12-16
Filing date: 2005-12-12
Publication date: 2006-06-22
Also published as: US8204364B2; US20080069516A1; EP1841223A1; JPWO2006064749A1; JP4746560B2; EP1841223A4

Abstract

　従来技術では、画像変化量の小さいフレームを高速に再生し、画像変の大きいフレームを低速に再生する従来技術では、必ずしも当該動画像データの概要を表す適切な高速再生ができない場合がある。　複数フレームのシーン特徴量に基づき要約再生における再生速度を制御する再生速度制御手段を備え、再生速度の変動を抑えつつ、ユーザが動画像データの概要を把握することが容易な再生特性の異なる複数の要約再生を行う。

Description

動画像再生方法および動画像再生装置

技術分野

[0001] 本発明は、動画像データの要約再生方法および要約再生機能を有した動画像再生装置に関する。

背景技術

[0002] 動画像データの内容に応じた高速再生を実現する従来技術として、特許文献 1に記載されている技術がある。この技術では、再生対象の動画像データに関連付けられたフレーム単位の画像特徴量を基にフレーム単位での再生速度の制御を行う。

[0003] 尚、以下の説明では、フレーム iに対する画像特徴量 Xとして、下記式 1に示すフレーム i— 1とフレーム iの画像変化量 (フレーム間差分の大きさ）を用いるものとする。式 1

[0004]

v<H u<W

= 2^∑1 ' ("， — ,-】（"， 1 (式¹ )

上記式 1において、 p.(u,v)はフレーム iの座標 (u,v)における画素値、 Wはフレーム幅、 Hはフレーム高さを示す。

[0005] 次に図 12に示すフローチャート図を参照して上記技術を用いた再生動作の流れについて説明する。まずフレーム iに対する画像特徴量 Xを、所定の閾値 THと比較す

i 1

る（ステップ S001)。ここで、 X≤THであれば、フレーム iの再生速度 s =Sと設定す

i 1 i 1

る（ステップ S002)。一方、 X >THであれば、フレーム iの再生速度 s =Sと設定す

i 1 i 2

る（ステップ S003)。

[0006] 尚、ここで、 S〉Sである。

1 2

[0007] 次いで、決定した再生速度 sにしたがって当該フレーム iを再生し (ステップ S004)、上記ステップ S001からステップ S004までの各ステップを全てのフレームについて繰り返す (ステップ S005)。これにより、高速再生処理を行うことができる。 [0008] 以上に説明したように、特許文献 1に記載の技術では、フレーム間の画像変化量が小さ、場合には高速再生し、フレーム間の画像変化量が大き、場合には低速再生することにより、動画像データの画像特徴量の変化にあわせた高速再生を実現している。

特許文献 1：特開平 8 - 298646号公報

発明の開示

発明が解決しょうとする課題

[0009] 上記特許文献 1に記載の再生方法を用いた動画像再生装置では、画像変化量の小さ、フレームを高速再生し、画像変化量の大き!、フレームを低速再生することで、ユーザが、動画像データ中の画像の変遷を把握し易い高速再生を提供する。しかしながら、このような方法が、必ずしも当該動画像データの概要を表す適切な高速再生 (以下要約再生）とは、えな、場合がある。

[0010] 例えば、再生対象の動画像データの内容がドラマ等の場合、ストーリーの概要を把握するためには、登場人物の会話のやり取りが重要となる場合があるが、一般にこのような場面ではフレーム間の画像変化量は小さぐ当該技術では高速に再生されることになるため、当該動画像データの内容を把握することが難しくなる。

[0011] またフレーム iの再生速度を画像特徴量 Xに基づき決定するため、短時間に Xが激しく変動する動画像データでは、再生速度もまたフレーム毎に激しく変動することになる。したがって再生される画像の動きが不自然になりやす、と、つた問題もある。課題を解決するための手段

[0012] 本発明の一観点によれば、動画像データの再生速度を決定する再生速度制御ステツプであって、前記動画像データと関連する 1種類以上の特徴量を基に前記動画像データの再生速度を決定するステップを有することを特徴とする動画像再生方法が提供される。前記特徴量は、動画像データ力抽出されるのが好ましい。前記再生速度制御ステップは、 1種類以上の特徴量のそれぞれに対し複数の再生速度制御条件を有しており、外部からの指示に基づき前記再生速度制御条件を変更することを特徴とする。これにより、特徴量が激しく変動する場合でも、フレーム間の再生速度変化を最小限に抑えつつ、良好な要約再生を実現することができる。 [0013] 本発明の他の観点によれば、動画像データの再生速度を決定する再生速度制御手段であって、前記動画像データに関連する 1種類以上の特徴量を基に前記再生速度を決定する再生速度制御手段を有することを特徴とする動画像再生装置が提供される。前記特徴量は、動画像データから抽出されることを特徴とする。前記再生速度制御手段は、 1種類以上の特徴量に対し複数の再生速度制御条件を有し、外部からの指示に基づき該再生速度制御条件を変更する手段を有することを特徴とする。

[0014] 本発明の別観点によれば、動画像データのシーン単位のシーン特徴量に基づく異なる再生特性を有する複数の要約再生方法を提供する手段を備えた動画像再生装置が提供される。前記シーンを構成するフレーム数を予め設定する手段を有するのが好ましい。

[0015] 尚、上記動画像再生装置は、動画像データの要約を再生することを特徴とする。

発明の効果

[0016] 本発明の動画像再生方法および動画像再生装置によれば、 1種類以上の特徴量に基づく複数の要約再生方法を提供するため、ユーザの要求に応じた要約再生が可能である。

[0017] またフレーム毎に特徴量が激しく変動する場合でも、フレーム間の再生速度変化を最小限に抑えつつ、良好な要約再生を実現することができる。

図面の簡単な説明

[0018] [図 1]本発明の実施の形態による動画像再生装置の動作例を示すフローチャート図である。

[図 2]本発明の実施の形態による動画像再生装置の構成例を示す機能ブロック図である。

[図 3]本発明の実施の形態による動画像再生装置の図 2とは異なる構成例を示す機能ブロック図である。

[図 4]本発明の実施の形態によるシーン特徴量として色構成比 (A)と代表色を求める際の求め方 (B)を示す図である。

[図 5]シーン特徴量として動き強度と動き強度の空間分布とを求める際の求め方を示す図である。

[図 6]要約再生方法 1における再生速度とシーン特徴量 x_;との関係を示す図である

[図 7]要約再生方法 1と要約再生方法 2との再生特性の違いを示す図である。

[図 8]要約再生方法 2における再生速度とシーン特徴量 ^との関係を示す図である

[図 9]本発明の第 2の実施の形態による動画像再生装置の動作の流れを示すフローチャート図である。

[図 10]本発明の第 2の実施の形態による再生速度の変化の説明する図である。

[図 11]本発明の第 3の実施の形態による動画像生成装置の動作の流れを示すフロ一チャート図である。

[図 12]従来技術の動画像再生装置の動作の流れを示すフローチャート図である。符号の説明

[0019] 1…画像復号部、 2…再生部、 3…再生速度制御部、 4…画像解析部。

発明を実施するための最良の形態

[0020] まず、本発明の第 1の実施の形態について図面を参照しつつ説明を行う。図 2は、本発明の第 1の実施の形態による動画像再生装置の概略構成例を示す機能ブロック図である。図 2において、符号 1は動画像符号化データを復号し、所定の再生速度にしたがって復号画像を出力する画像復号部であり、符号 2は復号画像を表示する再生部であり、符号 3は外部からのユーザ指示に従い、ユーザが要約再生を指示した場合に再生対象の動画像データに関連付けられた特徴量を基に、ユーザ所望の要約再生方法で再生速度の制御を行う再生速度制御部である。

[0021] 本実施の形態による動画像再生装置は、動画像データを所定のフレーム数毎、あるいは、所定の時間毎に分割した動画像データを処理単位 (シーン）として用いることを特徴とする。以下の説明では、 1つのシーンが所定のフレーム数 Nからなる動画像

1

データで構成されるものとして説明する。尚、図 2の動画像再生装置において、再生速度制御部 3には、動画像データの特徴量としてシーン iに対応するシーン特徴量 X が入力され、シーン iの再生速度 sが決定される。 [0022] また、図 2において、シーン特徴量は、動画像符号化データと共に外部記憶装置（図示せず）に記録しておいても良いし、予め動画像符号ィ匕データに対しシーン単位の特徴解析を行い、得られたシーン特徴量 Xを外部記憶装置に記録する構成にしても良い。或いは、図 3に示すように、画像復号部 1の出力を基に特徴解析を行う画像解析部 4を備え、動画像データの解析を再生中に順次行い、シーン特徴量として用いる構成であっても良い。

[0023] 以下、本実施の形態による動画像再生装置で用いられるシーン特徴量について、説明する。シーン特徴量は、シーンを構成する動画像データ力も直接または間接に求められる。例えば、動画像データカゝら直接に計算されるシーン特徴量としては、シーンに含まれる動画像データ内での「色構成比」や「代表色 (最も出現頻度が高!、色 )」、「模様 (テクスチャ)の周波数成分分布」等が挙げられる。

[0024] 図 4は、動画像が a、 b、 cの 3色から成り、かつ、 1つのフレームが 4 X 4の 16画素から成ると仮定した場合に、図示したシーン中の色構成比（図 4A)、代表色（図 4B)を求めた例を示す図である。尚、実際の動画像は、色数、画素数、共に図 4の例よりもはるかに多いが、算出方法の基本原理は同様である。但し、色数については、適当に量子化して色数を限定し、それから色構成比、代表色を求めることも可能である。

[0025] また、間接に得られるものとしては、前述の画像特徴量の場合と同様「画像変化量」があるが、その他には動画像内の「動きの強度 (動きの激しさ）」や「動き強度の空間分布、時間分布」等が挙げられる。これら動きに関するシーン特徴量を動画像データ力求めるには、複数のフレームデータからフレーム間で、動画像信号がどのように移動して、るかを示した動きベクトルをまず求め、得られた動きベクトル情報力計算する。

[0026] 図 5は、シーンに含まれるそれぞれのフレームをブロック 1〜4までの 4つのブロックに区切り、それぞれのブロック 1〜4までについて動きベクトルを求めた上で、シーンの動き強度及び動き強度の空間分布を求めた様子を示す図である。個々のブロックに付された動きベクトルは、そのブロックを構成している動画像信号力 1つ前のフレーム内でどこに位置していたかを、 1つ前のフレームからの移動量としてベクトル表示したものである。従って、図 5中では、シーン先頭のフレームには動きベクトルは与えられていない。動き強度及び動き強度の空間分布は、それぞれのブロックに付された動きベクトルについて、ベクトルの大きさを求めた上で（図 5A)、それらのシーン全体 (動き強度、図 5B)、もしくはそれぞれの空間位置 (動き強度の空間分布、図 5C)における平均値を計算することで得られる。

[0027] 尚、図 5では、動きベクトルを求めるブロックと動き強度の空間分布を求めた際の分割数とが同じ（2 X 2の 4つ）である力これらを同じにする必要はなぐ複数ブロックをまとめて 1つの空間位置とし、動き強度の空間分布を求めてもよい。例えば、 4 X 4の 16個のブロックに区切られた動画像に対して、 2 X 2の 4個ずつを組にし、 2 X 2の 4 つの分割位置を設定して動き強度の空間分布が求められる。

[0028] 動画像データが MPEGのようなフレーム間予測符号ィ匕方式で符号ィ匕された圧縮符号ィ匕データである場合では、上記の動きに関するシーン特徴量は、動画像符号化データに含まれる動きベクトル情報を用いて直接計算することができる。

[0029] 一方、動画像符号ィ匕データ力色信号に関するシーン特徴量を求めるには、ー且動画像を復号した上でシーン特徴量を計算することが必要なこともある。この他、信号成分の急激に変化している箇所を捉える「エッジの分布」等も、動画像データから間接に得られるシーン特徴量にあたる。尚、シーン iに対応するシーン特徴量 Xは、例えば従来技術でも用いられるフレーム単位の画像特徴量を次式の通り変換したものを用いることも可能である。

式 2

[0030]

式 2において、 Xはシーン iを構成するフレーム j:j = 0, ,Ν—1における画像特徴量

i,j - 1

である。尚、フレーム単位の画像特徴量を基にシーン iのシーン特徴量を算出する方法は、式 2の方法に限定されるものではなぐ例えば、シーン iを構成するフレーム単位の画像特徴量の中から、最大値又は中央値を、シーン iを代表するシーン特徴量 X として用いても良い。また、以下の説明では、従来技術でも用いられる画像特徴量である画像変化量を、式 2を用いてシーン特徴量に変換して用いるものである。

[0031] 次に、本実施の形態による動画像再生装置の要約再生の動作について図 1を参照しつつ説明を行う適宜、図 2も参照する。

[0032] 尚、以下の説明では、シーン単位のシーン特徴量 Xを基に画像の変化が少なヽシーンでは再生速度 sを大きぐ画像の変化が大きいシーンでは再生速度 sを小さくすることで、動画像データ中の画像変化の変遷をユーザが把握することが容易な要約再生 (要約再生方法 1)を実現する場合について説明する。この場合、再生速度制御部 3には予めユーザから要約再生方法 1を用いた再生指示があるものとする。

[0033] (要約再生方法 1)

まず、再生速度制御部 3において、シーン iに対するシーン特徴量 Xを所定の閾値 THと比較する（ステップ S101)。ここで、 X≤THであれば、シーン iの再生速度 s =

2 i 2 i

Sと設定する（ステップ S 102)。一方、 X >THであれば、シーン iの再生速度 s =S

1 i 2 i 2 と設定する（ステップ S 103)。尚、ここで、 S >Sであり、 S102、 S103で、ー且再生

1 2

速度を決定した後、所定の閾値 THを用いて、 s s >THであれば、 s =s +TH

3 i i-1 3 i i-1 と補正し、 s— s く— THであれば、 s二 s —THと補正する、というように、再生速

3 i i-1 3 i i-1 3

度 _S;の補正を行!、、再生速度の変動幅を抑える構成としても良、。

[0034] 次に、決定した再生速度 sに基づいて、画像復号部 1において復号されたフレームを再生部 2において表示し (ステップ S 104)、シーン i内のすべてのフレームについてステップ S104を繰り返し (ステップ S105)、上記ステップ S101からステップ S105ま

、て繰り返す (ステップ S 106)。

[0035] 尚、一般に、本実施の形態による要約再生方法 1は、 sと Xとの関係を s =f(x)で表すとき、任意の X X :Xく Xに対して、 f(X )≥f(X )を満たす構成であれば構わない

0， 1 0 1 0 1

。例えば、図 6 (a)に示すように複数の閾値を用いて多段階に再生速度を切替え可能な構成でも良ぐ或いは、図 6 (b)に示すように、 Xに応じて sが滑らかに変化する構成であっても良い。また、図 6 (c)に示すように、区間 X <x <Xにおいて、 f (x)<f (

O i l 2 i 1 x)となる 2つの関数を用いて、シーン i—1における x ，s に応じて、以下のように sを i i-1 i-1 i 異なる条件で決定する構成であっても構わな、。 [0036] l) x く Xかつ x≥Xならば、 s =f (x)と設定する。

i-l 0 i 0 i 1 i

[0037] 2) x >Xかつ x≤Xならば、 s =f (x)と設定する。

i-l 1 i 1 i 2 i

[0038] 3)上記 1) 2)以外の場合、さらに

3-1) s =f (x )ならば、 s =f (x)と設定する。

i-l 1 i-l i 1 i

[0039] 3-2) s =f (x )ならば、 s =f (x)と設定する。

i-l 2 i-l i 2 i

[0040] 図 6 (c)の例において、上記のように再生速度 _Siを決定する条件を変更することで、シーン特徴量 _x;の微小変化に対して、再生速度の変動を抑えることができる。

[0041] 以上に説明したように、要約再生方法 1は、画像の変化が少ないシーンでは再生速度 sを大きくし、画像の変化が大きいシーンでは再生速度を小さくすることにより、例えば、野球中継等の動画像データにおいて，動画像データの概要を把握するために重要となるシーン力 Sヒット、ホームランのシーン等、一般に画像変化の大きいシーンで構成される動画像データにおいて、当該シーンを強調した要約再生が可能である。

[0042] 次に、上述の要約再生方法 1とは異なり、画像変化量の小さいシーンを低速再生し、画像変化量の大きいシーンを高速再生する制御を行う要約再生方法 (要約再生方法 2)につい説明する。

[0043] (要約再生方法 2)

本発明における要約再生方法 2は、 sと Xとの関係を s =f(x)で表すとき、任意の X

i i i i 0,

X :X <Xに対して、 f(X )≤f(X )を満たす構成により実現可能である。従って、要約

1 0 1 0 1

再生方法 2に関する簡単な実現方法としては、前述の図 1におけるステップ S102、ステツプ S103における再生速度の関係を S < Sとすることである。この場合、図 7に示

1 2

す通り、要約再生方法 1で高速再生が行われていたシーンが要約再生方法 2では低速再生され、要約再生方法 1で低速再生が行われて、たシーンが要約再生方法 2では高速再生される例からも明らかなように、要約再生方法 1と要約再生方法 2とは異なる再生特性を持つ。

[0044] 尚、要約再生方法 1における図 6の例と同様に、 08 (a)に示す複数の閾値を用いて多段階に再生速度を切替え可能な構成、あるいは、図 8 (b)に示す Xに応じて sが滑らかに変化する構成、図 8 (c)に示す区間 X < x <Xにおいて、 f (x)< f (x)となる

O i l 2 i 1 i 2つの関数を用いて、シーン i—1における x ,s に応じて、以下のように sを異なる条

i-1 i-1 i

件で決定する構成も同様に実現可能である。ここで、

1) χ く Xかつ χ≥Χならば、 s = f (X )と設定する。

i-1 0 i 0 i 2 i

[0045] 2) x >Xかつ x≤Xならば、 s =f (x)と設定する。

i-1 1 i 1 i 1 i

[0046] 3)上記 1) 2)以外の場合、さらに、

3— l) s =f (x )ならば、 s =f (x)と設定する。

i-1 1 i-1 i 1 i

[0047] 3 - 2) s =f (x )ならば、 s =f (x)と設定する。

i-1 2 i-1 i 2 i

[0048] 図 8 (c)の例において上記のように再生速度を決定する条件を変更することで、シーン特徴量 Xの微小変化に対して、再生速度 sの変動を抑えることができる。

[0049] 以上に説明したように、要約再生方法 2は画像変化量の大きいシーンを高速再生し、画像変化量の小さいシーンを低速再生することで、例えばドラマ等の動画像データにおいて、動画像データの概要を把握するために重要となるシーンが、登場人物の会話シーン等、一般に画像変化の小さ!、シーンで構成される動画像データの場合、当該シーンを強調した要約再生が可能である。

[0050] また要約再生方法は上述の要約再生方法 1、 2に限られるものではなぐ例えば図 1のステップ S102、 S103において再生速度制御部 3の設定する再生速度を S =∞

1

,S = 1とすることで、画像変化量の大きいシーンを通常速度で再生し、画像変化量

2

の小さいシーンの再生を省略し、動画像データ中の主要なシーンのみを再生するダイジスト再生を実現することが可能である。

[0051] 以上に説明したように、本実施の形態による動画像再生装置では、シーン単位のシーン特徴量を基に異なる再生特性をもった複数の要約再生方法を提供すると共に、予めシーンを構成するフレーム数 Nを実験等で適切に定めることで、短時間のうち

1

に激しく再生速度が変化することを回避することが可能である。

[0052] 尚、上記の説明ではシーン特徴量として画像変化量 (フレーム間差分)を用いたが、一般に画像変化量が大きい場合は、動きが激しく（動き強度大)、また動画像符号化データの発生符号量も大きくなり、画像変化量が小さい場合は、動きがほとんどなく（動き強度小)、また動画像符号ィ匕データの発生符合量符号量も小さくなるため、動き強度や動画像符号ィ匕データ中のシーン iの占める符号量をシーン特徴量として用 V、ても同様の効果が得られる。

[0053] また、本実施の形態による動画像再生装置で利用可能なシーン特徴量は、上述の例に限定されるものではなぐ例えばシーン特徴量 Xとしてシーン iにおける代表色を用いる場合には、代表色と所定の色との差が小さいシーンを低速とし、所定の色との差が大きいシーンを高速に再生する制御を行うことで、例えば、代表色を肌色とした場合、動画像データ中で人物がアップとなって、るシーンのみを強調した要約再生を実現することも可能である。同様に、所定の画像変化量や動き強度を設定しその値に近!、画像変化量又は動き強度を持ったシーンを低速で、その値とは離れた画像変化量又は動き強度を高速で、要約再生することもできる。

[0054] さらには、動画像データに付随する音声データの特徴量をシーン特徴量 Xとして用いる構成であっても構わない。例えば、シーン iにおける平均音量をシーン特徴量 Xとして用い、平均音量が所定以上のシーンでは低速再生し、平均音量が所定未満の場合に高速再生するように制御を行うとすれば、例えばサッカー中継の動画像データの場合に、ゴールシーン等の重要なシーンでは、通常のシーンに比べ観客の歓声の影響で音量が大きくなる傾向があるため、重要シーンを強調した要約再生が可能となる。

[0055] また、シーン iについて M種類のシーン特徴量 x' :j = 0, ,Μ—1が存在する時、次式に示す特徴量の変換を行うことで、 1つの合成特徴量 Xとして扱うことが可能である式 3

[0056] j<M

xi = ∑^WJ^XU' (式 3 )

式 3において、 Wは特徴量の種類で異なる重み係数であり、予め実験等により最適な値を定めるものとする。尚、式 3の変換は、予め変換した合成特徴量 x_;を外部記憶装置に記録する構成でもよヽし、再生速度制御部 3におヽて行う構成であっても良!ヽ [0057] 以上に説明したように、本実施の形態による動画再生装置においては、複数のシーン特徴量を利用することにより、より複雑なユーザニーズに応じた要約再生を実現することが可能であると!/、う利点がある。

[0058] 次に、本発明の第 2の実施の形態による動画像再生装置について図面を参照しつつ説明を行う。本実施の形態による動画像再生装置は、第 1の実施の形態における図 2の構成と同様であるため、その説明を省略する。尚、本実施の形態による動画像再生装置は、第 1の実施の形態による動画像再生装置とは、再生速度制御手段 3 ( 図 2)の動作が異なる。

[0059] 次に、本実施の形態による動画像再生装置の要約再生動作の流れについて図 9を参照しつつ説明を行う。尚、以下の説明では、第 1の実施の形態による要約再生方法 1の実現方法についてのみ説明するが、その他の要約再生 (要約再生方法 2他)も、説明は省略するが実現可能である。

[0060] 本実施の形態による再生速度制御部 3において、シーン iに対するシーン特徴量 X を所定の閾値 THと比較する（ステップ S201)。ここで、 l) x≤THであれば、シーン

2 i 2

iの目標再生速度 s =Sに設定する（ステップ S202)。 2) x >THならば、シーン iの

i 1 i 2

目標再生速度 s =Sに設定する (ステップ S203)。尚、ここで、 S >Sである。次に、

i 2 1 2

再生速度制御部 3において、シーン iを構成する各フレーム j:j = 0, ,Ν— 1の再生速度を所定の閾値 Ν： Ν <Νと比較する（ステップ S204)。ここで、; j <Nであれば、フ

2 2 1 2

レーム jの再生速度 s =(N -j)s /N +js/Nと設定する (ステップ S 205)。一方、 j

i,j 2 i-i 2 i 2

≥Nであれば、フレーム jの再生速度 s =sと設定する（ステップ S206)。

2 i,j i

[0061] 次に、決定した再生速度 s にしたがって画像復号部 1において復号されたフレームを再生部 2に表示し (ステップ S207)、シーン i内の全てのフレームについてステップ S204力らステップ S207を繰り返し (ステップ S208)、上記ステップ S201力らステツプ S208までのステップを全てのシーンにつ!、て繰り返す (ステップ S209)。

[0062] 尚、上記の説明において、目標再生速度 sが S ,Sの 2通のいずれかを選択する方

i 1 2

法について説明した力この方法に限定されるものではなぐ第 1の実施の形態における場合と同様に、図 6に示されるような再生速度切り替えに関する構成であっても良い。 [0063] またシーン iを構成する各フレーム jの再生速度 sはステップ S 204力ステップ S 20 6に示す方法に限られるものではない。シーン iを構成するフレームの再生速度が s

i-1 から Sへ段階的に変化する方法であれば、どのような方法で再生速度 Sを決めても良い。

[0064] 以上に説明したように、本実施の形態による動画像再生装置では、シーン毎に目標再生速度を定め、シーンを構成するフレーム毎に再生速度を変更することにより、図 10に例として示したように、シーン間の再生速度は滑らかに変化し、急激な再生速度の変化を回避することが可能である。

[0065] 次に、本発明の第 3の実施の形態による動画像再生装置について図面を参照しつつ説明を行う。本実施の形態による動画像再生装置の構成は、第 1の実施の（図 2) と同様であるため説明を省略する。尚、本実施の形態による動画像再生装置は、第 1 及び第 2の実施の形態による動画像再生装置と再生速度制御手段 3の動作が、フレーム単位の画像特徴量 Xを入力として用いる点で異なる。

[0066] 第 1及び第 2の実施の形態によるシーン単位のシーン特徴量の場合と同様に、本実施の形態にぉ、て用いられるフレーム単位の画像特徴量 Xも、画像変化量 (フレーム間差分）に限定されるものではなぐ動画像符号ィ匕データ中にフレーム iの占める符号量や動きベクトルの大きさ等を用いることも可能である。

[0067] 次に、本実施の形態による動画像再生装置の要約再生動作について図 11を参照しつつ説明を行う。尚、以下の説明では、前述の要約再生方法 1の実現方法についてのみ説明するが、その他の要約再生 (要約再生方法 2等)も、同様に実現可能である。

[0068] まず、再生速度制御部 3において、次式に示すようにフレーム iおよびフレーム iに先行する所定数 Nフレームのシーン特徴量 Xの加重平均 x'を求める（ステップ S301)

3 i i

式 4 [0069]

(式 4 )

式 4において、 W 'は、フレーム i jに対する所定の重み係数であり、予め実験等に

J

より定められる係数である。尚、加重平均 x'としてフレーム iの直近 Nフレームに対す

i 3

る加重平均を求める構成であっても良い。或いは、フレーム iに先行する所定数 Nフ

3 レームの画像特徴量の最大値又は中央値を求め、加重平均 Xの代わりに用いる構成でも良い。

[0070] 次に、再生速度制御部 3において、フレーム iに対する画像特徴量 Xを所定の閾値 THと比較する（ステップ S302)。ここで、 x'≤THであれば、フレーム iの再生速度 s

2 i 2 i

=Sと設定する（ステップ S303)。一方、 x' >THであれば、フレーム iの再生速度 s =

1 i 2 i

Sと設定する (ステップ S 304)。

2

[0071] 尚、ここで、 S >Sである。

1 2

[0072] 次に、決定した再生速度 sにしたがって画像復号部 1において復号されたフレームを再生部 2に表示し（再生：ステップ S305)、上記ステップ S301からステップ S305までのステップを全てのフレームにつ、て繰り返す (ステップ S306)。

[0073] 尚、上記の説明において、目標再生速度 sが S ,Sの 2通のいずれかを選択する方

i 1 2

法について説明したが、この方法に限定されるものではなぐ第 1の実施の形態の場合と同様に、図 6に示されるような図中の Xを x'と置き換えた構成を用いても良い。また、本実施の形態による動画像再生装置では、フレーム単位の再生速度制御を行うため、再生速度 sは x'の変動の影響を受け易ぐ図 6 (c)のような構成を用いることで、フレーム間の再生速度の変動をさらに抑えることが出来る。

[0074] 以上説明したように、本実施の形態による動画像再生装置では、フレーム単位の画像特徴量 Xの加重平均を基に再生速度を決定するため、フレーム間の画像特徴量 x_; の変動の影響を抑えつつ、画像の変化が少な、フレームの割合が高、場面では再生速度 sを大きく、画像の変化が大き!、フレームの割合が高、場面では再生速度 s を小さくすることで、動画像の概要をユーザが把握することが容易な要約再生技術を提供することができる。

産業上の利用可能性

本発明は、動画像データの要約再生可能な動画像再生装置に利用できる。

Claims

請求の範囲

[1] 動画像データの再生速度を決定する再生速度制御ステップであって、前記動画像データと関連する 1種類以上の特徴量を基に前記動画像データの再生速度を決定するステップを有することを特徴とする動画像再生方法。

[2] 前記特徴量は、動画像データ力抽出されることを特徴とする請求項 1に記載の動画像再生方法。

[3] 前記再生速度制御ステップは、 1種類以上の特徴量のそれぞれに対し複数の再生速度制御条件を有しており、

外部からの指示に基づき前記再生速度制御条件を変更することを特徴とする請求項 1又は 2に記載の動画像再生方法。

[4] 前記再生速度制御ステップは、前記動画像データの再生速度を所定のフレーム数単位でそれぞれ決定するステップを含むことを特徴とする請求項 1記載の動画像再生方法。

[5] 前記再生速度制御ステップは、前記動画像データの連続する所定フレーム数の画像に対する 1種類以上の特徴量を基に、再生速度を決定するステップを含むことを特徴とする請求項 1記載の動画像再生方法。

[6] 動画像データの再生速度を決定する再生速度制御手段であって、前記動画像データに関連する 1種類以上の特徴量を基に前記再生速度を決定する再生速度制御手段を有することを特徴とする動画像再生装置。

[7] 前記特徴量は、動画像データ力抽出されることを特徴とする請求項 6に記載の動画像再生装置。

[8] 前記再生速度制御手段は、 1種類以上の特徴量に対し複数の再生速度制御条件を有し、

外部力の指示に基づき該再生速度制御条件を変更する手段を有することを特徴とする請求項 6又は 7に記載の動画像再生装置。

[9] 前記再生速度制御手段は、前記動画像データの再生速度を所定のフレーム数単位でそれぞれ決定する手段を有することを特徴とする請求項 6記載の動画像再生装置。前記再生速度制御手段は、前記動画像データの連続する所定フレーム数の画像に対する 1種類以上の特徴量を基に、再生速度を決定する手段を有することを特徴とする請求項 6に記載の動画像再生装置。

動画像データのシーン単位のシーン特徴量に基づく異なる再生特性を有する複数の要約再生方法を提供する手段を備えた動画像再生装置。

前記シーンを構成するフレーム数を予め設定する手段を有することを特徴とする請求項 11に記載の動画像再生装置。

動画像データの要約を再生することを特徴とする請求項 6から 12までのいずれか 1 項に記載の動画像再生装置。

シーン毎に目標再生速度を定め、シーンを構成するフレーム毎に再生速度を変更する手段を有することを特徴とする請求項 6から 13までのいずれか 1項に記載の動画像再生装置。

前記再生速度制御手段は、フレーム単位の画像特徴量を元に前記再生速度を決定することを特徴とする請求項 6から 14までのいずれか 1項に記載の動画像再生装置。

動画像符号化データを復号する画像復号手段と、

該画像復号手段の出力を受けて動画像を再生する再生手段と、

該再生手段における動画像の再生速度を決定する再生速度制御手段であって、前記動画像データに関連する 1種類以上の特徴量を元に前記再生速度を決定する再生速度制御手段と、

を有することを特徴とする動画像再生装置。

符号化された動画像符号化データを復号する画像復号手段と、

前記画像復号手段における復調画像に基づいて画像を解析する画層解析手段であって、前記画像復号手段の出力を基に動画像データの解析を行い、特徴量を抽出する画像解析手段と、

前記再生手段における動画像データの再生速度を決定する再生速度制御手段で決定する再生速度制御手段と

を有することを特徴とする動画像再生装置。

前記再生速度制御手段は、ユーザの指示を受け付けるインターフェイスを有することを特徴とする請求項 16又は 17に記載の動画像再生装置。