JP3240871B2

JP3240871B2 - 映像要約方法

Info

Publication number: JP3240871B2
Application number: JP04697095A
Authority: JP
Inventors: 伸山田; 克洋金森
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1995-03-07
Filing date: 1995-03-07
Publication date: 2001-12-25
Anticipated expiration: 2016-12-25
Also published as: JPH08251540A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、映像の検索、編集、加
工、早見などを支援する方法に係り、特にビデオテープ
やビデオディスクに格納された映像を要約して、再生ま
たは表示をする映像要約方法に関するものである。

【０００２】

【従来の技術】近年、計算機などを応用して、映像の検
索、編集、加工、早見などを支援する方法に関する研究
が盛んになってきている。その一例として、ビデオ、映
画の映像の内容を短時間に把握するために、映像の一部
分や映像全体を短時間で再生する映像要約方法がある。

【０００３】従来の方法としては、早送り再生法、特開
平４−２３７２８４に記載の映像内容圧縮表示処理方
法、ショット毎可変速再生法（大辻、外村、「動画像高
速ブラウジングの主観評価」、１９９３年電子情報通信
学会春季大会、ＳＤ−９−３）、ショット毎ラッシュ再
生法が提案されている。なお、ショットとは、映像編集
などの分野でしばしば使われる映像の単位であり、映像
内容の最小単位に近い。

【０００４】従来の早送り再生法は、フレーム画像を一
定時間間隔で間引いて再生する映像要約方法である。

【０００５】映像内容圧縮表示方法は、時系列のフレー
ム画像間の変化量を用いて、各フレーム画像の表示重要
度を判定し、重要度の高いフレーム画像ほど表示に多く
の時間を割く映像要約方法である。実用化のためには、
フレーム画像の表示重要度を判定する部分が重要であ
る。

【０００６】隣接フレーム画像間の画素単位の輝度変化
量は、画面内の物体の動きに敏感である。そこで、動き
の少ないところを飛ばし、動きの多いところはゆっくり
みたい場合に用いる表示重要度判定方法として、この画
素単位の輝度変化量を上記表示重要度とみなす方法が提
案されている。

【０００７】一方、隣接フレーム画像間のフレーム単位
の輝度変化量は、ショット内での物体の移動には比較的
鈍感で、ショットが変化するときのように、フレーム全
体の輝度分布傾向が変化するような場合に大きな値が出
る。そこで、ショットの変化を注意して見たい場合に用
いる表示重要度判定方法として、このフレーム単位の輝
度変化量を上記表示重要度とみなす方法が提案されてい
る。

【０００８】従来のショット毎可変速再生法は、各ショ
ットの表示時間を一定にするように再生速度を制御しな
がら、映像を再生する映像要約方法である。

【０００９】また、ショット毎ラッシュ再生法は、ショ
ットの先頭部分を標準速度で次々に再生する映像要約方
法である。

【００１０】最後に、ショットについて説明を補足して
おく。一つのビデオカメラで時間的に連続して撮影され
た部分をショットと呼ぶ。ショットは、前述したよう
に、映像内容の最小単位に近い。また、編集でつないだ
部分、ビデオカメラの撮影を中断した部分が「ショット
の変化」となる。

【００１１】ただし、パン、ズームなどのカメラ操作に
よって映像内容が変化する部分を、例外として、「ショ
ットの変化」とみなす場合もある。この場合には、例外
を考慮しない場合に比べて、ショットが映像内容の最小
単位に近くなる。

【００１２】映像を自動的にショットに分割する方法と
しては、映像変化モデル法（山田、藤岡、金森、松島、
坂内、「編集効果を含む映像のシーンチェンジ検出方
法」、マルチメディアと映像処理シンポジウム'94）な
どが提案されている。

【００１３】

【発明が解決しようとする課題】しかしながら上記の早
送り再生法では、映像内容に関係なく一定速度で再生す
るので、「主観的にみて再生速度が速い部分、遅い部
分」が存在し、内容把握が困難で、かつ、ユーザーが疲
れやすいという課題を有していた。

【００１４】また、上記の映像内容圧縮表示方法では、
表示重要度の判定方法として、隣接フレーム画像間の画
素単位の輝度変化量を用いる方法と、フレーム単位の輝
度変化量を用いる方法しか提案されていなかった。前者
を用いた場合には、画素単位の輝度変化量が主観的な動
き評価に不適当であるため、「主観的にみて再生速度が
速い部分、遅い部分」が存在し、内容の把握が困難で、
かつ、ユーザーが疲れやすいという課題を有していた。
また、後者を用いた場合には、各ショットの先頭フレー
ム画像だけが表示されるため、被写体の動作を中心とし
て内容を把握したいときに使えないという課題を有して
いた。

【００１５】上記のショット毎可変速再生法では、ショ
ットの時間長によって再生速度が決まるので、ユーザー
が一部のショットの内容を把握できず、映像に含まれる
内容の時間的な流れを知りたいときに使えないという課
題を有していた。

【００１６】内容の時間的な流れを知りたいときには、
内容の単位である各ショットの内容を把握することが重
要であり、ショットの見落としを避けるために、ショッ
トの変化を予測できることが重要となる。しかしショッ
ト毎可変速再生法では、「編集でつないだ部分と、ビデ
オカメラの撮影を中断した部分でショットが変化する」
場合を除くと、ショットの変化を予測できない。同一の
カメラ操作で撮影された部分を上記ショットとみなして
扱うときや、シナリオの一つのシーンを上記ショットと
みなして扱うときなどでは、ショットの変化を予測でき
ず、ショットの見落としが発生するという課題を有して
いた。

【００１７】映像では、複数のショットの組み合わせ
が、シーンのようなショットよりも高次の内容の単位と
なる。上記のショット毎可変速再生法では、すべてのシ
ョットを少しずつ再生するので、類似した内容の部分を
連続して再生することになり、できるだけ異なる内容の
部分を効率よく見たいときに使えないという課題を有し
ていた。

【００１８】本発明は上記従来技術の課題を解決するも
ので、ユーザーが所望の内容を把握できる映像要約方法
を提供することを目的とする。

【００１９】

【課題を解決するための手段】この目的を達成するため
に、第１に、高速で動く物体を含む画像の時間区間を検
出して高速動作区間とみなす。また、一定時間以上にわ
たって類似した画像が続く時間区間を検出して長時間類
似区間とみなす。そして、高速動作区間を、高速動作区
間以外の時間区間に比べて低速で再生し、長時間類似区
間を、長時間類似区間以外の時間区間に比べて高速で再
生する。さらに、映像を内容ごとにまとめて複数のショ
ットに分割してから、各ショットの表示時間長に下限を
設ける。

【００２０】

【００２１】

【００２２】

【００２３】第２に、要約対象の映像をショットに分割
する。そのあとで、時系列のショットの間の相関を用い
て、類似ショットを統合してショット群を作成する。そ
して、各ショット群から一つずつの部分動画像を選択
し、部分動画像を次々に再生する。

【００２４】

【作用】これらの構成によって、第１に、高速で動く物
体が存在しなくなり、かつ、各内容が一定時間以上表示
されるので、「主観的に再生速度が速い部分」が消滅す
る。また、映像が短時間で次々に変化するので、「主観
的に再生速度が遅い部分」が消滅する。従って、従来法
に比べてユーザーの疲労が軽減される。また、この方法
は、主観的にみて、再生速度が許容範囲内に入るように
しながら映像全体を再生するので、被写体の動作を中心
とした内容を把握することができる。

【００２５】

【００２６】

【００２７】

【００２８】第２に、時系列の類似する内容の部分をま
とめてショット群を作成し、これらの一部分を次々に再
生するので、できるだけ異なる内容の部分を効率よく見
ることができる。

【００２９】

【実施例】以下、本発明の一実施例について、図面を参
照しながら説明する。

【００３０】図１は、本発明の一実施例における映像要
約装置の全体システム図である。図１において、１、２
は処理対象となる映像（以下、処理対象映像と呼ぶ）の
入力装置であって、１はビデオディスク装置、２はＶＴ
Ｒである。また、３はビデオディスク装置１やＶＴＲ２
から出力される映像信号のフレーム画像を取り込むフレ
ームメモリである。４は、ビデオディスク装置１やＶＴ
Ｒ２から出力される映像信号を圧縮する映像圧縮装置で
ある。５は第１の計算機であり、ビデオディスク装置１
やＶＴＲ２やフレームメモリ３や映像圧縮装置４を制御
する。また、フレームメモリ３に制御信号を送ってフレ
ーム画像を取り込み、時系列のフレーム画像を処理する
ことで映像を要約する。６は映像圧縮装置４で圧縮され
た映像や第１の計算機５から送られるデータやフレーム
画像を記憶するファイルサーバーである。７はユーザー
の要求に応じて、要約映像、処理対象映像をファイルサ
ーバー６から呼び出し、その映像を再生する第２の計算
機である。

【００３１】以上のように構成された映像要約装置につ
いて、図２に示すフローチャートを用いてその全体の動
作を説明する。

【００３２】手順２０１では、図１における第１の計算
機５が、ビデオディスク装置１とＶＴＲ２とフレームメ
モリ３を制御しながら時系列のフレーム画像を処理する
ことで、映像を要約する。

【００３３】手順２０２では、第１の計算機５が、ビデ
オディスク装置１とＶＴＲ２と映像圧縮装置４を制御し
ながら、要約した映像と処理対象映像とを圧縮してファ
イルサーバー６に記憶する。

【００３４】なお、要約映像の記憶方法については、映
像を直接圧縮する方法だけでなく、他の方法が各種考え
られる。例えば、図３に示すように、処理対象映像のフ
レーム番号を用いてファイル形式で要約映像を表現でき
る場合には、要約映像の代わりに、フレーム番号の情報
をファイルサーバー６に記憶してもよい。また、ビデオ
ディスク装置１とＶＴＲ２とフレームメモリ３を制御し
ながら、後述する各ショット群の先頭フレーム画像を取
り込み、要約映像の代わりにファイルサーバー６に記憶
してもよい。ただし、この場合には、記憶した先頭フレ
ーム画像を縮小して一覧表示することが、映像の要約を
呈示することに相当する。

【００３５】手順２０３では、第２の計算機７が、ユー
ザーの要求に応じて、要約映像、処理対象映像をファイ
ルサーバー６から呼び出し、その映像を再生する。

【００３６】以下では、図２における手順２０１の具体
的動作である、第１の計算機５の映像要約処理について
説明する。

【００３７】図４は、図１における第１の計算機５の映
像要約処理の一実施例のフローチャートである。

【００３８】まず、手順４０１では、映像要約処理に用
いる様々なパラメータの初期化、しきい値の設定を実行
する。また、後述する手順で「フレーム画像間の類似
度」や高速動作画素や静止構成色や動構成色や静止共通
色や動共通色などの特徴量を計算するときに用いるため
に、フレームメモリ３から処理対象フレーム画像Ｉn
（ｎは１以上の自然数）を取り込み、このフレーム画像
を記憶しておく。

【００３９】次に、手順４０２では、処理対象となる映
像が終了したかどうかを判定し、映像が終了した場合に
は、映像要約処理を終了する。映像が終了していない場
合には、手順４０３に進む。

【００４０】手順４０３では、現在の処理対象フレーム
画像の次のフレーム画像Ｉn+1を新しい処理対象フレー
ム画像Ｉnとみなす。そして、ビデオディスク装置１や
ＶＴＲ２に制御信号を送って、更新後の処理対象フレー
ム画像Ｉnを再生し、フレームメモリ３からフレーム画
像Ｉnを取り込む。

【００４１】手順４０４では、一つのビデオカメラで時
間的に連続して撮影された部分であるショットの末尾を
検出する。ショットの末尾を検出した場合には、このシ
ョットを新しい処理対象ショットSHk（ｋは１以上の整
数）とみなしてから、手順４０５に進む。ショットの末
尾を検出しなかった場合には、何もせずに手順４０５に
進む。なお、手順４０５に進んでから、この手順４０４
が再び実行されるのは、次の処理対象フレーム画像Ｉn+
1を取り込んだあとである。従って、ショットの末尾を
検出できない場合には、次処理対象フレーム画像Ｉn+1
を取り込んだ後に、ショットの末尾の検出を再度試みる
ことになる。

【００４２】なお、シナリオの一つのシーンなどをショ
ットとみなしてもよい。したがって、手順４０４以降の
説明で用いている「ショット」は、すべて「シナリオの
一つのシーン」におきかえてもよい。

【００４３】また、ショットの末尾の検出方法として、
従来の技術で紹介した映像変化モデル法が提案されてい
る。さらに、本実施例では、映像を自動的にショットに
分割しているが、ユーザーが映像などを見ながら分割し
てもよい。映像が予めショットに分割されている場合に
は、手順４０４を省略してもよい。

【００４４】手順４０５以降、手順４０８までが、早送
り映像の主観評価結果をもとにたてた次の３つの仮定を
用いる映像要約方法であり、「主観的にみて再生速度が
速い部分、遅い部分」を消滅させるように再生速度を決
定する。

【００４５】・長時間類似した画像が続く部分（以下、
長時間類似区間と呼ぶ）で、再生速度が遅いと感じる。

【００４６】・高速で移動する物体を含む画像の部分
（以下、高速動作区間と呼ぶ）で、再生速度が速いと感
じる。

【００４７】・映像を内容ごとにまとめてショットに分
割したとき、表示時間が短いショット（短時間長ショッ
トと呼ぶ）で、再生速度が速いと感じる。

【００４８】なお、この方法によって作成された要約映
像を区間変速要約映像と呼ぶことにする。また、本実施
例では、長時間類似区間、高速動作区間以外の時間区間
を標準区間と呼ぶことにする。さらに、標準区間の再生
速度を４倍速に設定する。

【００４９】手順４０５は、長時間類似区間を検出する
処理である。４倍速早送り再生の映像が、４フレーム間
隔の画像から構成されるので、４フレーム間隔の画像を
サンプリングして、その画像間の類似度を調べること
で、この検出処理を実行する。手順４０５における具体
的な動作を図５を用いて述べる。

【００５０】手順５０１では、まず、処理対象フレーム
画像Ｉnのフレーム番号を調べる。次に、このフレーム
画像が、４フレーム間隔の画像列に含まれるかどうか判
定する。４フレーム間隔の画像だけを用いて長時間類似
区間を検出するので、「画像列に含まれる」と判定され
た場合には、長時間類似区間を検出するために手順５０
２に進む。「画像列に含まれない」と判定された場合に
は、手順４０５を終了して、図４の手順４０６に進む。

【００５１】手順５０２では、処理対象フレーム画像Ｉ
nと、上記画像列で一つ前の画像列のフレーム画像Ｉn-4
との間の類似度Ｓ（ｎ、ｎ−４）を計算する。ただし、
要約映像を見るユーザーが主観的に無視できる動きとの
相関がなくなるように、フレーム画像間の類似度の計算
方法を決めた。

【００５２】ここで、フレーム画像間の類似度の計算方
法について簡単に述べる。χ2検定法（長坂、田中、
「ビデオ作品の場面変わりの自動検出法」、情報処理学
会第４０回全国大会、１Ｑ−５、１９９０年）など各種
の方法が考えられるが、本実施例では、共通色比率法
（山田、藤岡、金森、松島、「部分領域ごとの共通色に
注目したシーンチェンジ検出方法の検討」、テレビジョ
ン学会技術報告,１９９３年９月、Vol.17,No.55,pp1-
6）と同様の方法を用いる。

【００５３】静止画像、主観的に無視できる動きだけを
含む映像では、画面上の物体が４フレーム時間に画面上
で移動する距離は、画面の幅に比べて非常に小さくなる
はずである。筆者らの経験によれば、この距離は画面の
幅の２％以下になる。そこで、図６に示すようにフレー
ム画像Ｉnを部分領域Ｒ（ｊ、ｎ）、（ただし、ｊは１
以上１６以下の整数）に分割する。このとき、静止画
像、主観的に無視できる動きだけを含む画像Ｉn、Ｉn-4
の対応する部分領域Ｒ（ｊ、ｎ）、Ｒ（ｊ、ｎ−４）の
間では、色のヒストグラムがほとんど変化しない。な
お、本実施例では部分領域の数を１６としたが、必ずし
も１６である必要はない。

【００５４】一方、フレーム画像Ｉn、Ｉn-4の間でショ
ットの変化などが発生すると、Ｉn、Ｉn-4の対応する部
分領域の間では、被写体が変化して部分領域を構成する
色が変化する。そこで、対応する部分領域の間で新しく
出現した色、消滅した色の面積に応じて、対応する部分
領域の類似度Sp（ｊ、Ｉn、Ｉn-4）が減少するように、
この類似度を計算する。

【００５５】そして、フレーム画像Ｉn、Ｉn-4の対応す
る部分領域の類似度の平均を計算し、フレーム画像の類
似度Ｓ（ｎ、ｎ−４）とみなす。すなわち、

【００５６】

【数１】を計算する。

【００５７】手順５０３は、長時間類似区間の先頭フレ
ーム番号を更新する処理である。長時間類似区間中の画
像は互いに類似するので、時系列の画像の間の類似度Ｓ
（ｎ、ｎ−４）がしきい値θstill以上になるかどうか
を、条件式Ｓ（ｎ−４、ｎ）≧θstill ・・・・・・・・・・・・・・・・（２）を用いて調べる。（２）式が成立する場合に、（ｎ−
４）を長時間類似区間の途中とみなし、先頭フレーム番
号を表す類似区間端Nbが設定されていなければ、Nbに、
（ｎ−４）を代入する。

【００５８】手順５０４は、長時間類似区間の候補を検
出する処理である。類似区間端Nbのフレーム画像と、処
理対象フレーム画像Ｉnとの間で、４フレーム間隔の画
像の類似度が上記しきい値θstill以上になるかどうか
を、条件式Ｓ（Nb+(ｉ-１)×４、Nb+ｉ×４）≧θstill、１≦ｉ≦(n-Nb)/４・・（３）を用いて調べる。（3）式が成立するとき、類似区間端
のフレーム画像ＩNbと上記処理対象フレーム画像Ｉnと
の間を長時間類似区間の候補とみなして、手順５０５に
進む。（３）式が成立しないとき、長時間類似区間の候
補を決定できないので、図４の手順４０６に進む。

【００５９】手順５０４で求めた候補には、「類似した
画像が続く部分」の他に、図７に示すような「ゆるやか
な映像変化をする部分」が含まれる。手順５０５では、
まず、長時間類似区間候補の先頭フレーム画像ＩNbと、
他のフレーム画像との間の類似度がしきい値θratio以
上になるかどうかを、条件式Ｓ（Nb、Nb＋ｉ×４）≧θratio、１≦ｉ≦(n-Nb)/４・・・・・（４）を用いて調べる。次に、（４）式が成立する場合には、
この候補の時間長が、長時間類似区間の最低時間長Ｔst
illに比べて長いかどうかを、条件式ｎ−Nb ≧ Ｔstill ・・・・・・・・・・・・・・・・・・・・・（５）を用いて調べる。ただし、（５）式中の最低時間長Ｔst
illは、図４の手順４０１の実行時に設定しておく。

【００６０】（４）、（５）式が同時に成立する場合に
は、手順５０４で求めた候補を、長時間類似区間とみな
してから、以上に述べてきた手順４０５を終了する。

【００６１】（４）式が成立し、かつ、（５）式が成立
しない場合には、処理対象フレーム画像Ｉn以降の画像
を処理しなければ、手順５０４で求めた候補が長時間類
似区間の一部かどうか判定できない。そこで、何もせず
に手順４０５を終了する。

【００６２】（４）式が成立しない場合には、この候補
を、「ゆるやかな映像変化をする部分」とみなす。ま
た、（２）式が成立するので、フレーム番号（ｎ−４）
以降を長時間類似区間の候補とみなす。長時間類似区間
の候補の先頭フレーム番号を表す類似区間端Nbに、（ｎ
−４）を代入する。

【００６３】なお、本実施例では、要約映像を見るユー
ザーが主観的に無視できる動きとの相関がなくなるよう
に、フレーム画像間の類似度の計算方法を決めた。しか
し、ユーザーの主観は、ユーザーによってばらつくの
で、ユーザーが注目する物体の動きを重視して、類似度
の計算方法を決めてもよい。

【００６４】また、本実施例では、（３）、（４）式を
用いて「類似する画像が続く部分」を求めた。すなわ
ち、時系列の画像の間の類似度と、類似区間の先頭フレ
ーム画像を基準とした類似度とを用いた。しかし、類似
区間の最後のフレーム画像を基準にする方法などを用い
ても同様の効果がえられるので、（３）、（４）式以外
の方法を用いて「類似する画像が続く部分」を計算して
もよい。また、（４）式だけを用いて「類似する画像が
続く部分」を計算してもよい。

【００６５】図４の手順４０５終了後、手順４０６に進
む。手順４０６は、「高速で移動する物体を含む画像の
部分」を検出する処理である。手順４０６における具体
的な動作を図８を用いて述べる。

【００６６】手順８０１は、処理対象フレーム画像Ｉn
と、その直前の画像Ｉn-1を用いて、高速で動く物体上
の画素を検出する処理である。この処理の原理を、図９
を用いて説明する。

【００６７】図９に示すように、フレーム画像Ｉn-1、
Ｉnの間で、位置ｐ（ただし、ｐはベクトル）上の物体
が高速移動したとき、距離Lmin以内ではもとの物体が既
に存在しないと仮定する。このとき、物体の移動によっ
て、Ｉn-1上で、位置ｐの画素の輝度ｆ（ｐ、ｎ−１）
と、Ｉn上で同じ位置ｐを中心とする半径Lminの円内の
画素の輝度ｆ（ｐ＋ｄ、ｎ）（ただし、ｄはLmin以下の
長さをもつベクトル）との間の輝度差が、すべて予め設
定したしきい値θw1以上になり、｜f(ｐ、n-1)−f(ｐ＋ｄ、n)｜≧θw1、｜ｄ・ｄ｜≦Lmin×Lmin ・・（６）が成立する。ただし、（６）式において、｜ａ｜は、ス
カラー量ａの絶対値を表し、（ｄ・ｄ）は、ベクトルｄ
の内積を表す。

【００６８】さらに、Rminを半径とする円よりも大きい
物体のみを検出することで、ノイズを除去する。同一輝
度領域を同一物体とみなし、図９に示したように、Ｉn-
1上で位置ｐの画素の輝度ｆ（ｐ＋Ｄ、ｎ−１）（ただ
し、ＤはRmin以下の長さをもつベクトル）との間の輝度
差がしきい値θw1未満になる条件式｜f(ｐ、n-1)−f(ｐ＋Ｄ、n-1)｜＜θw1、｜Ｄ・Ｄ｜≦Rmin×Rmin ・・（７）が成立するとき、位置ｐで（６）式が成立するかどうか
調べる。

【００６９】以上のことをふまえて、図８の手順８０１
では、（６）、（７）式を同時に満たす画素ｐを検出し
てから、この画素を、「高速で動く物体上の画素」とみ
なし、高速動作画素として登録する。

【００７０】なお、処理を簡単にするために、画素間引
きをする場合や、８画素×８ライン分の画素の平均を一
つの画素とみなす場合などがある。このように、複数の
画素の内容を一つの画素に代表させる場合には、モザイ
クのように、１画素あたりの面積が大きくなる。この場
合には、図１０に示すように、（６）式だけを満たす画
素を高速動作画素とみなしてもよい。

【００７１】また、高速で動く物体を検出する方法とし
て、例えば、動きベクトルを用いた方法が考えられる。
次の手順のように、動きベクトルを用いて高速動作画素
を検出してもよい。

【００７２】[動きベクトルを用いて、高速で動く物体
を検出する手順の例] 手順１）画像を複数のブロックに分割してから、時系列
の２枚の画像を用いて、ブロックごとの動きベクトルを
求める。

【００７３】手順２）動きベクトルの大きさが一定値以
上になるブロックを求める。手順３）手順２で求めたブロックに含まれる画素を、高
速動作画素とみなす。

【００７４】さらに、（６）、（７）式では、画素ｐと
比較する画素を、特定の円に含まれる画素としたが、図
１１に示すように、画素ｐを含む四角形に含まれる画素
としてもよい。

【００７５】また、ユーザーの注目する領域を予め想定
しておき、想定した領域に含まれる画素の中から、高速
移動画素を検出してもよい。例えば、図１２に示すよう
に、ユーザーが常時画面の中央付近に注目すると想定し
て、高速移動画素を検出してもよい。

【００７６】手順８０２では、フレーム画像Ｉn-1に含
まれる高速動作画素の総数を調べる。そして、高速動作
画素の総数が、ノイズを除去するために設定したしきい
値θmに比べて大きい値になるとき、このフレーム画像
Ｉn-1と次のフレーム画像Ｉnの間を、高速動作区間候補
とみなす。

【００７７】早送り映像の主観評価の結果では、高速で
動く物体が存在しても、一瞬しか動かなければ、主観的
に無視される。そこで、手順８０４は、高速動作区間候
補の中から、一瞬の動きによって候補になった区間を除
外する。この処理の実現方法は、いくつか考えられる
が、ここでは、その一方法について述べる。

【００７８】本実施例では、４倍速早送り再生の映像が
基準になっているので、映像を４フレームごとにまと
め、区間単位と呼ぶことにする。手順８０３では、手順
８０２で高速動作区間候補が検出されたかどうかを判定
する。「検出された」と判定した場合には、この高速動
作区間候補を含む区間単位をＵN（Ｎは１以上の整数）
と表記することとし、手順８０４に進む。「検出されな
い」と判定した場合には、高速動作区間候補が存在しな
いので、手順４０６を終了する。

【００７９】手順８０４は、高速動作区間候補を含む区
間単位が予め設定した下限値Ｎmove以上連続するかどう
かを判定する処理である。また、区間単位ＵNと、その
（Ｎmove−１）個前の区間単位ＵN-(Nmove-1)*4との間
にあるすべての区間単位が高速動作区間候補を含むかど
うか調べる。次に、「高速動作区間候補を含む」と判定
されたとき、フレーム画像ＩN-Nmove*4とＩNの間を高速
動作区間とみなす。

【００８０】手順８０４の終了後、以上に述べてきた手
順４０６を終了する。そして、図４の手順４０６の終了
後、手順４０７に進む。

【００８１】手順４０７は、区間変速要約映像のための
映像再生速度を決定する処理である。最初に、高速動作
区間の再生速度を２倍速に決定する。次に、長時間類似
区間の中から、途中に高速動作区間を含まないものを取
り出し、その再生速度を８倍速に決定する。さらに、再
生速度が決定していない残りの区間を標準区間とみな
し、その再生速度を４倍速に決定する。

【００８２】なお、手順４０７では、高速動作区間、標
準区間、長時間類似区間の再生速度を、それぞれ２倍
速、４倍速、８倍速に設定したが、高速動作区間の再生
速度が標準区間に比べて遅く、長時間類似区間の再生速
度が標準区間に比べて速ければ、他の値に設定してもよ
い。また、長時間類似区間全体を１秒で再生するケース
のように、表示時間を用いて再生速度を決定してもよ
い。

【００８３】手順４０７で決定した再生速度にしたがっ
て、映像を再生したとき、一部のショットで、表示時間
が予め設定したショット長下限値Ｎshot未満になる。そ
こで、手順４０８で、再生速度を修正する。

【００８４】手順４０８では、まず、手順４０４で求め
た各ショットSHkに対して、再生に必要な時間NSHk（ｋ
は１以上の整数）を求める。次に、ショット長下限値Ｎ
shot未満になるかどうかを、条件式 NSHk ＜Ｎshot ・・・・・・・・・・・・・・・・・・・・・・・・（８）を用いて調べる。（８）式が成立する場合には、ショッ
トSHkを短時間長ショットとみなし、ショットの表示時
間がショット長下限値Ｎshotになるように、再生速度を
決定する。

【００８５】なお、本実施例では、ショット長下限値を
固定値としたが、テクスチャの細かさなどの内容に応じ
てショット長下限値を変化させてもよい。

【００８６】手順４０８の終了後、手順４０９に進む。
手順４０９は、ショットの境界と予め設定した周期のリ
ズムが相関をもつように再生速度を決定してから、この
「リズム」を想起させながら時系列のショットを次々に
再生する映像要約方法を実現するための手順である。最
初に、要約映像がショットの境界で予め設定した周期の
リズムをもつように、再生速度を決定する。次に、リズ
ムを保持しながら、ユーザーが各ショットの内容を把握
できるように、再生速度を修正する。なお、手順４０９
で作成された要約映像をリズム呈示要約映像と呼ぶこと
にする。

【００８７】手順４０９における具体的な動作を図１３
を用いて述べる。ショットの境界に予め設定した周期の
リズムをもたせるためには、例えば、各ショットの表示
時間を一定にするように、再生速度を決定すればよい。
また、リズムを想起させる方法としては、ショットの境
界で音をならす方法、ショットの境界で静止画像を表示
する方法など、各種の方法が考えられる。

【００８８】本実施例では、図１４に示す例のように、
ショットの先頭フレーム画像を静止時間Ｔstlの間表示
してから、ショット全体を早送り時間Ｔlenで早送り表
示する。このとき、（Ｔstl＋Ｔlen）間隔のリズムが発
生する。例えば、Ｔstlを0.2秒とし、Ｔlenを0.8秒に設
定すると、１秒間隔のリズムが発生する。

【００８９】図１３の手順１３０１では、処理対象ショ
ットSHkのフレーム数LSHk（ｋは１以上の整数）を求め
る。

【００９０】手順１３０２では、処理対象ショットSHk
の早送り部分の表示時間が、予め設定した早送り時間Ｔ
lenになるように、Ｖ（ｋ）＝LSHk／Ｔlen ・・・・・・・・・・・・・・・・・・・・（９）によって再生速度Ｖ（ｋ）を決める。

【００９１】手順１３０３では、ユーザーが処理対象シ
ョットSHkの内容を把握できるように、処理対象ショッ
トSHkの再生速度決定の基準である速度上限値Vmax
（ｋ）を決定する。この速度上限値Vmax（ｋ）の決定方
法は各種考えられる。例えば、手順４０７で決定した再
生速度を、処理対象ショットSHkの中で平均し、この値
を速度上限値Vmax（ｋ）に代入する方法が考えられる。
また、予め設定した固定値をVmax（ｋ）とみなす方法も
考えられる。さらに、手順４０７で決定した長時間類似
区間、標準区間、高速動作区間を利用した次の方法も考
えられる。

【００９２】[長時間類似区間、標準区間、高速動作区
間を利用した速度上限値決定方法] 手順１）長時間類似区間を含み、かつ、高速動作区間を
含まないショットでは、標準区間だけのショットに比べ
て、速度上限値Vmax（ｋ）を大きい値に設定する。例え
ば、８倍速に設定する。

【００９３】手順２）高速動作区間を含み、かつ、長時
間類似区間を含まないショットでは、標準区間だけのシ
ョットに比べて、速度上限値Vmax（ｋ）を小さい値に設
定する。例えば、２倍速に設定する。

【００９４】手順３）高速動作区間と長時間類似区間を
両方含むショットと、標準区間だけのショットでは、速
度上限値Vmax（ｋ）を同じ値に設定する。
例えば、４倍速に設定する。

【００９５】手順１３０４では、（９）式で決定した再
生速度Ｖ（ｋ）が、手順１３０３で決定した速度上限値
Vmax（ｋ）以上になるかどうかを、条件式Ｖ（ｋ）≧Vmax（ｋ）・・・・・・・・・・・・・・・・・・・・（１０）を用いて調べる。（１０）式が成立する場合には、ユー
ザーに内容を把握させるために、処理対象ショットSHk
の早送り部分の表示時間を延長し、再生速度を修正す
る。この修正処理は、手順１３０５で実行する。

【００９６】（１０）式が成立しない場合には、図１５
のショットSH1の部分のように、ショットSHkの早送り部
分の再生速度をＶ（ｋ）に決定してから、以上に述べて
きた手順１３０９を終了する。

【００９７】すでに述べたように、手順１３０５は、シ
ョットの内容をユーザーに把握させるための処理であ
り、ショットの表示時間を延長し、再生速度を修正す
る。

【００９８】ショット境界にリズムをもたせるために、
ショットの表示時間を「他のショットの整数倍」にす
る。ただし、各ショットを短時間で次々に再生するため
に、各ショットの早送り部分の表示時間を可能な限り短
くする。そこで手順１３０５では、（１０）式を満足す
るショットの早送り部分の表示時間を、他のショットの
２倍である２×Ｔlenに設定する。

【００９９】次に、再生速度の決定方法について述べ
る。（１０）式を満たすショットの前半部分の再生速度
が、手順１３０３で決定した速度上限値Vmax（ｋ）以下
になるように修正する。すなわち、図１５のショットSH
2のように、前半部分の再生速度VP（ｋ）を速度上限値V
max（ｋ）以下の値に設定した上で、早送り部分全体の
表示時間を２×Ｔlenにするように後半部分の再生速度V
R（ｋ）を決定する。ただし、後半部分の再生速度VR
（ｋ）はVmax（ｋ）を越えてもよい。また、リズムを保
持するために、早送り部分の前半部分と後半部分の間に
静止部分を入れる。

【０１００】早送り部分前半の再生速度VP（ｋ）は、

【０１０１】

【数２】によって決定できる。また、早送り部分後半の再生速度
VR（ｋ）は、

【０１０２】

【数３】によって決定できる。（１１）、（１２）式の計算後、
以上に述べてきた手順４０９を終了する。

【０１０３】なお、内容を把握できないショットがいく
つか発生してもよい場合には、手順１３０２の終了後に
手順４０９を終了してもよい。また、ショットの変化を
予測できなくてもよい場合には、（９）式を用いずに再
生速度Ｖ（ｋ）を決定してもよい。

【０１０４】図４の手順４０９の終了後、手順４１０に
進む。手順４１０から手順４１２までが、時系列のショ
ットの間の相関を用いて、類似ショットを統合してショ
ット群とみなし、一つのショット群から複数の時系列の
フレーム画像（例えば１秒分）からなる部分動画像を選
択してから、時系列の部分動画像を次々に再生する映像
要約方法を実現するための手順である。最初に、時系列
のショット間の相関を用いて、類似ショットを統合して
ショット群を作成する。次に、各ショット群から一つず
つの部分動画像を選択し、ショット群の特徴を明示する
ように加工する。例えば、類似物体を含むショットを統
合してショット群を作成する場合には、この類似物体が
ショット群の特徴となる。また、時間長がほぼ等しいシ
ョットを統合する場合には、この時間長がショット群の
特徴となる。

【０１０５】要約映像を再生するときには、加工した部
分動画像を次々に再生する。なお、加工を実行せずに、
選択した部分動画像を直接再生してもよい。

【０１０６】手順４１０から手順４１２によって作成し
た要約映像を部分選択要約映像と呼ぶことにする。

【０１０７】手順４１０は、ショット群を作成する処理
である。手順４１０における具体的な動作を図１６を用
いて述べる。

【０１０８】ショットは内容の単位なので、１つのショ
ット内のフレーム画像は１つの共通の特徴をもつ。例え
ば、人物を追尾するショットでは、すべてのフレーム画
像に人物が登場する。したがって、ショット内の一部の
フレーム画像を用いて、ショットの内容を代表させるこ
とができる。本実施例では、処理を簡単にするために、
内容を代表させるフレーム画像の枚数Nrepを予め設定し
ておき、ショット内のNrep枚のフレーム画像（以下、代
表時空間画像と呼ぶ）を用いて、ショットの内容を代表
させる。

【０１０９】手順１６０１では、ショットSHkを代表す
る画像を決定して、代表時空間画像Ｉk、j、（ｋは１以
上の整数、ｊは１以上Ｎrep以下の整数）とみなす。た
だし、代表時空間画像の決定方法としては、先頭部分の
Ｎrep枚を選択する方法、一定時間間隔の画像を選択す
る方法など、各種考えられる。また、処理量に制限がな
ければ、ショット内の全フレーム画像を代表時空間画像
とみなしてもよい。

【０１１０】手順１６０１の終了後、代表時空間画像を
用いて時系列の類似内容のショットを統合し、ショット
群とみなす。類似内容のショットの例としては、類似背
景のショットや類似被写体のショットなどがある。本実
施例では、画面上の物体の色と動きに注目してショット
を統合する。

【０１１１】筆者らの分析によれば、類似内容のショッ
トの代表時空間画像では、各代表時空間画像に共通する
色が存在し、かつ、共通する色をもつ物体が共通の動き
をする。画面に現れる２つの物体が共通の動きをしてい
るかどうかを調べることは難しいが、物体の動きによる
変化は後述する画素変化領域、動きベクトルなどを用い
て簡単に検出できる。そこで、代表時空間画像を処理し
て、画面上の物体の動きによる変化の影響を受ける領域
（以下、動領域と呼ぶ）と、残りの領域（以下、静止領
域と呼ぶ）とに分割する。このとき、類似内容のショッ
トは、次の共通色比率条件を満足する。

【０１１２】共通色比率条件：代表時空間画像の静止領
域を構成する色、動領域を構成する色をそれぞれ静止構
成色、動構成色とよぶとき、代表時空間画像中に共通す
る静止構成色、動構成色が存在し、これらの色をもつ画
素が、各代表時空間画像でしきい値θshot以上の割合を
占める。

【０１１３】なお、共通色比率条件を満足する類似内容
のショットの例を次に示しておく。例１：同じ場所で撮影したショットが続く場合のよう
な、類似背景のショット。図１７に示したプールサイド
の風景の２つのショットSHk-1、SHkの代表時空間画像Ｉ
k-1、1、Ｉk、1では、Ｉk-1、1中の静止構成色Ａの割合＝６０％Ｉk-1、1中の静止構成色Ｂの割合＝２０％Ｉk-1、1中の静止構成色Ｃの割合＝１５％Ｉk-1、1中の静止構成色Ｄの割合＝５％Ｉk、1中の静止構成色Ａの割合＝８０％Ｉk、1中の静止構成色Ｃの割合＝１５％Ｉk、1中の静止構成色Ｅの割合＝５％となり、共通する静止構成色Ａ、ＣのＩk-1、1中の割合の和＝７
５％共通する静止構成色Ａ、ＣのＩk、1中の割合の和＝９５
％となるので、共通する静止構成色が画面全体の７５％以
上を占める。

【０１１４】例２：同じ被写体のショットが続く場合の
ような、類似被写体のショット。図１８に示した自動車
の追尾の２つのショットSHk-1、SHkの代表時空間画像Ｉ
k-1、1、Ｉk、1では、Ｉk-1、1中の静止構成色Ｖの割合＝４０％Ｉk-1、1中の静止構成色Ｗの割合＝４０％Ｉk-1、1中の静止構成色Ｘの割合＝１０％Ｉk-1、1中の静止構成色Ｙの割合＝１０％Ｉk、1中の静止構成色Ｚの割合＝４０％Ｉk、1中の静止構成色Ｗの割合＝３５％Ｉk、1中の静止構成色Ｘの割合＝１０％Ｉk、1中の静止構成色Ｙの割合＝１５％となり、共通する動構成色Ｗ、Ｘ、ＹのＩk-1、1中の割合の和＝
６０％共通する動構成色Ｗ、Ｘ、ＹのＩk、1中の割合の和＝６
０％となるので、共通する動構成色が画面全体の６０％以上
を占める。

【０１１５】図１６の手順１６０２では、代表時空間画
像から動領域を検出して、代表時空間画像を動領域と静
止領域に分割する。動きベクトルを用いると、動領域は
図１９に示すようになる。また、２枚のフレーム画像の
間で物体が移動しないとき、同じ位置にある画素の輝度
がほぼ等しいので、次の画素変化領域を動領域とみなす
と、動領域は図２０に示すようになる。

【０１１６】画素変化領域：代表時空間画像中のフレー
ム画像Ｉk、jと、その１フレーム時間後のフレ
ーム画像との間で、「同じ位置にある画素の輝度差の絶
対値がしきい値 θW1以上となる画素」の集合。

【０１１７】手順１６０３は、静止構成色、動構成色を
求める処理である。以下、画素の赤色成分、緑色成分、
青色成分をそれぞれＲ、Ｇ、Ｂと呼ぶことにして、手順
を説明する。まず、ショットSHkの代表時空間画像の静
止領域において、ＲＧＢ各８階調の５１２色ｃのヒスト
グラムHS（ｃ、SHk）を求める。同様に、動領域のヒス
トグラムHM（ｃ、SHk）を求める。次に、画素数が少な
い色をノイズとみなして除外するために、構成色の最低
画素数θHを設定し、次式を用いて静止構成色HSVk、動
構成色HMVk（ｋは１以上の整数）を求める。

【０１１８】 HSVk＝｛c｜HS(c,SHk)＞θH｝・・・・・・・・・・・・・・・・・（１３） HMVk＝｛c｜HM(c,SHk)＞θH｝・・・・・・・・・・・・・・・・・（１４）以下では、ショット群の先頭のショットをSHtop（topは
１以上の整数）と記述する。手順１６０４から手順１６
０６までは、このショットSHtop以降の時系列のショッ
トを調べて、どこまでのショットが共通色比率条件を満
たすか調べる処理である。

【０１１９】手順１６０４では、ショットSHtop〜SHtop
+mの間で共通する静止構成色、動構成色を、それぞれ静
止共通色HSCtop、m、動共通色HMCtop、m（top、ｍは１以
上の整数）と呼ぶこととし、次式を用いて計算する。

【０１２０】

【数４】手順１６０５では、「静止共通色HSCtop、mと動共通色HM
Ctop、mをもつ画素がショットSHkの代表時空間画像中に
占める割合」を画像共通色比率AMC（k,top,m)と呼ぶこ
ととし、次式を用いて計算する。

【０１２１】

【数５】手順１６０６では、共通色比率条件の成立を表す式 AMC（k,top,m）≧θshot、top≦ｋ≦top+m ・・・・・・・・・・・（１８）が、すべてのｋに対して成立するとき、ショットSHtop
〜SHtop+mが共通色比率条件を満足するとみなす。どこ
までのショットが共通色比率条件を満たすか調べるため
に、すべてのｋに対して（１８）式が成立する場合に
は、ｍに１を足してから手順１６０４に戻る。そうでな
い場合には、手順１６０７に進む。

【０１２２】本実施例では、時系列の２つのショットの
間の画像共通色比率を用いてショット群の末尾を求め
る。まず、手順１６０７で、（１７）式で定義した画像
共通色比率AMC（k,k,1）、AMC（k+1,k,1）（ｋはtop以
上top+m以下の整数）を計算する。前者AMC（k,k,1）は
「２つのショットSHk、SHk+1の静止共通色と動共通色
が、前のショットSHkの代表時空間画像中に占める割
合」を表す。後者AMC（k+1,k,1）は、「２つのショット
SHk、SHk+1の静止共通色と動共通色が、後のショットSH
k+1の代表時空間画像中に占める割合」を表す。

【０１２３】手順１６０８では、画像共通色比率の最小
値 SS（k）＝min（AMC(k,k,1)、AMC(k+1,k,1)）・・・・・・・・・・（１９）を計算し、ショットSHk、SHk+1の統合のための優先度と
みなす。

【０１２４】手順１６０９では、共通色比率条件を満た
すショットSHtop〜SHtop+m-1と、その次のショットSHto
p+mの中から、ショット群の末尾を求める。これらのシ
ョットの間の統合の優先度SS（top）〜SS（top+m-1）の
中から、優先度が最小であることを表す式 SS（kmin）≦SS（k）、top≦k≦top+m-1 ・・・・・・・・・・・・（２０）を満たすSS（kmin）を求め、図２１（ａ）及び（ｂ）の
例のように、優先度が最小になるショットSHkminをショ
ット群の末尾とみなす。（図２１（ａ）及び（ｂ）では
２番目のショット）そして、以上に述べてきた手順１６
１０を終了する。

【０１２５】なお、ショット群を求める方法は各種考え
られる。例えば、時系列のショットで、時間長がほぼ等
しい場合には、内容が類似するので、一つのショット群
とみなすことができる。したがって、本実施例と異なる
方法を用いて、ショット群を求めてもよい。

【０１２６】また、手順１６０６の後、手順１６０７に
進まずに、共通色比率条件を満たすショットの末尾SHk+
m-1をショット群の末尾とみなして、手順４１０を終了
してもよい。

【０１２７】図４の手順４１０の終了後、手順４１１に
進む。手順４１１では、各ショット群から一つずつの部
分動画像を選択する。ただし、部分動画像の選択方法
は、ショット群の先頭ショットの先頭部分、ショット群
の内容を代表するショットの先頭部分など、各種の方法
がある。また、部分動画像の時間長の設定方法について
も、固定長にする方法、音声の内容によって時間長を変
化させる方法など、各種の方法が考えられる。

【０１２８】なお、手順４１１では、部分動画像を選択
したが、各ショット群から一つずつの静止画像を選択し
てもよい。この場合、選択した静止画像を次々に表示す
ると、要約映像になる。また、選択した静止画像を縮小
して一覧表示をしてもよい。一覧表示結果は、要約映像
と同等に扱うことができる。

【０１２９】手順４１１の終了後、手順４１２に進む。
手順４１２は、ショット群の特徴を明示するための処理
であり、手順４１１で選択した部分動画像を加工処理す
る。

【０１３０】本実施例では、ショット群に含まれるショ
ットが共通色比率条件を満たす。すなわち、ショット群
を構成する各ショットに、手順１６０７で求めた静止共
通色、動共通色が存在する。

【０１３１】静止共通色、動共通色は、ショット群に共
通して存在する物体の色を表すので、ショット群の特徴
とみなすことができる。例えば、類似背景のショットな
らば背景の色を表し、類似被写体のショットならば、被
写体の色を表す。そこで、手順４１２では、静止共通色
と動共通色の画素を通常と同様に表示し、これ以外の画
素を、半分の輝度で表示する。なお、静止共通色と動共
通色を強調するものならば、静止共通色と動共通色を除
いた画素の輝度をゼロにするなど、どのような加工処理
方法を用いてもよい。

【０１３２】また、画像の加工処理方法は、ショットの
統合方法にあわせて決めるものであり、様々なバリエー
ションが存在する。例えば、時間長がほぼ等しいショッ
トを統合する場合には、図２２のように、部分動画像の
下側にショットの平均時間長を表示する加工処理方法な
どが考えられる。

【０１３３】手順４１２の終了後、手順４０２に戻る。
なお、ショット群の特徴を明示する必要がない場合に
は、手順４１２を実行せずに、手順４１１の終了後に手
順４０２に戻ってもよい。

【０１３４】以上が、図１における第１の計算機５の映
像要約処理の一実施例であり、図２の手順２０１の詳細
な説明である。

【０１３５】映像要約処理の終了後、図２の手順２０２
を実行する。手順２０２では、図１における第１の計算
機５がビデオディスク装置１やＶＴＲ２を制御して、処
理対象映像と手順２０１で要約した映像を再生する。再
生された映像は図１の映像圧縮装置４においてＭＰＥＧ
方式で圧縮され、ファイルサーバー６に記憶される。

【０１３６】ただし、本実施例の手順２０１は、要約し
た映像を作成せずに、図３に示したような要約映像の再
生方法を作成するので、この要約映像の再生方法にした
がってビデオディスク装置１やＶＴＲ２を制御すること
で、要約映像の再生を実行する。

【０１３７】なお、必ずしもＭＰＥＧ方式で圧縮する必
要はなく、ＪＰＥＧ方式などの他の圧縮方式で圧縮して
もよい。また、要約映像の記憶方法については、すでに
述べたように、映像を直接圧縮する方法だけでなく、他
の方法が各種考えられる。

【０１３８】以下では、図２における手順２０３の具体
的動作である、図１の第２の計算機７の要約映像再生処
理について述べる。

【０１３９】図２３は、図１における第２の計算機７の
要約映像再生処理の一実施例のフローチャートである。

【０１４０】手順２３０１では、映像表示方法の選択を
行う。ただし、多数の選択肢が考えられる。例えば、映
像の内容を詳しく見たい場合には、「処理対象映像の標
準速度再生」を選択すればよい。映像表示時に、ユーザ
ーの見たい映像が普通の速度で再生される。

【０１４１】また、被写体の動作を中心として内容を把
握したい場合には、図４の手順４０５から手順４０８ま
での処理によって作成した「区間変速要約映像」を選択
すればよい。映像表示時に、主観的にみて再生速度が許
容範囲内に入るようにしながら、映像全体が再生され
る。

【０１４２】なお、主観には個人差がある。したがっ
て、ユーザーは、自分の主観に合わせて、再生速度決定
方法を選択してもよい。具体的には、次の３つの処理を
実行するかわりに、その一部だけを実行したり、「テク
スチャーの細かい映像の部分で、再生速度を相対的に遅
くする」処理などを付加してもよい。

【０１４３】・長時間類似区間で、再生速度を相対的に
速くするための、手順４０５・高速動作区間で、再生速度を相対的に遅くするため
の、手順４０６・短時間長ショットで、再生速度を相対的に遅くするた
めの、手順４０８さらに、映像に含まれる内容の時間的な流れを知りたい
場合には、図４の手順４０９によって作成した「リズム
呈示要約映像」を選択すればよい。映像表示時に、同じ
内容の部分をまとめたショットが次々に再生される。

【０１４４】できるだけ異なる内容の部分を少しづつ見
たい場合には、図４の手順４１０から手順４１２までの
処理によって作成した「部分選択要約映像」を選択すれ
ばよい。映像表示時に、時系列の類似する内容のショッ
トをまとめたショット群が次々に再生される。

【０１４５】図２３の手順２３０２では、手順２３０１
による選択結果にしたがって、必要な映像を図１のファ
イルサーバー６から呼び出し、その映像を再生する。た
だし、要約映像作成のためのフレーム番号情報だけがフ
ァイルサーバー６に保存されている場合には、フレーム
番号情報にしたがって、処理対象映像を要約しながら再
生する。また、ユーザーは、映像再生前に、「どのフレ
ームからどのフレームまで再生するか」を指定してもよ
いし、「どのフレームから再生するか」だけを指定し
て、映像を見ながら好みの時点で再生を中断してもよ
い。

【０１４６】なお、図４に示した映像要約処理の流れ
は、手順２３０１の選択肢にあわせて決めればよい。た
とえば、手順２３０１の選択肢に「リズム呈示要約映
像」が含まれない場合には、図４の手順４０９を実行す
る必要はない。同様に、「区間変速要約映像」が含まれ
ない場合には、図４の手順４０５から手順４０８までを
実行する必要はなく、「部分選択要約映像」が含まれな
い場合には、図４の手順４１０から手順４１２までを実
行する必要はない。

【０１４７】また、本実施例では、要約した映像と処理
対象映像を図１の第２の計算機７上で再生する例を示し
たが、ファイルサーバー６と結ばれている他の計算機上
で再生してもよい。例えば、図１の第１の計算機５上で
再生してもよいし、２台以上の計算機がファイルサーバ
ー６と結ばれている場合には、そのすべての計算機上で
再生してもよい。

【０１４８】以上のように、本実施例の区間変速要約映
像によれば、一定時間以上にわたって類似した画像が続
く時間区間を検出して長時間類似区間とみなし、長時間
類似区間を相対的に速く再生することで、映像が短時間
で次々に変化するので、「主観的に再生速度が遅い部
分」が消滅する。また、高速で動く物体を含む時間区間
を検出して高速動作区間とみなし、高速動作区間の再生
速度を相対的に遅くすることで、高速で動く物体が存在
しなくなるので「主観的に再生速度が速い部分」が減少
する。さらに、映像を内容ごとにまとめて複数のショッ
トに分割してから、各ショットの表示時間長に下限を設
けることで、各内容が一定時間以上表示されるので、
「主観的に再生速度が速い部分」が消滅する。このよう
に、主観的にみて、再生速度が許容範囲内に入るように
しながら映像全体を再生することで、従来法に比べてユ
ーザーの疲労が軽減される。また、被写体の動作を中心
とした内容を把握することができる。

【０１４９】また、本実施例のリズム呈示要約映像で
は、各ショットの表示時間長に上限を設定してから、次
の２つの条件の少なくとも一方を満足するように再生速
度を決定し、リズムを想起させながら、時系列のショッ
トを次々に再生する。

【０１５０】リズム条件：ショットの境界と、予め設定
した周期のリズムが相関をもつ。

【０１５１】内容条件：「再生速度決定の基準である
速度上限値以下の速度で再生した部分は必ず内容を把握
できる」ということを保証するように速度上限値が設定
されているとき、各ショットの少なくとも一部分の再生
速度が速度上限値以下になる。

【０１５２】リズム条件を満足するように映像を要約す
ることで、ショットの変化を予測できるので、すべての
ショットを見落とさずに見ることができる。

【０１５３】内容条件を満足するように映像を要約する
ことで、ユーザーは、すべてのショットにおいて、少な
くともその一部分の内容を把握することができる。同じ
内容の部分をまとめたものがショットになっているの
で、すべてのショットの内容を把握できることになる。

【０１５４】ただし、リズム条件を満足しない場合に
は、ショットの変化を予測できないので、ショットの見
落としが発生する。内容条件を満足しない場合には、一
部のショットの内容を把握できない。リズム条件と内容
条件を同時に満足することが望ましい。

【０１５５】さらに、本実施例の部分選択要約映像で
は、時系列のショットの間の相関を用いて、類似ショッ
トを統合してショット群を作成してから、各ショット群
から選択した部分動画像を次々に再生する。この要約映
像を用いることで、できるだけ異なる内容の部分を効率
よく見ることができる。

【０１５６】

【発明の効果】以上のように本発明は、第１に、一定時
間以上にわたって類似した画像が続く時間区間を検出し
て長時間類似区間とみなし、長時間類似区間を相対的に
速く再生することで、映像を短時間で次々に変化させ、
「主観的に再生速度が遅い部分」を消滅させることがで
きる。また、高速で動く物体を含む画像の時間区間を検
出して高速動作区間とみなし、高速動作区間の再生速度
を相対的に遅くすることで、高速で動く物体を消滅さ
せ、「主観的に再生速度が速い部分」を減少させること
ができる。さらに、同じ内容の部分をショットにまとめ
てから、各ショットの表示時間長に下限を設けること
で、各内容を一定時間以上表示させ、「主観的に再生速
度が速い部分」を消滅させることができる。このよう
に、主観的にみて、再生速度が許容範囲内に入るように
しながら映像全体を再生することで、従来法に比べてユ
ーザーの疲労が軽減される。また、被写体の動作を中心
とした内容を把握することができる。

【０１５７】

【０１５８】

【０１５９】

【０１６０】

【０１６１】

【０１６２】

【０１６３】さらに第２に、時系列のショットの間の相
関を用いて、類似ショットを統合してショット群を作成
してから、各ショット群から選択した部分動画像を次々
に再生する。この要約映像を用いることで、できるだけ
異なる内容の部分を効率よく見ることができる。

【図面の簡単な説明】

【図１】本発明の一実施例における映像要約装置の全体
システム図

【図２】同実施例における映像要約装置の動作のフロー
チャート

【図３】同実施例におけるファイル形式による要約映像
の表現の概念図

【図４】同実施例における映像要約処理のフローチャー
ト

【図５】同実施例における長時間類似区間検出処理のフ
ローチャート

【図６】同実施例における部分領域の作成例を示す図

【図７】同実施例における映像のゆるやかな映像変化を
する部分を示す図

【図８】同実施例における高速動作区間検出処理のフロ
ーチャート

【図９】同実施例における画面上の物体が高速に移動す
る場合を示す図

【図１０】同実施例における（６）式のみを用いた画素
の比較を示す図

【図１１】同実施例における（６）、（７）式におけ
る、位置ｐの画素の比較を示す図

【図１２】同実施例における高速動作画素検出を実行す
る領域を示す図

【図１３】同実施例におけるリズム呈示要約処理のフロ
ーチャート

【図１４】同実施例におけるリズム条件を満たす再生方
法の概念図

【図１５】同実施例におけるリズム呈示要約映像の再生
方法の概念図

【図１６】同実施例におけるショット統合処理のフロー
チャート

【図１７】同実施例における類似背景のショットの概念
図

【図１８】同実施例における類似被写体のショットの概
念図

【図１９】同実施例における動領域の概念図

【図２０】同実施例における動領域の概念図

【図２１】同実施例における末尾決定処理の概念図

【図２２】同実施例における部分動画像の加工方法の概
念図

【図２３】同実施例における要約映像再生処理のフロー
チャート

【符号の説明】

１ビデオディスク装置２ＶＴＲ３フレームメモリ４映像圧縮装置５計算機６ファイルサーバー７計算機

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平４−237284（ＪＰ，Ａ) 特開平６−121282（ＪＰ，Ａ) 特開平６−149902（ＪＰ，Ａ) 特開平８−37646（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/91 - 5/956 H04N 7/24 - 7/68 G06T 7/00

Claims

(57)【特許請求の範囲】

【請求項１】要約対象となる映像から、動きの遅い映
像区間は早く再生し、動きの早い映像区間は遅く再生す
る要約方法において、遅い動きの検出は映像の２枚のフ
レーム画像をそれぞれ複数の部分領域に分割し、前記部
分領域の類似度を用いて前記２枚のフレーム画像間の類
似度を計算し、予め決められた時間以上にわたって類似
した画像が続く時間区間である長時間類似区間を検出
し、早い動きの検出は映像の２枚のフレーム画像のそれ
ぞれの注目画素とその周辺からなる各領域から、他の時
間区間に比べて画面上の物体が速く動く時間区間である
高速動作区間を検出することを特徴とする映像要約方
法。
【請求項２】要約対象となる映像から時系列のフレー
ム画像Ｉ_M（Ｍは１以上の自然数）をサンプリングし、
特定フレーム画像Ｉ_N（Ｎは１以上かつＭ未満の自然
数）の中の画素Ｐ_Nと、前記画素Ｐ_Nの周囲の画素との間
の輝度差である第１の輝度差を計算し、前記画素Ｐ
_Nと、次のフレーム画像Ｉ_N+1中で前記画素Ｐ_Nに対応す
る画素Ｐ_N+1の周囲の画素との間の輝度差である第２の
輝度差を計算し、各フレーム画像単位で、前記第１の輝
度差が予め設定したしきい値θ_W1未満となり、かつ、前
記第２の輝度差が前記しきい値θ_W1を越えるような前記
画素Ｐ_Nを求め、前記画素Ｐ_Nを用いて高速動作区間を求
める請求項１記載の映像要約方法。
【請求項３】要約対象となる映像のフレーム画像を複
数のショットに分割し、時系列の前記ショットの間の相
関を用いて類似している前記ショットを統合してショッ
ト群とみなし、前記ショット群から複数の時系列のフレ
ーム画像である部分動画像を選択し、前記部分動画像を
順次再生する映像要約方法。
【請求項４】ショット群に含まれるすべてのショット
から共通する特徴を求め、前記特徴に基づいて部分動画
像を加工し、加工後の部分動画像を順次再生する請求項
３記載の映像要約方法。
【請求項５】ビデオカメラで時間的に連続して撮影さ
れた部分をショットとみなすことを特徴とする請求項３
または４記載の映像要約方法。
【請求項６】シナリオの一つのシーンをショットとみ
なすことを特徴とする請求項３または４記載の映像要約
方法。