JPH0993588A

JPH0993588A - 動画像処理方法

Info

Publication number: JPH0993588A
Application number: JP7250405A
Authority: JP
Inventors: Toshimitsu Kaneko; 敏充金子; Hisashi Aoki; 恒青木
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1995-09-28
Filing date: 1995-09-28
Publication date: 1997-04-04

Abstract

(57)【要約】【課題】本発明は、動画像を意味構成に基づいて時分
割する際の計算負担を軽微にし、そのようにして時分割
された動画像部分を階層的に再構成して表示することに
より、利用者が長時間の動画像の中から目的の場面によ
り容易に到達できるようにすることを課題とする。【解決手段】動画像圧縮時に得られる動きベクトルデ
ータの挙動を解析することで画像内容の変化点を検出
し、動画像を時分割する。さらに時分割した各区間の画
像内容の類似度を計算し、複数の分割区間の関連を階層
的に定義する。利用者は所望の階層を上下させて動画像
内容一覧の情報量を制御したり、画像中から抽出された
登場物体を指示するなどして、目的の場面に到達する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像の圧縮符号
化時に映像カットを自動的に検出し、動画像を分割・階
層化した情報を保持し、表示の際に利用する動画像処理
方法に関する。

【０００２】

【従来の技術】動画像をカットごとに区切っておくこと
により、動画に対する編集や検索を容易にすることが可
能になる。例えば、動画の早見を行う際に、カットの直
後のフレームのみを選択して表示したり、表示を行うか
否かをカットを区切りとして定めておいたりすることが
できる。また、動画に対してキーワードを設定しておく
と、動画の中の一部分だけを見たい場合には結局動画全
体を見なければならなくなってしまうが、カットにキー
ワードを付与しておけば、簡単に動画の中の所望の部分
にすばやくアクセスすることができる。編集時には動画
像の一部分の削除や追加はカットを区切りとして行うこ
とが多いので、動画が初めからカットごとに区切ってあ
れば作業が容易に行える。

【０００３】動画像のカットは動画像の意味的な構造化
にも利用することができる。カットから次のカットまで
の映像は一連の連続した内容を持っており、動画像を構
造化する際にはカットから次のカットまでの映像が動画
像の最小単位となる。動画像の構造化は、動画像の編集
や検索において大変に有意義なことである。例えば、全
ての映像を見ることなく目的に関連した場面のみをすば
やく表示させるために利用できる。また、動画の構造を
視聴者にあらかじめ提示しておくことにより、動画の内
容理解を容易たらしめることもできる。

【０００４】しかしながら、動画をカットごとに区切る
という作業は、作業を行うものにとって大変な負担とな
っています。カットを見つける作業を行うためには、作
業者は常に動画を注視していなければならない。しか
も、映像のカットを発見しても正確なカット点を見つけ
るためには動画の逆再生、低速再生、一時停止などの操
作を駆使しなければならない。このような作業を行うに
は、動画像の再生時間の何十倍もの作業時間を要するこ
とになってしまう。従って、動画のカットごとの区分は
自動化する必要がある。

【０００５】動画の自動カット検出手法はこれまでにも
いくつか考案されている。例えば、連続するフレーム間
の対応する画素の輝度差を求め、フレーム全体の総和を
とり、この総和としきい値との比較によりカットを検出
する手法がある。しかしながら、このような手法は動画
中の背景やオブジェクトといった内容をあまり考慮して
いない。従って、どうしても誤検出や未検出が生じてし
まう。

【０００６】一方、動画中の背景やオブジェクトをはっ
きりと認識することができれば正確にカットの検出がで
きるのであるが、動画の自動内容理解をしようとすると
ばく大な計算時間がかかり、しかも不十分な結果しか得
ることができない。

【０００７】また、従来、動画像は連続するフレーム全
体で一つの単位をなしており、単に一つの動画像を選択
して再生するのが一般的であった。したがって、動画像
中の所望の場面を選択して再生したい場合には、まず、
一本の動画像を選択して再生し、時間的に未来方向、過
去方向に早送りしながら所望の場面まで到達していた。
すなわち、動画像のはじめから、または、たまたま選択
された途中の場面から動画像の時間軸をたどって所望の
場面まで到達していた。また、所望の場面が動画像のど
のあたりにあったかをあらかじめ記憶している場合に
は、その記憶を頼りにして再生開始位置を指定し、到達
するまでの時間を短くするようにしていた。

【０００８】以上は以前見たことのある動画像から所望
の場面を探す場合の手続きであったが、一度も見たこと
のない動画像から利用者が興味のありそうな場面を選択
するためには、動画像のはじめから再生するしかない。
動画を見る時間を短縮するためには、早送り操作を織り
交ぜながら動画像を早見したり、時間的に未来方向また
は過去方向に再生開始場所を適当に飛ばして再生し、興
味のありそうな場面が再生されたら通常の再生速度で再
生し、興味がなさそうな場面であれば再び再生開始場所
を飛ばして次の場面の再生へと移っていた。

【０００９】もう少し効率よく所望の場面を探すための
手法として、動画像をいくつかの場面に分割しておき、
それぞれの場面を代表するフレームを一覧表示するもの
がある。利用者は表示された代表フレームの中から所望
の場面に相当する代表フレームを選択し、その場面から
動画像を再生する。また、まだ見たことのない動画像か
ら利用者の興味のある場面を選択してみる場合には、代
表フレームの一覧を見ることにより動画像の内容をざっ
と見ることができるため、比較的容易に興味のある場面
を予測して、その場面からの再生を行うことができる。

【００１０】昨今の家庭用ビデオカメラの普及、放送メ
ディアの多様化、映像ソフトのレンタルなどにより、一
般家庭においても大量の映像情報を享受できるような環
境になりつつある。さらに、現在各方面で研究開発や実
験が行われているビデオ・オン・デマンド（ＶＯＤ）な
どが実現すれば、扱うことのできる映像の量はますます
増加することは明らかである。

【００１１】一方、家庭向けのパーソナルコンピュータ
の高機能化もめざましく、従来、文字と単純な図形しか
扱えなかったのに対し、最近は音声や映像、あるいは動
画像を表示したり編集したりする機能をもったものも比
較的安価に入手できるようになっている。また、動画像
はコンピュータの記憶領域を大量に占有するが、ＣＤ−
ＲＯＭの大量生産やハードディスクの低価格化、あるい
は記録可能な光ディスクの実現などにより、家庭でも大
量記憶装置を接続するユーザーが増えている。

【００１２】このような環境のもと、パーソナルコンピ
ュータ上、あるいはパーソナルコンピュータ程度の能力
を持った専用ビデオ装置で大量の動画像を処理するよう
なシステムが登場すると考えられる。

【００１３】しかし動画像はそのままでは文書や静止画
と異なり、一覧性がない。つまり、いちどきに動画像の
全体のストーリーを把握することができない。すばやく
内容を把握しようとするとき、私たちはビデオを（画面
を提示させながら）早送りしたり、ある時間間隔でとび
とびに見たりするが、これは全体を把握するには時間を
要する。

【００１４】そこで一連の動画像から、特定の瞬間の画
像を抽出し、それを小画面にして複数枚並べた一覧表
（図２参照）で全体を把握するという方法が考えられる
（参考文献：「認識技術を応用した対話型映像編集方式
の提案」電子情報通信学会論文誌Ｄ−ＩＩＶｏｌ．
Ｊ７５−Ｄ−ＩＩＮｏ．２ｐｐ．２１６−２２５１
９９２年２月）。

【００１５】この「特定の瞬間」とは、５秒、３０秒、
など、画像内容を関知しないものでもよく、画像の変化
点を用いてもよい。画像の変化点には従来「カット」が
用いられてきた。カットは撮影時のカメラ動作が一時停
止した時刻であり、ある瞬間前後の画像を比較して、差
が大きい時にカットが発生したとみなす方法などで自動
検出する技術も発表されている。

【００１６】しかし、映画などの動画像の場合、カット
は平均５秒程度ごとに発生するといわれている。すなわ
ち、自動検出が正確に行われたとすると２時間の映画で
は１４４０回となる。と、なると画面上に１４４０の小
画面が表示されることになり、操作性が著しく低下する
ことは言うを待たない。また、カット時の画像を一覧表
示に用いると、次のカットまでの間に登場して消滅した
オブジェクト（対象物、被写体）は一覧に現れないた
め、こういったオブジェクトを目的として映像の検索を
する事が困難である。

【００１７】

【発明が解決しようとする課題】従来の映像カット自動
検出技術では、前述したような誤検出や未検出が多く発
生してしまう。誤検出や未検出は最終的には作業者によ
って修正されねばならず、結局作業者が動画全般を検査
しなければならなくなり、カット検出を自動化した意味
が半減してしまうという問題がある。また、完全な動画
の自動内容理解を行うことは技術的に不可能である。不
十分な自動内容理解であっても、そのための計算にばく
大な時間がかかってしまい、実際には利用できなくなっ
てしまう。本発明の目的は、以上の問題点を解決し、計
算をあまり複雑にすることなく、自動に、しかも正確に
映像カットの検出を行うことである。

【００１８】従来のような動画像の時間軸をたどりなが
らの検索では、動画像の時間軸上の一点しか利用者が見
ることができないために所望の場面にたどり着くまでの
時間が非常に長くなり、効率的ではない。特に、長い動
画像の場合には顕著である。利用者の記憶を頼りにして
動画像の再生開始位置を指定し、所望の場面を探す場合
にも、利用者の記憶は曖昧で信頼の置けないものであ
り、記憶違いの場合にはかえって検索の効率を悪くして
しまうことさえもある。また、所有している動画像全て
に対してどの場面が動画像のどのあたりに存在していた
かを記憶しておくのは利用者に多大な付加をかけること
になるし、多くの動画像にたいしては全て記憶すること
事態が不可能である。

【００１９】一方、動画像の中から代表フレームを選
び、これを一覧表示して所望の場面を探す手法において
は、動画像の時間軸上の複数の点の映像を同時に見るこ
とができるため、検索の効率は改善されている。しかし
ながら、代表フレームを利用者自身が選択してあらかじ
め登録しておくのは、利用者に負担を強いることにな
る。この負担をなくすために、自動的に動画像の不連続
点（ショットの切れ目）を検出し、それぞれのショット
の中から代表フレームを選ぶ（例えばショットのはじめ
のフレームを選ぶ）手法があるが、編集された映像では
ショットは一般に５秒程度と短いため、表示される代表
フレーム数が多くなってしまうという欠点がある。

【００２０】画面に多くの静止画が一覧表示されると、
かえって動画像の内容がわかりづらくなり、利用者が困
惑してしまう場合がある。また、ときには画面上に表示
しきれなくなり、複数回に分けて表示しなければならな
かったり、一度に表示しようとするために一つの代表フ
レームの表示がきわめて小さくなってしまったりする。
このような場合には、所望の場面の検索効率の改善度が
低下してしまうという問題がある。

【００２１】従来の技術では単にカットを検出し、それ
を小画面として列記するだけであったために、列記の数
が増えることがある、ショット内の画像内容が不明確に
なることがある、などの問題点があった。本発明はカッ
トによって切り分けられた画像の一覧表示の際に、複数
のショットを統合して小画面の列挙を減らすことにより
視認性を高め、また、統合した場合でもショット内の画
像を効率よく把握できるようにすることを目的とする。

【００２２】

【課題を解決するための手段】本願発明は、動き補償を
用いた動画像圧縮時に得られる動きベクトルを、連続す
るフレーム間の動きを表す動きベクトルに修正し、修正
された前記動きベクトルのフレーム内のばらつきの度合
いを生成し、生成された前記ばらつきの度合いが所定の
条件を満たすフレームの間を、動画像のカットとして検
出することを特徴とする。

【００２３】また、フレーム群に分割されている動画像
の任意のフレーム群と他のフレーム群の間の類似度を求
め、求めた前記類似度が所定の条件を満たすときに前記
フレーム群をリンク付け、リンク付けした前記フレーム
群の間を分割することを特徴とする。

【００２４】さらに、フレーム群に分割されてる動画像
の区切られた複数の時間区間を一連として表示し、一連
として表示された前記動画像の時間区間の区切りの位置
を、時刻に対応する位置に表示することを特徴とする。

【００２５】これにより、本発明の動画像処理装置にお
ける自動映像カット検出技術は、動画における背景やオ
ブジェクトの動きを示す動きベクトルの空間的、または
時間的連続性をもとに映像カットの検出を行うので、動
画中の意味情報を生かした正確な映像カット検出が自動
的に行える。また、動き補償を用いた動画像圧縮時に算
出される動きベクトル情報をもとに検出を行うため、カ
ット検出のためのばく大な計算を必要とせず、比較的少
ない計算で実現することができる。

【００２６】また、動画像が細かく分割されているとき
に、これら分割された部分のいくつかをまとめてより大
きく分割された動画像を構成し、それぞれの部分につい
て一つの代表フレーム、もしくはそれに関する情報を表
示することができるので、表示される情報が多くなりす
ぎることがなく、利用者に負担をかけずに検索が行える
ようになる。

【００２７】さらに、利用者がこれら分割を自ら行った
り、代表フレームもしくはそれに関わる情報を一つ一つ
選択していくことが不要であるため、利用者の手を煩わ
せることがない。

【００２８】その上、複数のショットを一括して表示す
るため、カットの多い画像を一覧表示した際にも、一覧
画像の数が増えすぎず、視認性の向上が期待できる。ま
た、このようにして一括しても、ショット内の情報を奥
行きの側面、あるいは奥行きに隣接する位置に表示する
ため、ショットの内容を円滑かつ迅速に把握することが
できると期待できる。

【００２９】

【発明の実施の形態】

（第一の実施例１）以下、本発明の実施例を図に基づい
て説明する。図１は本発明を実現するためのブロック構
成の一実施例である。

【００３０】図１において映像入力端子１から、映像信
号は入力される。ＤＣＴ部２は、入力された映像信号と
動き補償部６により予測された映像信号との差分映像信
号をある決められたブロック単位に分割し、離散コサイ
ン変換（ＤＣＴ）を行う。離散コサイン変換により差分
映像信号は少ない低域係数に集中するため、画像の空間
的情報量が削減される。

【００３１】量子化部３は、離散コサイン変換された差
分映像信号を量子化する。量子化により離散コサイン変
換された差分映像信号全体が少ない数の集合で表現され
るため、符号量が減らされる。

【００３２】可変長符号化部４は、量子化された差分映
像信号を異なる長さの信号の集合で表現することによ
り、統計的に平均情報量の削減を行う。圧縮映像出力端
子１１は、圧縮された映像信号が出力される。

【００３３】逆量子化部５は、量子化部３と逆の信号変
換を行う。ＤＣＴ部２の出力信号と逆量子化部５の出力
信号とは、量子化誤差の分だけ異なっている。逆ＤＣＴ
部８は、ＤＣＴ部２と逆の信号変換を行い、離散コサイ
ン変換された差分映像信号を元の信号に復元する。ただ
し、復元された信号は誤差を含んでいる。

【００３４】フレームメモリ７は、逆ＤＣＴ部８により
復元された差分映像信号と動き補償部６の出力映像信号
とを加算した映像信号をフレーム単位で数フレーム分記
憶しておくメモリである。

【００３５】動きベクトル検出部９は、フレームメモリ
７に記憶されている映像信号と新たに映像入力端子１か
ら入力される映像信号とを比較し、二つの映像間の動き
ベクトルを検出する。すなわち、新たに入力された映像
のフレームを所定のブロックに分割し、それぞれのブロ
ックが、もう一方のフレームメモリに記憶されたフレー
ム映像中のどの部分に移動したかを検出し、その移動ベ
クトルをブロックの動きベクトルとする。

【００３６】動きベクトルの検出方法としては、二つの
ブロック間の類似度を定義し、最も大きい類似度を与え
る移動ベクトルをブロックの動きベクトルとしている。
これはフレーム単位ではなく、フィールド単位で行われ
てもよい。動きベクトルは１フレームの映像につき、フ
レーム中のブロックの数だけ検出される。

【００３７】動き補償部６は、フレームメモリに記憶さ
れた映像を動きベクトル検出部９において検出された動
きベクトル分だけブロックごとに移動させて映像を構成
する。このようにして構成された映像は予測映像として
出力される。

【００３８】映像カット検出部１０は、動きベクトル検
出部から出力される動きベクトルからフレーム間の変化
量を算出して映像のカット情報を出力する。映像カット
情報の出力端子１２である。以下では、映像カット検出
部１０の構成および動作をより詳細に説明する。

【００３９】図２は映像カット検出部１０のブロック図
である。動きベクトル修正部２１は、動きベクトル検出
部９から出力された動きベクトルを修正し、連続するフ
レーム間の動きベクトルを算出する。

【００４０】映像変化量算出部２２は、動きベクトル修
正部２１から出力された連続する２フレーム間の動きベ
クトルから、これら２フレーム間の映像の変化量を算出
する。

【００４１】映像変化量メモリ２４は、映像変化量算出
部２２の出力である映像変化量を数フレーム分記憶して
おくためのメモリである。しきい値算出部２５は、映像
変化量メモリに記憶された過去数フレーム分の映像変化
量からしきい値を算出し、比較部２３へ出力する。

【００４２】比較部２３は、映像変化量算出部２２から
出力された映像変化量としきい値算出部２５から出力さ
れたしきい値との比較を行い、フレーム間にカットがあ
ったか否かを判定し、映像カット情報として出力する。

【００４３】以下、さらに詳細に映像カット検出部の動
作を説明する。まず、映像変化量算出部の動作を説明す
る。動きベクトル修正部２１から出力された動きベクト
ルは連続する２つのフレーム間の動きベクトルに修正さ
れている。これを修正動きベクトルと呼ぶことにする。
修正動きベクトルは、１つのフレームあたり、動きベク
トルを求める際にフレームを分割したブロックの数だけ
存在している。これら複数存在する修正動きベクトル
を、さらに適当な大きさのブロックに分割する。図３は
３×３の動きベクトルのブロックに分割した例を示して
おり、３１は動きベクトルを求める際に分割された１ブ
ロック、３２は１フレーム中の動きベクトルを分割した
ブロックである。以下、１フレーム中の動きベクトルを
分割したブロックを動きベクトルブロックと呼ぶことに
する。

【００４４】フレームｔの動きベクトルブロックＢｔ
（ｉ）、ｉ＝１、２、・・・、ＮＢとする。ＮＢは１フ
レーム中の動きベクトルブロック数部ある。それぞれの
動きベクトルブロックの映像変化量Δｔ（ｉ）を

【００４５】

【数１】として求める。ただし、Δ+t（ｉ）しか存在しない場合
にはΔｔ（ｉ）＝Δ+t（ｉ）とし、Δ-t（ｉ）しか存在
しない場合にはΔｔ（ｉ）＝Δ-t（ｉ）として求めるも
のとし、Δ+t（ｉ）、Δ-t（ｉ）は

【００４６】

【数２】のように求めるものとする。ここで、ｖ+t（ｊ）、ｊ＝
１、２、・・・、Ｎｎはフレームｔの順方向の修正動き
ベクトル、ｖ-t（ｊ）、ｊ＝１、２、・・・、Ｎｎはｎ
は動きベクトルブロック内の逆方向の修正動きベクトル
数であり、後に説明する。ｖ+t（ｊ）またはｖ-t（ｊ）
に常に定義されているとは限らず、定義されていない場
合にはΔ+t（ｉ）またはΔ-t（ｉ）は存在しないものと
する。また、ｖ+t,i、ｖ-t,iはＢt(i)に含まれる修正動
きベクトルの平均ベクトルで、

【００４７】

【数３】により求められる。動きベクトルブロックの変化量から
フレーム単位の映像変化量Δt を

【００４８】

【数４】として求める。

【００４９】動きベクトルブロックの変化量Δｔは、動
きベクトルブロック内に含まれる修正動きベクトルのば
らつきを示す量である。図４はフレームｔおよび一つ前
のフレームｔ−１が連続した映像の場合の修正動きベク
トル、図５はフレームｔ−１とフレームｔとの間に映像
カットがあった場合の修正動きベクトルの例を示してい
る。映像カットがなく連続した映像の場合には、映像内
の背景やオブジェクトはほぼ同じ修正動きベクトルを有
するため、動きベクトルブロックの変化量Δｔ（ｉ）は
小さな値を示す。一方、フレームｔ−１とフレームｔと
の間に映像カットがあった場合には、修正動きベクトル
はもはや意味を持たず、相関のない映像間の動きベクト
ルを無理やり求めるために動きベクトルブロックの変化
量Δｔ（ｉ）は大きな値を示す。このような理由によ
り、動きベクトルブロックごとの変化量Δｔ（ｉ）の総
和Δｔは、フレームｔ−１とフレームｔの間に映像カッ
トが存在する場合に大きな値、存在しない場合には小さ
な値を得るため、Δｔを利用して映像カットを検出する
ことができる。

【００５０】映像カットの判定は比較部２３において行
われる。比較部２３は映像変化量算出部２２から出力さ
れるフレームごとの映像変化量としきい値算出部２５か
ら出力されるしきい値との比較を行い、図９に示すよう
にしきい値の方が大きい場合に映像カット信号を出力す
る。

【００５１】しきい値算出部２５はしきい値を算出する
ブロックであるが、しきい値は映像変化量メモリ２４に
記憶された所定フレーム分の映像変化量を参照して、様
々な方法で計算される。例えば、最も単純なしきい値算
出方法はしい値を定数とする方法である。このような場
合には、映像変化量メモリ２４は取り除くことができ
る。また別の例としては、映像変化量メモリ２４に記憶
された映像変化量の平均値を求め、平均値の定数倍の値
をしきい値とする方法がある。

【００５２】さらに別の例としては、映像変化量メモリ
２４に記憶された映像変化量の平均μと分散σ２を求
め、しきい値をμ＋ｃσ２に設定する。ここでｃはあら
かじめ決められた定数である。また別の方法としては、
映像変化量メモリ２４に記憶された映像変化量の最大値
と最小値との差分をＲ、ｃ′を正の定数として、しきい
値をμ＋ｃ′Ｒとする方法などがある。

【００５３】動きベクトル修正部２１は先に述べたとお
り、動きベクトル検出部９から出力される動きベクトル
を修正し、連続するフレーム間の動きベクトルを算出す
るためのブロックである。図６は動き補償を使った画像
圧縮におけるフレームと検出される動きベクトルの関数
を示したものである。図中、双方向フレーム内符号化画
面５１、フレーム間予測符号化画面５２、５３はフレー
ム内符号化画面である。

【００５４】このようなフレーム構成の場合には、動き
ベクトル検出部９は図６中の矢印のフレーム間に対して
のみ、動きベクトルが求められる。従って、任意の連続
するフレーム間の動きベクトルは直接得ることはできな
い。そこで、動きベクトル修正部２１は以下のように連
続するフレーム間の動きベクトルを２通りの方法で求め
る。

【００５５】まず、フレームｔの順方向の動きベクトル
をｕ+t（ｉ）、ｉ＝１、２、・・・、Ｎｎとする。この
とき、フレームｔの順方向の修正動きベクトルｖ+t
（ｊ）は、フレームｔとフレームｔ−１の順方向の動き
ベクトルの差分ベクトルとしてｖ+t（ｊ）＝ｕ+t（ｉ）
−ｕ+t-1（ｉ）を求める。図７は順方向の修正動きベク
トルを図示したものであり、図中６１はフレームｔおよ
びフレームｔ−１、６２は順方向の動きベクトルｕ+t-1
（ｉ）、６３は順方向の動きベクトルｕ+t（ｉ）、６４
は順方向の動きベクトルｖ+t（ｊ）である。ただし、フ
レームの構成によっては順方向の動きベクトルｕ+tやｕ
+t-1（ｉ）が存在しないことがあるが、ｕ+t-1（ｉ）が
存在しない場合にはｕ+t-1（ｉ）をゼロベクトルとして
取り扱い、また、ｕ+t（ｉ）が存在しない場合にはｖ+t
（ｊ）を定義しないものとする。フレームｔの逆方向の
修正動きベクトルを求める場合も、順方向の修正動きベ
クトルを求める場合とほぼ同様である。フレームｔの逆
方向の動きベクトルｕ-t（ｉ）、ｉ＝１、２、・・・、
Ｎｎとする。フレームｔの逆方向の修正動きベクトルｖ
-t（ｊ）は、フレームｔとフレームｔ−１の逆方向の動
きベクトルの差分ベクトルｖ-t（ｊ）＝ｕ-t-1（ｉ）−
ｕ-t（ｉ）として求める。

【００５６】図８は逆方向の修正動きベクトルを図示し
たものであり、６５は逆方向の動きベクトルｕ-t
（ｉ）、６６は逆方向の動きベクトルｕ-t-1（ｉ）、６
７は逆方向の修正動きベクトルｖ-t（ｊ）である。ｕ-t
（ｉ）が存在しない場合にはｕ-t（ｉ）をゼロベクトル
として取り扱い、また、ｕ-t-1（ｉ）が存在しない場合
にはｖ-t（ｊ）を定義しないものとする。

【００５７】このように順方向、逆方向の二つの修正動
きベクトルを生成することにより、順方向、または逆方
向の一方の動きベクトルが映像カットの影響を受けてい
る場合でも、もう一方の動きベクトルから映像カットの
影響を受けない修正動きベクトルを生成することができ
る。その結果、映像カットの誤検出を低減させることが
可能となる。

【００５８】比較部２３から出力された映像カット信号
は、映像信号と関連づけて記録される。映像再生の際に
映像カット信号を検出することによりカットごとに映像
の頭出しをしたり、また、キーワードと映像カットの生
じたフレームとを関連づけて記録しておき、カットごと
のキーワード検索を行うことなどに利用できる。

【００５９】（第一の実施例２）次に、第一の実施例と
構成は同じであるが、映像変化量算出部２２における映
像変化量の算出方法において、異なる算出方法を用いた
実施例を説明する。

【００６０】まず、映像変化量算出部２２では、動きベ
クトル修正部２１からの出力である修正動きベクトルか
らフレームｔの順方向の修正動きベクトルの差分ベクト
ルｗ+t（ｊ）、ｊ＝１、２、・・・、Ｎｎ、および逆方
向の修正動きベクトルの差分ベクトルｗ-t（ｊ）、ｊ＝
１、２、・・・、Ｎｎを以下のように求める。

【００６１】

【数５】第二の実施例におけるフレームの映像変化量は、ｗ+t
（ｊ）およびｗ-t（ｊ）を利用して算出される。例え
ば、フレームｔの映像変化量δt を

【００６２】

【数６】として算出する。ｖ+t-1（ｊ）が定義されていないとき
にはｖ+t-1（ｊ）はゼロベクトルとして取り扱われ、ｖ
+t（ｊ）が定義されていないときにはｗ+t（ｊ）も同様
に定義されないものとする。同様に、ｖ-t+1（ｊ）が定
義されていないときにはｖ-t+1（ｊ）はゼロベクトルと
して扱われ、ｖ-t（ｊ）が定義されていないときにはｗ
-t（ｊ）は定義されないものとする。

【００６３】δｔは動きベクトルの時間的な変化が小さ
いときに小さな値を取り、時間的な変化が大きいときに
大きな値を取る。すなわち、映像中の背景やオブジェク
トの動きがなめらかか否かの度合いを示している。フレ
ームｔとフレームｔ−１との間に映像カットが存在する
場合には背景やオブジェクトの動きがなめらかでなくな
り、その結果動きベクトルの時間的な変化が大きくな
る。従ってδｔが大きな値を示すことになり、第一の実
施例と同様の方法でしきい値算出部２５において算出さ
れたしきい値との比較を行うことにより、映像カットを
検出することができる。

【００６４】（第一の実施例３）本発明の別の実施例
は、図１０のブロック図のごとく構成されることにより
実現される。１から９までのブロックは図１中のそれと
全く同一のものである。８１は映像カット検出部１０と
は別の構成からなる映像カット検出部である。第一、第
二の実施例と異なる点は、映像信号が直接映像カット検
出部８１に入力される点である。以下で映像カット検出
部８１の動作を説明する。

【００６５】図１１は映像カット検出部８１の構成を示
すブロック図である。動きベクトル修正部２１は図２に
おけるそれと同一のものである。第一の映像変化量算出
部９１は、第一の実施例または第二の実施例で説明した
映像変化量算出部であり、第一の実施例における映像変
化量Δｔまたは第二の実施例における映像変化量δｔを
第一の映像変化量として出力する。

【００６６】第二の映像変化量算出部９２は、映像信号
から第二の映像変化量ｄｔを算出する。具体的な算出方
法としては、例えば（「輝度情報を使った動画ブラウジ
ング」、大辻・外村・大庭、電子情報通信学会技術報告
書、ＩＥ９０−１０３、１９９１）に記されているよう
に連続するフレーム間の画素単位の輝度差の総和を映像
変化量とする方法や、（「動画像データベースハンドリ
ングに関する検討」、外村・安部、電子情報通信学会技
術報告書、ＩＥ８９−３３、１９８９）に記されている
ように、フレームごとに輝度ヒストグラムを求め、連続
するフレーム間で輝度ヒストグラムの差分の和を映像変
化量とする方法や、さらに（「カラービデオ映像におけ
る自動索引付け方と物体探索法」、長坂・田中、情報処
理学会論文誌、ｐｐ。５４３−５５０、１９９２）に記
述されているように連続する二つのフレーム映像のＲＧ
Ｂ信号に対して統計的処理に用いられるカイ二乗統計量
を求め、映像変化量とする方法などがある。第二の映像
変化量算出部９２は、これらの手法を使って求められた
映像変化量を第二の映像変化量として出力する。

【００６７】映像変化量メモリ９３は第一の映像変化量
および第二の映像変化量を定められたフレーム分記録し
ておくメモリである。しきい値算出部９４は映像変化量
メモリ９３に記録された数フレーム分の第一、および第
二の映像変化量から第一および第二の映像変化量に対す
るしきい値を算出する。

【００６８】しきい値算出の手法としては、第一の実施
例において説明したように、しきい値を定数としておく
方法や、映像変化量メモリ９３に記憶された過去の映像
変化量の平均値、分散、最大値と最小値との差分により
算出するなどの方法を使うことができる。しきい値の算
出方法は第一の映像変化量と第二の映像変化量に対して
独立に行ってよい。

【００６９】判定部９５は第一の映像変化量算出部９１
から出力された第一の映像変化量としきい値算出部９４
から出力された第一の映像変化量に対するしきい値とか
ら、第一の映像変化量による映像カット検出を行う。さ
らに第二の映像変化量算出部９１から出力された第二の
映像変化量としきい値算出部９４から出力された第二の
映像変化量に対するしきい値とから、第二の映像変化量
による映像カット検出を行う。そして二つの検出結果か
ら最終的な映像カットの判定を行う。この判定方法とし
ては、例えば、二つの検出結果がともに映像カットであ
った場合にのみ最終的に映像カットであると判定する方
法や、どちらかの検出結果が映像カットであれば最終判
定を映像カットとする方法などがある。

【００７０】（第一の実施例による効果）本発明の動画
像処理装置における自動映像カット検出技術は、動画に
おける背景やオブジェクトの動きを示す動きベクトルの
空間的、または時間的連続性をもとに映像カットの検出
を行うので、動画中の意味情報を生かした正確な映像カ
ット検出が、自動的に行うことを可能とする。また、動
き補償を用いた動画像圧縮時に算出される動きベクトル
情報をもとに検出を行うため、カット検出のためのばく
大な計算を必要とせず、比較的少ない計算で実現するこ
とを可能にする。

【００７１】（第二の実施例１）図１３は本発明の動画
像処理装置の第二の実施例１の構成を表した図である。
各部ロックの役割を簡単に説明しておく。図１３におい
て、１０１は映像取り込み部で、動画像データ入力端子
１００から入力された動画像データを記憶部１０４に記
憶するのに都合の良いデータに変換する。また、データ
圧縮もここで行われる。入力データがアナログ信号であ
る場合にはアナログ／ディジタル変換も施される。１０
２はカット検出部で、映像不連続点（以下カットと呼
ぶ）の検出を行う。カットとカットの間は一つのショッ
トを構成している。カットの検出はすでに記憶部１０４
に蓄積されている動画像データに対して行う場合と、動
画像データ入力端子１００に入力されたデータを取り込
みながら行う場合とがある。カットの検出には、フレー
ムごとの輝度の分布や色の分布などの変化、また、動画
像データ圧縮時に求められるパラメータ等が利用され
る。具体的には、「映像カット自動検出方式の検討」
（大辻、外村、テレビジョン学会技術報告、ｖｏｌ。１
６、Ｎｏ。４３、ｐｐ。７−１２、１９９２）で検討さ
れている各種手法が適用できる。カット検出の結果は動
画像のカット情報として動画像データとともに記憶部１
０４に蓄積される。

【００７２】類似画像検索部は、動画像の中の１フレー
ムをキー映像として保持し、他のフレームとの類似度を
計算する。あらかじめ定められた値以上の類似度を持つ
フレームが検出されたときには、その旨を示す信号をリ
ンク生成部１０８及びシーン情報生成部１０６に送る。
リンク生成部１０８は類似画像検索部１０７からの信号
を受け、類似度したフレーム間に関連のあることを示す
リンクを生成する。このリンクはフレーム間に限らず、
カット情報により分割されたショット単位のリンクも生
成する事ができる。リンク情報は記憶部１０４に蓄積さ
れる。シーン情報生成部１０６は類似画像検索部１０７
からの信号を受け、類似したフレームまたはショットを
境にしてその間のショット群を同一のシーンであると定
義し、その情報を動画像データとともに記憶部１０４に
蓄積する。

【００７３】表示画像検索部１０５は利用者の指示によ
って、表示部１０３に表示すべき映像を記憶部１０４か
ら検索し、表示させる。一つのシーンごとに代表フレー
ムを一つ検索し、全てのシーンの代表フレームを表示さ
せたり、利用者によって一つのシーンが選択された場合
にはそのシーンに含まれるショットに関して、各ショッ
トを代表するフレームを表示させたりすることができ
る。

【００７４】以下、具体的な例を用いてさらに詳しく説
明する。記憶部１０４には動画像データが蓄積されてお
り、この動画像はすでにカット検出部１０２によりカッ
トの検出がなされ、ショットに分割するための情報を持
っている。利用者は、動画像をどのような画像でシーン
に分割するかを選択する。

【００７５】例えば、スキーのジャンプ競技の映像に対
して、各選手のジャンプごとにシーンに分割したいと考
えているとする。このような場合には、各選手のスター
ト場面の映像を一つ選択しておく。類似画像検索部１０
７は選択された画像と他のフレームとの類似度を計算す
る。類似度の計算方法としては、最も簡単な例として
は、二つの画像の対応する位置の輝度や色の差の総和を
求める方法、二つの画像の輝度または色のヒストグラム
の差分和を求める方法などがある。このとき、利用者が
類似度の計算方法のパラメータを入力できるようにして
置いても良い。例えば、スキージャンプのスタートのシ
ーンでは、背景はほとんど変わらずに選手の服の色、柄
だけが主に変化するので、選手の移っている領域は類似
度の計算に含めないように指定することができる。

【００７６】利用者は動画像処理装置に行わせる処理を
指示する際、キーボードやマウス等の入力装置を用いる
が、これは図１３には省略してある。図１４で説明され
るように、フレーム２０１を選択してシーンの分割を行
うと、類似画像としてフレーム２０５、フレーム２０６
等が類似画像検索部１０７により検出される。シーン情
報生成部１０６は、類似していると判定されたフレー
ム、またはこれらフレームを含むショットを境にして複
数のショットをシーンに分ける。例えば、二つの類似し
たフレーム２０１、２０５の間のショット２０７、２０
８、２０９、２１０が同一のシーンであると判定する。
ショット２０７からショット２１０までが同一のシーン
であるという情報は動画像データとともに記憶部１０４
に蓄積される。また、類似画像検索のキーとなったフレ
ームと、検索された類似画像はそれぞれのフレームの含
まれているシーンの代表フレームとしてシーン情報に登
録される。シーン情報は実際にはシーンのはじめ、終わ
りのタイムコード、フレームナンバー、ショットナンバ
ー、記憶アドレス、また、フレーム数やシーンの長さの
全てまたは一部によって記述される。

【００７７】また、類似した画像であるフレーム２０
１、フレーム２０５、フレーム２０６等には、リンク生
成部１０８により類似画像であるという関連が定義され
る。すなわち、これらのフレーム（もしくはフレームを
含むショット）の間にリンクが張られる。リンク情報も
シーン情報と同様、関連づけられたフレームのタイムコ
ード、フレームナンバー、ショットナンバー、記憶アド
レスなどの一部または全てにより記述される。

【００７８】検索の際にはシーン情報、リンク情報を利
用してシーン単位での動画像の一覧ができる。例えば、
利用者がシーン単位の一覧表示を行うよう指示を入力す
ると、それぞれのシーンの代表フレームが図１５のよう
に一覧表示される。このとき、各シーンを代表するフレ
ームは、動画像データとともに蓄積されているシーン情
報、リンク情報を読み出し、はじめのシーンの代表フレ
ームおよびりこのフレームに関連の定義されているフレ
ームを次々に表示させていくことにより実現する事がで
きる。

【００７９】利用者が図１５で表示されている代表フレ
ームのどれかを指示すると、その代表フレームに対応す
るシーンの再生が開始される。所望の場面がどの代表フ
レームと対応しているかを確認する際や、実際に所望の
場面を見る場合にこのような操作を行う。

【００８０】また、シーンの中に含まれるより短い場面
を検索しているような場合には、シーン単位の代表フレ
ーム一覧表示ではなく、あるシーンの中のショット単位
の代表フレーム一覧表示に切り替えることができる。そ
のためには、利用者はショット単位の一覧表示を行う旨
の指示と、ショット単位の表示を行うシーンの指定とを
装置に対して行う。このような指示が行われると、動画
像データとともに蓄積されているカット検出の結果情報
を読み出し、カットにより区切られるショットごとに代
表フレームを一覧表示させる。ショットの代表フレーム
はあらかじめ利用者によって登録されたものや、単にシ
ョットの先頭のフレームを選ぶ方法などが選択できる。
図１６は図１５で表示されたシーンの代表フレームのう
ちの一つを選択し、対応するシーンの中のショットの一
覧表示を行ったときの表示例である。表示されているシ
ョットの代表フレームを選択すると、そのショットに対
応する場面からの再生が開始される。

【００８１】以上ではシーンの代表フレーム一覧から一
シーンを選択し、そのシーンに含まれるショットの代表
フレームを一覧させていたが、逆にショットの一覧を行
った後、シーンの一覧に切り替えることもできる。

【００８２】例えば、はじめに全てのショットの代表フ
レームの表示を行ったが、表示されたフレームの数が多
すぎるといった場合に、フレームの表示への変更を指示
することができる。

【００８３】スキージャンプ競技の映像においては、選
手のスタートシーンを類似画像検索のキー映像とするこ
とにより動画像全体を選手ごとの競技シーンに分割する
ことができた。本実施例で説明される発明は、このよう
に類似したシーンが繰り返し含まれ、しかもその一回の
繰り返しを一つのシーンとしたいときに特に効果があ
る。相撲のたちあい場面をキーにしてシーンを区切れば
一つ一つの取り組みがシーンとして分割されるし、短い
ＴＶ番組をいくつか連続して一つの動画像データとして
いる場合には、番組の始めの場面をキーとして分割する
ことにより、シーンと一回の番組が対応する。

【００８４】また、シーン分割後に数シーンに一度しか
出てこないような場面を類似画像検索のキー映像として
選択し、複数のシーンをまとめるような分割を行い、さ
らに階層化されたシーンの構造を作ることも可能であ
る。このとき、一覧表示されたシーンの代表フレームの
うちの一つを選択すると、そのシーンに含まれる一つ下
の階層のシーンの代表フレームの一覧表示が行える。こ
のように、動画像の内容、長さに応じて動画像をシーン
に分割し、効率よく所望の場面を検索することができ
る。

【００８５】以前に見た動画像の中から所望の場面を検
索する場合だけでなく、初めて見る動画像の中から興味
のありそうな場面を選択する場合にも、上記のような一
覧表示は有効である。ショットの一覧表示だけでなくシ
ーンという一つ上の階層での表示ができるため、利用者
が動画像の内容を理解しやすいフレーム数で一覧表示す
ることができる。

【００８６】（第二の実施例２）次に、本発明の第二の
実施例２を説明する。本発明の第二の実施例１では、類
似画像検索部１０７で検索のキーとする映像は利用者に
より指定されていた。本実施例では、利用者がわざわざ
キーとなる映像を指定することなく、動画像をシーンに
分割し、この分割情報を元に所望の場面を効率よく検索
する方法について説明する。

【００８７】記憶部１０４に記憶された動画像データ
は、すでにカット検出部１０２によりカットの検出が行
われ、カット情報が付与されているものとする。利用者
によるキー映像の選択が行われない場合には、類似画像
検索部１０７はカット情報により分割された動画像の各
ショットごとにキー映像となるフレームを順次選択して
いく。例えば、各ショットの先頭のフレームを順次キー
映像として選択していく。類似画像検索のキーとなる映
像が選択された後の処理は、第一の実施例で説明したの
と同様である。類似していると判定されたフレームで区
切られるショットの集合はシーン情報生成部１０６によ
りそれぞれシーンとしてまとめられ、シーン情報として
動画像データとともに記憶部１０４に記憶される。類似
したフレームの間にはリンク生成部１０８により関連が
定義され、リンク情報は記憶部１０４に記憶される。

【００８８】一つのキー映像に対し、類似画像の検索、
フレーム情報の生成・蓄積、リンク情報の生成・蓄積が
終了すると、次のキー映像に対して同様の処理を行う。
このとき、図１７で説明されるように、キー映像をどの
映像にしたかにより、複数の種類のシーンが生成され
る。図１７中、３０３はフレーム３０１の類似画像に張
られた類似画像を示すリンク、３０４はフレーム３０２
に張られた類似画像のリンクである。また、３０５はフ
レーム３０１をキー映像としてシーン分割したときの一
つのシーンを表し、３０６はフレーム３０２をキーとし
たときの一つのシーンを表す。このように、それぞれの
シーン情報はキー映像と関連づけて記録されねばならな
い。

【００８９】類似画像検索部１０７は全てのショットか
ら選択されたキー映像を検索キーとして類似画像検索を
行う必要はない。動画像のはじめのショットから順次キ
ー映像を選んでいき、途中キー映像として選ばれたショ
ットに類似した画像が存在する旨のリンクがすでに張ら
れている場合には、これをキーとして類似画像の検索お
よびシーンへの分割を行う必要はない。それまでに行っ
たシーン分割の中に同じ結果が得られているはずだから
である。

【００９０】以上の手続きによって、複数のシーンへの
分割情報が動画像データとともに蓄積されることになる
が、これを利用した所望の場面検索を行うためには、ま
ず類似画像検索を行った際のキー映像の選択を行う必要
がある。このためには、利用者はキー映像の一覧表示を
行う旨の指示を入力してキー映像一覧表示を行い、その
中から望みのキー映像を選択すればよい。例えば、図１
５はスキージャンプのスタート時のフレームをキーとし
て選択したときのシーン一覧であるが、飛躍中のフレー
ムをキーとして選択したときには各選手の飛躍中のフレ
ームが代表として一覧表示されることになる（ただし、
代表フレームはシーンのはじめのフレームが選ばれてい
るとき）。このように、好みのフレームをキー映像とし
て選択することにより、異なったシーンの分割、表示が
行える。

【００９１】（第二の実施例３）以下、本発明の実施例
を図を用いて詳細に説明する。第二の実施例１，２では
類似したフレームによって区切られるショットの集まり
をシーンとして一つにまとめていた。本発明の第二の実
施例３はこれとは異なり、類似したショットを同一のシ
ーンとしてまとめていく。第二の実施例３を実現するた
めの構成ブロック図はやはり図１３で与えられる。しか
しながら、シーン情報生成部１０６及び類似画像検索部
１０７の働きが第二実施例１，２とは異なっている。

【００９２】本実施例においては、類似画像検索部１０
７は動画像のショットとショットの間の類似度を計算す
る。このとき、比較される二つのショットはあらかじめ
定められたショット間隔以内のもの、もしくは、あらか
じめ定められた時間間隔以内のものに限定される。上記
の二つのショットの類似度計算は、定められたショット
間隔以内に存在する、もしくは定められた時間間隔以内
に存在する全てのショットの組み合わせについて全て求
める必要はなく、どこかしらのシーンに含まれたショッ
トは次々に対象から取り除いていっても良い。このよう
にした方が計算時間を少なくすませることができる。類
似度は、例えば、同一のショットに含まれるフレームの
平均画像を求め、二つの平均画像の相関値や差分を求め
る方法、それぞれのショット内のフレームの色ヒストグ
ラムの差分値の和をとる方法などがとられる。相関値が
あらかじめ定められたしきい値よりも大きなショット同
士は、同一のシーンに含まれるものとされる、シーン情
報生成部１０６は類似画像検索部１０７からの類似した
フレームの情報を受け、類似したショットが同一のシー
ンである旨のシーン情報を生成し、動画像データととも
に記録装置１０４に記録する。シーン情報は具体的には
シーンナンバー、シーンに属するショットナンバー、も
しくはフレームナンバー、アドレス、タイムコード等に
よりなる。

【００９３】例えば、室内で撮影されたシーン（ショッ
トの集まり）に続いて屋外で撮影されたシーンが続いて
いる場合、明るさなどの映像の特徴がどちらのシーンで
あるかにより変わっている。従って、適当に類似度のし
きい値を設定することにより、ショットがどちらのシー
ンに属しているのかを判定することができる。図１８は
シーン分割の模様を示した説明図である。ショット４０
１をキーとして計算した他のショットとの類似度が４０
７である。ショット４０２〜４０５は類似度がしきい値
４０８を越えているので同一シーンと判定されるが、シ
ョット４０６以降は類似度がしきい値よりも低いため、
同一のシーンではないと判定される。

【００９４】シーン情報が生成された後は、第二の実施
例１と同様に、シーンごとに代表フレームを表示させ、
利用者がこれら表示されたフレームの中から一つを選択
することにより、動画の再生やシーン内のショット一覧
表示を行うことができる。

【００９５】（第二の実施例４）本発明の第二の実施例
４は、図１９のブロック図のごとく構成することにより
実現される。文字・シンボル検出部５０１は、動画像中
に含まれる文字・シンボルの検出を行う。検出の手法と
しては、例えば情報処理学会第４８回前期全国大会１Ｍ
−５や同１Ｔ−７に報告されている手法が適用されう
る。検出は、動画像を映像取り込み部１０１で取り込み
ながら行う場合と、すでに記憶部１０４に取り込まれた
動画像データに対して行う場合とがある。文字またはシ
ンボルが含まれていると判定された場合には、フレーム
情報、文字列が認識可能である場合には認識された文字
列情報、また、認識が不可能な場合には単に文字列が含
まれているという情報、及びフレーム中の文字・シンボ
ルの位置、フレームナンバーなどの文字・シンボル情報
が動画像データとともに記憶部１０４に記憶される。

【００９６】文字画像検索部５０３は動画像の中から特
定の文字・シンボルに関する条件を満たすフレームを検
出する。また、代表フレーム情報生成部５０２は文字画
像検索部５０３から送られてくる検索結果から動画像を
代表するフレームに関する情報を生成し、動画像データ
とともに記憶部１０４に記憶させる。以下、これらの処
理の流れを詳細に説明する。

【００９７】例として、ニュース番組の映像が動画像デ
ータとして記憶部１０４に取り込まれているものとす
る。この動画像データはすでにカット検出部１０１によ
りカット情報が付与されている。さらに、文字・シンボ
ル検出部５０１により文字・シンボルの含まれているフ
レームが検出され、文字・シンボル情報が動画像データ
とともに保持されている。利用者が動画像中の所望の場
面を探す際には、カットとカットとにより分割されたシ
ョットごとに代表フレームをあらかじめ定められた方法
で選び（例えばショットの先頭のフレームを選ぶ方法
や、第五の実施例にｈで説明される方法）、一覧表示さ
せ、その中から選択することができる。しかしながら、
一動画中のショット数は大変多いため、これらを一覧表
示する場合には何度かに分けて表示したり、代表フレー
ムを小さくして表示しなければならない。

【００９８】このような場合に、本実施例の動画像処理
装置では、まずすでに選ばれている代表フレームのうち
文字情報が含まれているフレームだけを文字画像検索部
５０３が選択する。これは動画像データとともに記録さ
れている文字・シンボル情報を参照することにより、容
易に選択できる。そして、選択された代表フレームだけ
を一覧表示する。ニュース番組では、ニュースの話題が
変わったときにテロップ等の文字情報として動画中にイ
ンポーズされていることが多い。

【００９９】そのため、代表フレームの中から文字情報
を含むフレームだけを代表として表示させると、一度に
表示される代表フレームの数を少なくすることができる
だけでなく、内容のわかりやすいフレームを選択した一
覧表示が可能である。このとき、文字を認識することが
可能であったならば、代表フレームではなく認識された
文字列を一覧表示して利用者に選択させる方法をとるこ
ともできる。

【０１００】一覧表示したフレームもしくは文字列が利
用者により選択されると、対応する場面から動画像を再
生する。もしくは、選択されたフレームもしくは文字列
とその次に表示されているフレームもしくは文字列との
間に存在している代表フレームの表示を行う。はじめ
に、文字列を含む代表フレームのみの表示で大まかに場
面を選択しておき、次に代表フレームの表示で細かに場
面を指定する事により、効率よく所望の場面を検索でき
る。

【０１０１】文字画像検索部５０３には利用者の指示に
より、動画像に含まれている文字・シンボル情報のう
ち、所望のものだけを検索する昨日を持たせることがで
きる。例えば、文字・シンボルの出現位置や種類を指定
することができる。例えば、ボクシングの動画像におい
て画面右下の経過時間の表示が０であるフレームだけを
表示させれば、各ラウンドごとに先頭の一枚の代表フレ
ームだけが表示され、少ない枚数で整理されたフレーム
の表示ができる。

【０１０２】また、野球のゲームの動画像において、ノ
ーアウト（さらにノーストライク、ノーボール）を示す
シンボルを含むフレームを検索し、一覧表示させれば、
各回の表、裏の攻撃の始まるシーンだけが選択されて表
示されることになる。画面下に多くの文字情報が出され
ているフレームを選択して表示させれば、打者情報を表
示させている場面のフレームが多く表示されることにな
り、実質的には打者ごとに代表フレームを表示させてい
ることになる。

【０１０３】文字の認識が可能な場合には認識された文
字情報を使い、同一の文字列を含むフレームのみの選
択、これらのフレームの間の関連を定義することができ
る。例えば、野球において好みの打者名が表示されてい
るフレームのみの一覧表示を行えば、好みの打者の打席
の中から好みのものを即座に選択することができるし、
利用者が関連をもつフレームへのジャンプ命令を入力す
れば、リンク情報から関連フレームのタイムコード、記
録アドレス等の情報を読み出し、即座に次の打席の場面
の再生が行われる。

【０１０４】動画中にインポーズされた文字の認識が可
能で、かつ辞書情報が利用可能な場合には、認識された
文字列に対応する辞書を参照することにより間連語をピ
ックアップしておき、他の場面で認識された文字列が間
連語に一致する場合にも二つの場面にリンクを定義する
ことができる。辞書の利用により、より多様な意味づけ
を持ったリンクを自動生成することができる。

【０１０５】（第二の実施例５）次に、第二の実施例５
として、ショットの代表フレームを選択する方法につい
て説明する。最も簡単なショットの代表フレームの選択
方法は、ショットの先頭のフレームを選択する方法であ
る。しかし、この方法では必ずしもショットの内容を反
映したフレームが選択されるとは限らない。

【０１０６】本発明によるショットの代表フレームの選
択方法の処理の流れを図２０に示す。まず、代表フレー
ムがまだ選択されていないショットの中から一つのショ
ットを選ぶ。そのショットの中のフレーム全てに対し
て、あらかじめ利用者により選択されたキーフレームと
の類似度を求め、類似度が最大のフレームをそのショッ
トの代表フレームの候補とする。類似度の計算方法とし
ては、すでに述べたように、二つの画像の対応する位置
の輝度や色の差の総和を求める方法、二つの画像の輝度
または色のヒストグラムの差分和を求める方法などが用
いられる。候補となったフレームの類似度があらかじめ
定められたしきい値以下の値しか持たない場合には、シ
ョットの先頭（もしくは中間のフレームなど、定められ
た位置）のフレームを代表フレームとして選択する。

【０１０７】例えば、人の顔のアップの画像をなるべく
代表フレームとしたい場合には、人の顔のアップの位置
フレームをキーフレームとして選択しておく。この場
合、画面の中心に大きく肌色の領域が存在し、上部もし
くは左右に頭髪の色が分布している。

【０１０８】このようなフレームをキーフレームとして
代表フレームの選択をさせれば、類似したフレームとし
てやはり顔のアップが多く選ばれてくる。顔のアップが
ないショットでは、あらかじめ定められたショット内の
位置のフレームが選択されてくる。

【０１０９】このような代表フレームの選択方法は、シ
ョットの代表を選ぶ場合に限られるものではない。動画
像がショット以外の何らかの単位でフレーム群に分割さ
れている場合、一つのフレーム群から代表フレームを選
択するために全く同じ手法を用いることが可能である。

【０１１０】本発明の別のショット代表フレーム選択方
法は、第二の実施例４のごとく、文字・シンボル情報を
含むフレームをショットの代表フレームとして選択する
方法である。図２１はこの処理の流れを表したものであ
る。

【０１１１】まず、代表フレームがまだ選択されていな
いショットの中から一つのショットを選ぶ。動画像デー
タとともに記録されている文字・シンボルデータを参照
し、ショット内のフレームに文字・シンボルを含むフレ
ームが存在するかどうかを調べる。存在しなければ、シ
ョットの先頭の（もしくは中間などショット内の決めら
れた位置の）フレームを代表フレームとする。もしも文
字・シンボルを含んでいるフレームが存在するならば、
それらのうちの先頭のフレームを代表フレームとする。

【０１１２】すでに説明したように、文字情報はショッ
トの内容を理解するための情報を多く含んでいる。例え
ば、ニュース番組において、単にキャスターが移ってい
るフレームが代表フレームとして選択されていても、そ
のショットでどのような話題がはなされているのかはわ
からない。しかし、ニュースの話題がテロップとしてイ
ンポーズされているフレームを代表フレームとして選択
しておけば、代表フレームを見るだけでそのショットの
内容を理解することができる。

【０１１３】（第二の実施例の効果）本発明の動画像処
理装置では、動画像が細かく分割されているときに、こ
れら分割された部分のいくつかをまとめてより大きく分
割された動画像を構成し、それぞれの部分について一つ
の代表フレーム、もしくはそれに関する情報を表示する
ことができるので、表示される情報が多くなりすぎるこ
とがなく、利用者が効率的に所望の場面を検索すること
ができる。

【０１１４】さらに、利用者がこれら分割を自ら行った
り、代表フレームもしくはそれに関わる情報を一つ一つ
選択していくことが不要であるため、利用者の手を煩わ
せることがない。

【０１１５】（第三の実施例）以下、本発明の第三の実
施例を図面に基づいて説明する。混乱をさけるために、
以下では撮影を中断せずに撮影した一連の動画像を「シ
ョット」と称し、動画像の構成、内容の連続性などから
複数のショットを統合したものを「シーン」と称するこ
とにする。また、連続する２ショットの境界を「カッ
ト」とし、同様にシーンの境界を「シーンチェンジ」と
称する。

【０１１６】図２２は本発明の一実施例に係わる映像デ
ータベースの表示を示す概念図である。１１０１は動画
像のある時間区間を表す立体アイコンである。立体アイ
コン１１０１の最前面１１０２は、通常、動画像におけ
る、その時間区間の開始時刻での映像であるが、ショッ
ト内の特徴的なフレームを自動検出あるいは利用者の入
力により指定して表示してもよい（代表フレームの選択
方法については参考文献：「内容把握を支援する動画イ
ンデックス」１９９３年電子情報通信学会春季大会講演
予稿集ＳＤ−９−４など）。

【０１１７】また、立体アイコン１１０１の奥行きは、
その時間区間の長さに対応しており、利用者は立体アイ
コンの奥行きの深浅で、その区間の継続時間を知ること
ができる。従来技術では、この立体アイコンはショット
毎に表示されていたが（ショットの分割方法については
例えば参考文献：「テレビジョン画像のシーン境界の検
出法に関する一考察」電子情報通信学会技術報告ＩＥ
９４−４９など）、本発明の表示方式においては複数の
ショットを統合して一つの立体アイコンとして表示する
ことが特徴の一つである。この統合は、一覧表字全体の
見やすさを考慮して、利用者自身が統合の度合を可変的
に決定できるようにしていてもよい。

【０１１８】この場合、例えばある動画像が１０シーン
４０カットである場合には、そのままシーンごとの立体
アイコンとして表示し、５０シーン２００カットの場合
にはシーンごとの関連の強さを計算して、さらにシーン
ごとの統合を進め、立体アイコンを２０程度にまで統合
して表示する、などである。複数のショット（あるいは
シーン）の統合方法については、ショット内のフレーム
について色調の平均値やヒストグラムを求めて、ショッ
トどうしで比較する方法や、人物の認識を行って、登場
の分布から連続性を判断する方法などが考えられる（参
考文献：「色特徴による映像シーン分類の検討」１９９
３年電子情報通信学会春季大会講演予稿集Ｄ−４９
０）。

【０１１９】立体アイコン１１０１は２次元座標に投影
されてコンピュータなどの画面に表示される。耳１１０
３は元のカット毎に付けられ、奥行き方向に埋もれてし
まったショットの存在を明示する。耳１１０３には文字
情報を表示することができ、利用者が後の編集のために
そのショットに対するメモ文を入力すると、そのメモ文
が記憶され、表示される。未入力のショットに対して
は、そのショットの時刻を表示するなどする。耳１１０
３上の文字情報は表示しなくてもよい。

【０１２０】立体アイコン１１０１は最前面１１０２に
直交する面（空間的には上面、底面、右側面、左側面の
４面をもつ。以下ではこの４面を総称して単に「アイコ
ン側面」という。

【０１２１】図２２では右側面１１０４と上面１１０５
を図示。）をもつが、アイコン側面には、立体アイコン
の断面が投影されて表示されている。これについて図２
４を用いて説明する。

【０１２２】ある動画像の時刻ｔにおける映像３３０１
を、画素（ｘ，ｙ）のＲＧＢ値を用いて（ｒ（ｘ，ｙ，
ｔ），ｇ（ｘ，ｙ，ｔ），ｂ（ｘ，ｙ，ｔ））と表わし
たとする。

【０１２３】このとき、ｘｙｔ空間の、時間成分を持つ
平面３３０２はａｘ＋ｂｙ＋ｃｔ＝ｄと表わされる。こ
の平面３３０２による映像３３０１の断面を上面３３０
３に投影するときは、座標（ｘ，ｔ）にＲＧＢ値（ｒ
（ｘ，（ｄ−ａｘ−ｃｔ）／ｂ，ｔ），ｇ（ｘ，（ｄ−
ａｘ−ｃｔ）／ｂ，ｔ），ｂ（ｘ，（ｄ−ａｘ−ｃｔ）
／ｂ，ｔ））を描画することで投影図が決定される。

【０１２４】同様に右側面３３０４に投影するときに
は、座標（ｙ，ｔ）にＲＧＢ値（ｒ（（ｄ−ｂｙ−ｃ
ｔ）／ａ，ｙ，ｔ），ｇ（（ｄ−ｂｙ−ｃｔ）／ａ，
ｙ，ｔ），ｂ（（ｄ−ｂｙ−ｃｔ）／ａ，ｙ，ｔ））を
描画すればよい。

【０１２５】動画像の大きさが幅Ｗ、高さＨで、画面の
右上隅を（ｘ＝０，ｙ＝０）とする場合、平面３３０２
の選び方としては、上面に対して「ｙ＝０。ｘ，ｔは任
意」、右側面に対して「ｘ＝Ｗ。ｙ，ｔは任意」、底面
に対して「ｙ＝Ｈ。ｘ，ｔは任意」、左側面に対して
「ｘ＝０。ｙ，ｔは任意」と設定するのが分かりやすい
と想定される。

【０１２６】この場合、各アイコン側面に投影される画
像は、動画像の時刻ごとの画像をフチなしの写真にプリ
ントし、時間順に複数枚重ねて横から見たときの様な画
像になる。このような側面表示をおこなうことにより、
カメラの左右の移動（パン）を上面に見ることができる
ほか、たとえば右からオブジェクトが侵入してきた場面
においては右側面にオブジェクトの姿が見い出せるな
ど、ショットの内容把握に効果がある。

【０１２７】図２２にもどって説明を続ける。立体アイ
コン１１０１の近傍にはオブジェクト１１０６や文字１
１０７が表示されている。これらは、参照線１１０８な
どを媒介して、それが登場した時刻のアイコン側面に対
応づけられて表示される。

【０１２８】表示すべきオブジェクトまたは文字は、人
物認識技術や文字判定技術によって自動認識で判断させ
てもよいし（オブジェクトの抽出については参考文献：
「配色情報に基づく画像からのオブジェクトの抽出と検
索の検討」１９９４年電子情報通信学会春季大会講演予
稿集，Ｄ−４２２など。文字領域の切り出しについては
参考文献：「階層的な色分類によるカラー画像からの文
字パタン抽出法」１９９４年電子情報通信学会秋季大会
講演予稿集，Ｄ−２８９など）、利用者があらかじめ画
面を見ながら選択、決定しておいてもよい。

【０１２９】いずれの方法においても、そのオブジェク
トまたは文字がある時間にまたがって画面内に存在する
場合、そのオブジェクトまたは文字の領域が最大の面積
になった時刻のオブジェクトまたは文字を１１０６また
は１１０７のように表示する。このようにオブジェクト
１１０６や文字１１０７を表示する対象は、必ずしも複
数のカットが統合された立体アイコンに対してとは限定
されず、一つ一つのカットを独立の立体アイコンとして
表示している場合にも表示できる。なお、これらオブジ
ェクト１１０６や文字１１０７の表示については、利用
者によって表示、非表示の状態を選択してもよい。

【０１３０】奥行き表示は必ずしも立体アイコン１１０
１の一部でなくてもよい。例えば図２８のように、元の
映像情報の１フレームを表示しない側面のみの表示に、
耳１１０３やオブジェクト１１０６Ａ〜Ｃなどを表示し
てもよい。また、図２８では原画像の断面ではなく、各
オブジェクトの存在位置を図示した表示を示している
（表示平面６６０１上で、奥行き方向、すなわち図２８
の左下から右上が時間の進行方向）。このように、「該
映像情報の一部」とは、映像×時間の３次元を平面で切
った断面の写影図に限られず、時刻時刻でオブジェクト
がどの位置に存在していたかなどの副次的な情報を意味
してもよい。

【０１３１】図２８の表示は、上記のような手段で動い
ているオブジェクトや人物を認識抽出したあと、そのオ
ブジェクト領域の重心が、画面の左右座標のどこに位置
したかを計算した結果である。オブジェクト１１０６Ａ
に対応する動き表示は６６０２Ａ、以下同様にＢ，Ｃと
対応している。ここで各ＡとＣは同じオブジェクト（登
場人物）を指しているが、システム内部では、必ずしも
ＡとＣが同じオブジェクトであることを認識していなく
てもよい。この場合、利用者は表示平面６６０１から引
き出されたオブジェクト１１０６Ａ〜Ｃを見ることによ
り、目視でＡとＣの一致を確認し、これらが同一である
という定義をシステムに対して行うことができる。

【０１３２】図２８のような表示を提供することによっ
て、より多くのオブジェクトが存在する場面を利用者が
優先的に検索したり、目的の登場人物が中央に写ってい
る場面を検索したりする際の効率がよくなる。

【０１３３】つぎに、立体アイコン１１０１上を指示す
ることによる映像の提示方法について説明する。カーソ
ル１１０９は立体アイコン１１０１と同じ画面上にあ
り、マウス、トラックボールなどのポインティングデバ
イスによって利用者の指示したい位置を示している。カ
ーソル１１０９で立体アイコン１１０１の右上辺１１１
０上の一点を指示することによって、対応する映像時刻
は指示点の奥行き座標から一意に決まる。すると、その
時刻の映像（静止画）が上面１１０５上に引き出される
ように表示される（画面１１１１は引き出された状態を
示す）。

【０１３４】引き出された画面１１１１は、カーソル１
１０９が引き出された位置から去ると消える。あるいは
引き出した状態でマウスボタンをクリックするなどの操
作を行うことによって、消去の指示があるまで画面に残
留してもよい。右上辺１１１０上の一点を正確に指示す
ることは難しいので、右上辺１１１０と垂直方向に数画
素の範囲に指示があった場合でも、その指示位置から右
上辺１１１０上に垂直に下ろした点上を指示した場合と
同様の動作をしてもよい。

【０１３５】図２５と図２７には、図２２のような表示
が画面上になされているとき、指示位置によって発生す
る動作の例を示す。「そのショットを選択」「そのシー
ンを選択」とは、動画像の編集のための動作であり、シ
ョットやシーンを複数選択して、ショットやシーンをつ
なぎあわせたり、画像効果を与えたりする際に用いる。

【０１３６】一方、カーソル１１０９による逐次指示を
与えなくても、動画像再生の指示を与えることで自動的
に画像が立体アイコン１１０１から次々と引き出されて
いってもよい。また、すでに再生された画像部分に関し
ては立体アイコンから削除され、再表示の指示があるま
で画面に現われなくてもよい。この場合、たとえば順次
画像を再生してゆくに従い立体アイコン１１０１は短く
なり、最前面１１０２に表示される画像も時間進行して
ゆく。このように最前面で時間進行が再現できる場合に
は画面１１１１のように引き出した表示をする必要はな
い。

【０１３７】また、引き出し表示の代わりに別の表示画
面（図示せず）をもち、そこに指示した時刻の画像を表
示してもよい。たとえば表示画面を立体アイコン１１０
１が表示されている画面と別の画面に設け、立体アイコ
ン１１０１のある画面を操作者が見、指示時刻の表示画
面を操作者と異なる人物（客）に見せれば、操作の様子
を客に見せずに画像提示ができるため、動画像を効果的
にプレゼンテーションすることができる。

【０１３８】図２７は、図２２のような表示を行うため
の処理手順を例示したフローチャートである。システム
はまず、フレームを読み込むことができるかどうかを調
べる（Ｓ５０１）。読み込むことができなければ、画面
作成は終了する。読み込むことができるとき、そのフレ
ームの画像データおよび画像の属性（カット／シーンチ
ェンジか、など）を読み込む（Ｓ５０２）。そのフレー
ムがシーンの先頭であった場合（Ｓ５０３）、これまで
奥行き方向に積み上げてきた立体アイコンの更新をや
め、これまでに作成した立体アイコンの隣などに次の立
体アイコンを作成するように準備する（Ｓ５０４）。そ
して立体アイコンの最前面にそのフレームの画像を表示
する（Ｓ５０５）。シーンの先頭は一般にショットの先
頭でもあるので、耳をつける（Ｓ５０６）。

【０１３９】一方、そのフレームがシーンの先頭でなく
てもショットの先頭であった場合（Ｓ５０７）、立体ア
イコンのアイコン側面にショットの区切りを示す区切線
を書き込み（Ｓ５０８）、耳をつける（Ｓ５０６）。

【０１４０】次に（シーンやショットの先頭であった場
合でも、そうでなかった場合でも）、オブジェクトや文
字を表示すべきかどうかを判定する。上述したように、
オブジェクトや文字は、それらがそのショット内で最大
であった時、表示するのが適切なので、同一のオブジェ
クトや文字がフレームの進行とともに大きさや形、位置
をどう変化させているのかを、システムは追跡してい
る。そしてそれまで追跡してきたオブジェクトや文字の
大きさが拡大から縮小に転じたときに、オブジェクトや
文字を立体アイコンの側面近傍に表示する（Ｓ５０９，
Ｓ５１０，Ｓ５１１）。このとき、文字認識技術を用い
て抽出した文字を認識し、自動的にそのショットのメモ
に利用してもよい（耳に書き込んでもよい）。

【０１４１】また、オブジェクトや文字の大きさが正確
に最大であった箇所一点で表示を行いたい場合には、そ
れぞれのオブジェクトについて、最大になった時刻と大
きさ、領域を記憶しておき、ショットの終端が来たとき
に記憶していた時刻にさかのぼって表示させてもよい。

【０１４２】次に、１フレーム分だけ立体アイコンの厚
みを増やし（Ｓ５１２）、側面の画像についても、その
フレームに関して書き加える（Ｓ５１３）。以上の過程
を処理残りのフレームがなくなるまで繰り返す。

【０１４３】以上の説明では、立体アイコン１１０１の
最前面１１０２の画像や、立体アイコン１１０１の近傍
に表示されたオブジェクト１１０６などは静止画像とし
てきたが、これらは動画像として表示してもよい。例え
ば最前面１１０２の画像であれば、その立体アイコン１
１０１の範囲のシーンを繰り返し再生していてもよい。

【０１４４】また、その立体アイコン１１０１に含むカ
ットの画像を数秒ごとに交互に表示してもよい。あるい
は、オブジェクト１１０６については、そのカット内で
のオブジェクトの動作を表示するなどすることができ
る。

【０１４５】このような立体アイコン最前面の動画像表
示は図２２のように複数のカットを統合表示した場合に
限られず、図２３のようなショット列挙の場合に用いて
もよい。この場合は各立体アイコンの最前面２２０１
に、そのショットの画像を繰り返し再生するなどする。

【０１４６】（第三の実施例の効果）以上説明したよう
に本発明によれば、動画像編集や視聴の際の一覧提示
を、効率的に統括することができ、長い動画像やショッ
トの多い動画像を扱う際にも利用者の圧迫感を軽減した
操作環境を提供することができる。

【０１４７】

【発明の効果】以上説明したように本発明の動画像処理
装置によれば、長時間に及ぶ動画像を比較的軽微な計算
処理によって時分割（カット）することができ、更にそ
のカットは画像内容の変化点であるから、意味情報を反
映した分割であることが期待できる。

【０１４８】一方、本発明の動画像処理装置では上記手
法によって分割されたカットを統括し表示する機能を持
つので、利用者にとってもわかりやすい操作で効率よく
目的の場面に到達することができるような動画像編集・
検索環境を提供できる。

【図面の簡単な説明】

【図１】本願発明の第一の実施例１の一構成例を示すブ
ロック図である。

【図２】本願発明における映像カットの検出部の一構成
例を示すブロック図である。

【図３】本願発明の動きベクトルブロックの説明図であ
る。

【図４】本願発明の映像カットのない場合の修正動きベ
クトルの例の図である。

【図５】本願発明映像カットのある場合の修正動きベク
トルの例の図である。

【図６】本願発明の動き補償を使った画像圧縮における
フレームと検出される動きベクトルの関係図である。

【図７】本願発明の順方向の動きベクトルと順方向の修
正動きベクトルの関係図である。

【図８】本願発明の逆方向の動きベクトルと逆方向の修
正動きベクトルの関係図である。

【図９】本願発明の映像変化量としきい値を使った映像
カット判定の例の図である。

【図１０】本願発明の第一の実施例２の一構成例を示す
ブロック図である。

【図１１】本願発明の第一の実施例３における映像カッ
ト検出部の一構成例を示すブロック図である。

【図１２】本願発明の第一の実施例の動作の手順を示す
図である。

【図１３】本願発明の第二の実施例１，２，３の構成を
表すブロック図である。

【図１４】本願発明の動画像のリンク定義とシーン分割
の説明図である。

【図１５】本願発明のシーン一覧表示の例の図である。

【図１６】本願発明のショット一覧表示の例の図であ
る。

【図１７】本願発明の自動シーン分割の説明図である。

【図１８】本願発明の第二の実施例３におけるシーン構
成方法の説明図である。

【図１９】本願発明の第二の実施例４の構成を表すブロ
ック図である。

【図２０】本願発明の第二の実施例５における処理の説
明図である。

【図２１】本願発明の第二の実施例５における処理の説
明図である。

【図２２】本願発明の映像データベースの表示方法に係
る概念図である。

【図２３】従来の映像データベースの表示方法に係る概
念図である。

【図２４】本願発明の映像データベースの表示方法を説
明するための概念図である。

【図２５】本願発明の映像データベースの表示方法の利
用例を示す概念図である。

【図２６】本願発明の映像データベースの表示方法の利
用例を示す図である。

【図２７】本願発明の映像データベースの表示方法を実
現する処理例を示すフローチャートの図である。

【図２８】本願発明の映像データベースの表示方法の利
用例を示す図である。

【符号の説明】

１映像入力端子１０映像カット検出部２ＤＣＴ部１１圧縮映像出力端子３量子化部１２映像カット情報出
力端子４可変長符号化部２１動きベクトル修正
部５逆量子化部２２映像変化量算出部６動き補償部２３比較部７フレーム・メモリ２４映像変化量メモリ８逆ＤＣＴ部２５しきい値算出部９動きベクトル検出部１００動画像データ入力端子１０１映像取り込み部１０２カット検出部１０３表示部１０４記憶部１０５表示画像検索部１０６シーン情報生成部１０７類似画像検索部１０８リンク生成部１１０１立体アイコン１１０３ショットを示す耳１１０６抽出されたオブジェクト１１０７抽出された文字１１０９カーソル１１１１引き出し表示された画面

Claims

【特許請求の範囲】

【請求項１】動き補償を用いた動画像圧縮時に得られる
動きベクトルを、連続するフレーム間の動きを表す動き
ベクトルに修正し、修正された前記動きベクトルのフレーム内のばらつきの
度合いを生成し、生成された前記ばらつきの度合いが所定の条件を満たす
フレームの間を、動画像のカットとして検出することを
特徴とする動画像処理方法。
【請求項２】フレーム群に分割されている動画像の任意
のフレーム群と他のフレーム群の間の類似度を求め、求めた前記類似度が所定の条件を満たすときに前記フレ
ーム群をリンク付け、リンク付けした前記フレーム群の間を分割することを特
徴とする動画像処理方法。
【請求項３】フレーム群に分割されている動画像の任意
のフレーム群と他のフレーム群の間の類似度を求め、求めた前記類似度が所定の条件を満たすときに前記フレ
ーム群をリンク付け、リンク付けした前記フレーム群を同一の集合に属するも
のとすることを特徴とする動画像処理方法。
【請求項４】フレーム群に分割されている動画像から文
字やシンボルを認識し、認識した前記文字やシンボルのうち、関連した文字やシ
ンボルを含むフレーム群をリンク付け、リンク付けした前記フレーム群の間を分割することを特
徴とする動画像処理方法。
【請求項５】フレーム群に分割されている動画像から文
字やシンボルを認識し、認識した前記文字やシンボルのうち、関連した文字やシ
ンボルを含むフレーム群をリンク付け、リンク付けした前記フレーム群を同一の集合に属するも
のとすることを特徴とする動画像処理方法。
【請求項６】フレーム群に分割されている動画像の任意
のフレームと他のフレーム群の間の類似度を求め、求めた前記類似度が所定の条件を満たすフレームを前記
フレーム群の代表フレームとすることを特徴とする動画
像処理方法。
【請求項７】フレーム群に分割されている動画像の各フ
レーム群中の文字またはシンボルを含んでいるフレーム
を代表フレームとすることを特徴とする動画像処理方
法。
【請求項８】フレーム群に分割されてる動画像の区切ら
れた複数の時間区間を一連として表示し、一連として表示された前記動画像の時間区間の区切りの
位置を、時刻に対応する位置に表示することを特徴とす
る動画像処理方法。
【請求項９】動画像の視聴の進行に応じて、一連として
表示された前記動画像の表示が変化することを特徴とす
る動画像処理方法。
【請求項１０】フレーム群に分割されてる動画像の区切
られた複数の時間区間を一連として表示し、一連として表示された前記動画像の特徴的な対象物の領
域を認識して抽出し、抽出した前記対象物の領域を、抽出を行った動画像の時
刻に対応した位置に隣接させて表示することを特徴とす
る動画像処理方法。