JP3454396B2 - 動画像の変化点検出制御方法とそれに基づく再生停止制御方法およびそれらを用いた動画像の編集システム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオテープやデ
ィスク等に格納された動画像のカット（一台のカメラで
撮影された途切れのない動画像区間）の変わり目（変化
点）を検出する技術、および、それを利用した動画像の
再生、編集技術に係り、特に、動画像の編集の高効率化
を図るのに好適な動画像の変化点検出制御方法とそれに
基づく再生停止制御方法およびそれらを用いた動画像の
編集システムに関するものである。

【０００２】

【従来の技術】近年、計算機の高速化と記憶装置の大容
量化を背景にして、動画像情報をディジタル化して扱う
ことができるようになってきた。特に動画像の編集分野
においては、テレビ放送製作、ビデオ製作、ハイパーメ
ディアの動画製作のための撮影装置や編集装置でディジ
タル化された動画像を扱えるようになってきた。このよ
うな動画像の編集装置には、例えば、米国Avid Technol
ogy社の製品「Media Composer」や「Video Shop」等が
ある。

【０００３】動画像の編集作業を効率化するには、内容
確認のための再生をカット単位で行うことが望ましい。
これは、他のカットの内容に影響されずに、個々のカッ
ト内容だけを吟味できるからである。また、記憶装置を
効率よく利用するためにも編集に利用したいカットだけ
を抜き出して格納（記憶）するのが望ましい。しかしな
がら、上述の製品で提供されるのは編集のステップのみ
であり、素材映像に複数のカットが含まれていたとして
も、それぞれのカットだけを自動的に抽出して再生する
ことはできない。そのため、このような編集装置を使っ
て、素材映像中の多くのカットからユーザが所望するカ
ットを見つけ出すには、ユーザ自身の操作により早送り
と巻き戻しを何度も繰り返して動画像の内容を確認する
必要がある。また、所望のカットを素材映像中から切り
出すためには、ジョグ、シャトルや計算機画面のスクロ
ール・バー等を利用して、一コマ一コマ手作業で、画像
や音声を確認しながらカットの先頭や末尾を見つけ出さ
なければならない。こうした作業は経験の浅い編集者や
素人には負担が大きく、作業効率を下げる要因となって
いた。

【０００４】カットに基づき素材映像の内容を確認しや
すくするための技術としては、例えば、本発明の発明者
等による特開平４−１１１１８１号公報（特願平２−２
３０９３０号「動画像の変化点検出方法」）や特願平７
−３２０２７号（「動画像の変化点検出方法及び装
置」）がある。これらの技術では、動画像を画像や音声
の特徴量に基づいて、動画像をカットごとに自動分割
し、各カットを代表する静止画像の一覧を作成すること
ができる。この代表画像の一覧は、書籍の目次や索引の
ように動画像の内容を表すので、頻繁に早送りや巻き戻
しを行って素材の動画像を確認する必要がなくなる。ま
た、動画像をカットという区切り単位で再生できるよう
になるので、動画像の構造を把握するのに役に立ち、編
集時に大まかな構成を考えるのが容易になる。

【０００５】しかしながら、素材映像として類似したシ
ーンを複数回撮影することも多い。この時、一般に代表
画像は類似する。さらに、撮影途中でカメラの撮影角度
を変更したり対象物が移動したりして映像内容がカット
中で変化することも多い。そのため、代表画像だけから
カットの内容を正確に見当付けるのは難しく、編集に使
えそうなカットをいくつも視聴して内容を確認する作業
が必要となる。

【０００６】また、カット分割は自動的に行われるが、
一覧作成には素材映像を予めカットに分割する必要があ
り、フレーム単位で精度よくカットごとに切り分けるに
は動画像中のフレーム画像を一枚一枚全て比較する必要
がある。このため、自動カット分割による一覧作成処理
には動画像全体を再生するのと同等以上の時間を要し、
ユーザが編集に取りかかることができるまでの準備時間
が長くなってしまう。例えば、１時間の素材映像をカッ
ト分割するには１時間以上かかる。このような問題は、
ニュース番組の編集のように、即時性が要求される編集
ほど無視できなくなる。編集現場の経験則で「実際の編
集に使われる素材映像は全体の一割程度」というよう
に、通常、撮影された素材映像の内、実際にユーザが利
用するカットは少ないので、素材映像を全てカット分割
するのは必ずしも得策ではない。

【０００７】

【発明が解決しようとする課題】解決しようとする問題
点は、従来の技術では、所望のカットを素材映像中から
切り出すためには、ジョグ、シャトルや計算機画面のス
クロール・バー等を利用して、一コマ一コマ手作業で、
画像や音声を確認しながらカットの先頭や末尾を見つけ
出さなければならない点、また、自動カット分割による
一覧作成処理には動画像全体を再生するのと同等以上の
時間を要し、ユーザが編集に取りかかることができるま
での準備時間が長くなってしまう点、すなわち、動画像
からのカットの自動抽出を、ユーザが所望するカットに
限定して行なうことができない点である。本発明の目的
は、これら従来技術の課題を解決し、動画像の編集作業
の高効率化を可能とする動画像の変化点検出制御方法と
それに基づく再生停止制御方法およびそれらを用いた動
画像の編集システムを提供することである。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、本発明の動画像の変化点検出制御方法は、（１）動
画像のフレームに対する外部からの指定の有無を判別
し、指定があれば、このフレームの指定を所望の場面の
指定として、この指定のフレームを含むカットの先頭あ
るいは末尾の変化点の検出処理を実行することを特徴と
する。また、（２）上記（１）に記載の動画像の変化点
検出制御方法において、動画像の再生を通常再生より高
速に行ない、この動画像の高速再生中に、ユーザによる
フレームの指定の有無の判定を行なうことを特徴とす
る。また、（３）上記（１）に記載の動画像の変化点検
出制御方法において、動画像の再生を通常再生より高速
に行ない、この高速再生中の動画像から一定時間間隔で
フレームを取リ込み、この取リ込んだ各フレームの画像
を代表画像として一覧表示し、一覧表示した各代表画像
に対する外部からの選択操作に基づき、外部からの指定
の有無の判別を実行することを特徴とする。また、
（４）上記（３）に記載の動画像の変化，怠検出制御方
法において、新たに取リ込んだフレーム画像と前回取リ
込んだ代表画像の各々の特徴量を比較し、この比較結果
が示す両フレーム画像の相違度が予め定められた闘値以
上で有れば、新たに取り込んだフレーム画像を代表画像
とすることを特徴とする。また、（５）上記（４）に記
載の動画像の変化点検出制御方法において、代表画像と
しない新たに取り込んだ各フレーム画像を、比較した前
回の代表画像の下に、一部が見える位置に重ねて表示す
ることを特徴とする。また、（６）上記（３）から
（５）のいずれかに記載の動画像の変化点検出制御方法
において、フレーム画像の一覧表示時、フレーム画像に
対応するフレーム番号を共に一覧表示することを特徴と
する。また、（７）上記（１）から（６）のいずれかに
記載の動画像の変化点検出制御方法において、指定のフ
レームを含むカッ卜の変化点の検出は、再生中の動画像
の各フレームをディジタル信号に変換し、この各フレー
ムのディジタル信号中の特徴量を算出し、この各フレー
ムの特徴量の比較に基づき行なうことを特徴とする。ま
た、（８）上記（７）に記載の動画像の変化点検出制御
方法において、フレームの特徴量は、ディジタル化され
た画像信号のカラーヒストグラムを含むことを特徴とす
る。また、（９）上記（８）に記載の動画像の変化点検
出制御方法において、フレームの特徴量は、動画像から
読み出されデイジタル化された音声の自己相関量を含む
ことを特徴とする。また、（１０）上記（９）に記載の
動画像の変化点検出制御方法において、指定のフレーム
を含むカットの変化点の検出が、カラーヒストグラムを
含む画像信号の特徴量、もしくは、音声の自己相関量を
含む特徴量のいずれに基づくものであるかを示す情報を
表示することを特徴とする。また、本発明の動画像の再
生停止制御方法は、（１１）再生中の動画像中の任意の
画像を指定し、各フレームの特徴量に基づき、指定され
た画像のフレームを含むカットの先頭あるいは末尾の変
化点を検出し、指定されたフレームから順方向又は逆時
間方向に動画像を再生し、再生方向に対して、カットの
末尾又は先頭の変化点の直前のフレーム位置で動画像の
再生を停止することを特徴とする。また、（１２）上記
（１）から（１０）のいずれかに記載の動画像の変化点
検出制御方法によるユーザ指定のフレームを含むカット
の変化点の検出に基づき、ユーザ指定のフレームを含む
カットの先頭フレームと末尾フレームの両方を求め、求
めた先頭フレームもしくは末尾フレームのいずれか一方
を表示して動画像の再生を停止することを特徴とする。
また、（１３）上記（１１）、もしくは、（１２）のい
ずれかに記載の動画像の再生停止制御方法において、変
化点の検出に伴う動画像の再生の停止時、この停止位置
のフレーム番号を読み出し、読み出したフレーム番号
を、停止位置でのフレーム画像と共に表示することを特
徴とする。また、本発明の動画像の編集システムは、
（１４）動画像の再生を行なう動画像再生装置１１０
と、この動画像再生装置１１０で再生する動画像をディ
ジタル信号としてフレーム単位で時系列に入力する動画
像入力装置１０３と、この動画像入力装置１０３と動画
像再生装置１１０の人手による指示操作に基づく動作制
御、および、動画像の各フレーム毎のディジタル信号の
特徴量に基づくカットの変化点の自動検出を行なう動画
像処理装置１０４とを少なくとも有する動画像の編集シ
ステムであって、動画像処理装置１０４に、動画像入力
装置１０３で入力した動画像再生装置１１０で再生中の
動画像の任意のフレームに対するユーザの指定に基づ
き、動画像再生装置１１０を制御して動画像を逆再生方
向もしくは順再生方向にフレーム単位で再生させる機能
と、この逆再生方向もしくは順再生方向での再生中の動
画像に対するユーザ指定のフレームを含むカットの変化
点の検出時に、動画像再生装置１１０を制御して動画像
の逆再生方向もしくは順再生方向での再生を停止させる
機能と、カットが変化する直前のフレーム番号を読み出
す機能とを設け、カットが変化する直前のフレーム番号
およびフレーム画像を表示することを特徴とする。ま
た、（１５）動画像の再生を行なう動画像再生装置と、
該動画像再生装置で再生する動画像をディジタル信号と
してフレーム単位で時系列に入力する動画像入力装置
と、該動画像入力装置と上記動画像再生装置の人手によ
る指示操作に基づく動作制御、および、上記動画像の各
フレーム毎のディジタル信号の特徴量に基づくカットの
変化点の自動検出を行なう動画像処理装置とを有する動
画像の編集システムにおいて、入力された動画像から取
り込まれた一定時間間隔の複数のフレームを前記動画像
再生装置に表示し、該表示された複数のフレームの中か
ら前記指示操作によって１つのフレームが選択される
と、該選択されたフレームを含むカットの変化点を検出
することを特徴とする。

【０００９】

【発明の実施の形態】本発明においては、再生中の動画
像からのカットの変化点の自動検出動作を、ユーザの指
定に基づき制御することにより、カットの自動分割機能
を動画像の編集システムに効果的に連携動作させること
ができ、ユーザは、フレームを指定することによって、
動画像の再生中に、所望の場面を指定できる。すなわ
ち、本発明においては、指定されたフレームから順再生
方向あるいは逆再生方向に動画像を再生して変化点を検
出し、このカットの変化点で再生を停止できる。例え
ば、動画像の再生中に、ユーザが停止ボタンを押すと、
ユーザによるフレームの指定が有ったものと判別し、そ
の近傍の動画像のカットの変わり目（変化点）を検出
し、その変化点で再生を停止する。この時、時間軸の順
方向に再生中にユーザが停止ボタンを押すと、同じカッ
ト内の末尾のフレームまで再生して停止し、また、逆方
向に再生中に停止ボタンを押すと、同じカット内の先頭
のフレームまで逆方向に再生して停止する。

【００１０】このように、ユーザが所望するカットのみ
を、動画像の一再生動作だけで、簡便にかつ正確に検出
することができ、従来のように全てのカットに対する検
出動作を前もって行なう必要がないので、編集作業にか
かる時間を短縮することができる。特に、このユーザの
指定を、早送り再生時に行なうことにより、所望の場面
の選択が高速化でき、ひいては、所望のカットの検出を
さらに高速化できる。そして、ここで得られたカットの
先頭および末尾位置を利用して、編集に利用したいカッ
トだけを抜き出して格納（記憶）できるので、記憶装置
を効率よく利用することができる。また、検出したカッ
トの位置情報や、それに基づき抽出したカットのディジ
タル動画像は、即座に後工程の編集に利用できるので、
テープ編集でもノンリニア編集（ディジタル編集）で
も、動画像の編集を効率良く行なうことができる。

【００１１】また、一定時間ごとに取り込まれた複数の
フレーム画像を代表画像として並べて表示することによ
り、従来の素材映像全体を再生する技術よりも短い時間
で代表画像の一覧表示を行なうことができる。そして、
ユーザが、素材映像の全体構造を見渡しながら所望のフ
レームを選択すると、このフレームを含むカットの変化
点を検出して、所望のカットだけを切り出す。この時、
代表画像を、高速再生中の動画像から取り込み、なおか
つ、同じような絵柄の画像が続く場合には、連続した類
似代表画像の内の一枚だけを一覧に表示する。これによ
り、素材映像全体を自動カット分割するのに近い一覧を
迅速に作成できる。さらに、変化点の検出に用いた特徴
量の種別を表示することによって、画像の特徴の変化点
と音声の変化点のどちらに基づき停止したのかを表示で
き、ユーザは、より一層、自分の意図に即したカットを
検出できる。

【００１２】

【実施例】以下、本発明の実施例を、図面により詳細に
説明する。図１は、本発明の動画像の変化点検出制御方
法および再生停止制御方法に係る動作の一実施例を示す
説明図であり、図２は、それらを用いて動画像の編集処
理を行なう本発明の動画像編集システムの一構成例を示
すブロック図である。図２において、１０１はＣＲＴ
（Cathode Ray Tube)等のディスプレイ装置であり、動
画像処理装置１０４の出力画面を表示する。動画像処理
装置１０４に対する命令は、マウス等のポインティング
・デバイスからなる入力装置１０５を使って行うことが
できる。動画像再生装置１１０は、ビデオテープや光デ
ィスク等に記録された動画像を再生する装置である。動
画像再生装置１１０としては、例えば、ソニー（株）の
VISCA（Video System Control Architecture：ビスカ）
端子付ビデオデッキや、一般にプロ用の編集でよく使わ
れるβカム・ビデオデッキ等、計算機によって動画像再
生の制御が可能なものを用いる。すなわち、ユーザが指
定したフレームの過去（逆再生方向）や未来（順再生方
向）の時間軸方向への再生を、動画像処理装置１０４か
らの制御で行う。

【００１３】動画像再生装置１１０から再生出力される
画像や音声の信号は、逐次、動画像入力装置１０３によ
ってディジタル信号に変換され、動画像処理装置１０４
に入力される。また、動画像再生装置１１０から出力さ
れる音声は、スピーカ１１１で聞くことができる。動画
像処理装置１０４は、受け取ったフレームごとの信号を
処理して動画像再生装置１１０を制御する。動画像処理
装置１０４と動画像再生装置１１０は、通信線１０２を
通じて制御命令や応答の送受信する。

【００１４】動画像再生装置１１０の扱う動画像の各フ
レームに動画像の先頭から順にフレーム番号（タイムコ
ード）が割り付けられている場合には、このフレーム番
号および検索命令を動画像処理装置１０４から動画像再
生装置１１０に送信することで、当該フレーム番号の画
像を検索できる。同様に、動画像処理装置１０４は、動
画像再生装置１１０にフレーム番号を要求して動画像の
現在のフレーム番号を受け取ることができる。

【００１５】動画像処理装置１０４の内部では、画像や
音声のディジタル信号はインタフェース１０８を介して
メモリ１０９に入力され、メモリ１０９に格納された処
理プログラムに従って、ＣＰＵ１０７によって処理され
る。処理プログラムは補助記憶装置１０６に格納され、
ＣＰＵ１０７の命令に応じてメモリ１０９に転送され
る。また、画像や音声のディジタル信号や処理結果等の
各種情報を補助記憶装置１０６に蓄積することもでき
る。メモリ１０９には、各処理によって作成される各種
のデータが蓄積され、必要に応じて参照される。

【００１６】動画像処理装置１０４は、処理プログラム
に基づくＣＰＵ１０７の処理により、本発明に係る以下
の機能を実行する。すなわち、動画像入力装置１０３で
入力した動画像再生装置１１０で再生中の動画像を、フ
レーム位置を付与して表示する機能、ユーザに動画像の
フレーム位置を指定させる機能、表示中の動画像の任意
のフレームに対するユーザの指定に基づき、動画像再生
装置１１０を制御して動画像を逆再生方向もしくは順再
生方向にフレーム単位で再生させる機能、この逆再生方
向もしくは順再生方向での再生中の動画像に対するユー
ザ指定のフレームを含むカットの変化点を検出する機
能、この変化点の検出時に、動画像再生装置１１０を制
御して動画像の逆再生方向もしくは順再生方向での再生
を停止させる機能、および、カットの変化点のフレーム
位置を読み出してカットが変化する直前のフレーム位置
（番号）を求める機能である。

【００１７】そして、動画像処理装置１０４は、動画像
の各フレームに先頭から順に付番されたフレーム番号
（タイムコード）を動画像再生装置から読み出すフレー
ム番号読み出し機能、読み出したフレーム番号を記録す
るフレーム番号記録機能を有し、動画像の変化する直前
のフレーム番号を記録し、ユーザに提示する。尚、カッ
トの変化点を検出する機能は、入力したフレーム画像ご
とにディジタル信号中の特徴量を算出する特徴量算出機
能と、特徴量と直前の１枚以上のフレームの特徴量との
間で相関係数を算出する相関係数算出機能、算出した相
関係数の組み合わせから相関の不連続性を判定する変化
点検出機能からなる。

【００１８】また、ユーザに動画像のフレーム位置を指
定させる機能は、一定間隔でフレーム画像を代表画像と
して取り込む代表画像取り出し機能、取り込んだ複数の
代表画像を並べて表示する一覧表示機能、代表画像の一
覧中からユーザに必要な画像を指定させる代表画像選択
機能からなり、ユーザが代表画像を選択する形式で所望
のフレームを指定できる。この時、代表画像取り出し機
能は、フレーム画像と同時にそのフレーム番号を取り込
み、フレーム位置を同定できるようにする。さらに、一
覧表示機能は、取り込んだフレーム画像から特徴量を算
出する機能、この特徴量と一覧表に直前に登録した代表
画像から算出した特徴量との間で相関係数を求める機
能、この相関係数の値が予め定めた許容範囲の範囲外と
なった時に今回取り込んだフレーム画像を代表画像の一
覧に追加する機能からなり、類似した代表画像を続けて
表示しないようにして一覧表示する代表画像の数がいた
ずらに増えないようにする。

【００１９】また、画像の特徴量算出機能は、ディジタ
ル化されたフレーム画像の、色のヒストグラムを求める
機能を有する。さらに、動画像処理装置１０４は、動画
像からのディジタル化された音声の自己相関量を求め
て、音声からの特徴量を算出してカットの変化点を検出
する機能を有する。変化点の検出に用いる特徴量は、ユ
ーザが選択でき、動画像処理装置１０４は、特徴量が、
色のヒストグラムに基づくものであるか音声に基づくも
のであるかを表示する。以下、このような構成の構成の
編集システムにおいて、ユーザが動画像の内容を確認し
ながら所望のカットだけを簡便に再生したり切り出した
りする動作について、図１を用いて説明する。

【００２０】まずユーザは、図２に示した編集システム
を使って早送りや巻き戻しを行いながら動画像を再生
し、内容を確認する。この作業を通して利用したい場面
を見つける。例えば、自動車が撮影された所望の場面を
発見すると、ユーザは、発見した場面中の１フレーム２
０１にマークを設定して場面を指定する。その後、ユー
ザはシステムに対し、先頭フレームや末尾フレームまで
の再生を要求する。この要求に応じて、システムは、フ
レーム２０１から過去（逆再生方向）あるいは未来（順
再生方向）の時間軸方向に動画像を再生する。

【００２１】先頭フレーム位置で停止する場合、システ
ムは、逆再生方向２０２の方向へ動画像を再生し、フレ
ーム２０１からフレーム単位で動画像を入力する。ここ
で、逆再生方向の再生に関しても、標準速度で逆再生す
るか、もしくは、コマ戻し等、カットの変化点の検出が
可能な状態で行なう。入力したフレームごとに画像や音
声の特徴量を算出し、さらに、フレーム間の特徴量の相
関係数を計算して、この相関係数の値が予め定めた許容
範囲を超えて不連続になる変化点２０４を検出する。
尚、この変化点２０４を検出した時点では、図２におけ
る動画像再生装置１１０は、既に、フレーム２０１を含
むカットとは別のカットを再生している。それゆえ、フ
レーム２０１を含むカットの先頭フレームに停止位置を
微調整する。この変化点２０４の直前のフレーム２０５
が、フレーム２０１を含むカットの先頭フレームであ
る。

【００２２】この先頭フレーム２０５でシステムは再生
を一時停止し、先頭フレーム２０５のフレーム画像およ
びフレーム番号を図２のディスプレイ装置１０１に表示
する。この間、図２におけるシステムは、ディスプレイ
装置１０１に入力したフレーム画像を表示し、スピーカ
１１１で音声を再生するので、ユーザは逐次内容を確認
しつつ頭出しができる。末尾フレームまで再生する場合
も同様であり、システムは、順再生方向２０３に動画像
を再生し、変化点２０６を検出し、末尾フレーム２０７
で再生を一時停止する。

【００２３】このように、フレーム２０１にマークを付
け、このフレーム２０１を含むカットの先頭フレーム２
０５や末尾フレーム２０７を自動的に検出して頭出しす
ることによって、ユーザはジョグ、シャトル等を使った
手作業でカットの先頭や末尾を見つけ出さなくともよく
なる。ここで、マークを付けるフレーム２０１は場面中
のどのフレームでも構わない。そのため、ユーザは、
「この辺りが必要である」という大まかな指定によっ
て、所望のカットを検出することができる。

【００２４】ただし、先頭フレームへの再生時には、画
像および音声は逆回しに再生されるため、ユーザは内容
を正確に理解するのが難しい。そのため、システムは、
例えば先頭フレーム２０５および末尾フレーム２０７を
検出した後に、ユーザの要求に応じて先頭フレーム２０
５から末尾フレーム２０７までのカット２０８を再生す
る。また、この区間（カット）の動画像を切り出して図
２の補助記憶装置１０６に格納する。このようにするこ
とによって、ユーザは、自動車が撮影されたカット２０
８だけを再生して吟味できる。

【００２５】また、カット２０８だけを切り出すこと
で、図２の補助記憶装置１０６に格納するディジタル動
画像の容量を削減できる。さらにノンリニア編集の場
合、切り出したカットのディジタル動画像データは、後
工程の編集に即座に利用することができるので、編集の
準備時間を削減できる。後工程の編集では一般に、作品
をバランスよくまとめるために各カットを切り詰めて調
整したり、カット間を違和感なくつなぐための特殊効果
をかけたりするが、このような処理を効率良く行なうこ
とができる。また、テープ編集の場合にも、検出した先
頭フレーム２０５、末尾フレーム２０７の位置情報を編
集に利用できる。例えば、検出した位置情報は、βカム
編集装置でエディット・リストを作成するのに利用でき
る。

【００２６】図３は、本発明の動画像の再生制御の操作
に用いる表示画面の第１の具体例を示す説明図である。
本例において、対話再生処理ウィンドウ３０１はディス
プレイ装置１０１に表示され、ユーザに、図２における
システムとの対話環境を提供する。対話再生処理ウィン
ドウ３０１は、モニタ３０２、動画像再生装置操作パネ
ル３０３、マーク設定パネル３０４、マーク表示パネル
３０５、カット表示パネル３０６および終了ボタン３０
７から構成される。終了ボタン３０７は対話処理を終了
するための命令ボタンである。ユーザは、対話再生処理
ウィンドウ３０１上に配置された各命令ボタンを、図２
のマウス１０５でクリックして自分の要求をシステムに
伝え、対話処理を進める。

【００２７】モニタ３０２は、動画像表示領域３０８お
よびフレーム番号表示ボックス３０９からなる。動画像
表示領域３０８には、図２の動画像入力装置１０３から
入力されたフレーム画像を表示する。フレーム番号表示
ボックス３０９には、動画像表示領域３０８に表示され
たフレームのフレーム番号を表示する。ここでは、動画
像は１秒間に３０枚のフレームからなることから、フレ
ーム番号をタイムコードに変換して「hh:mm:ss:ff（h
h：時間、mm：分、ss：秒、ff：フレーム）」という形
式で表示する。このように、番号よりも時間の形式で表
示する方が、位置や長さを直観的に把握しやすいため、
ユーザにとって都合が良い。

【００２８】動画像再生装置操作パネル３０３には、操
作ボタン群３１１が配置される。この操作ボタン群３１
１は動画像の早送り、巻き戻し、再生、コマ送りや一時
停止を実行するための命令ボタンである。ユーザは、操
作ボタン群３１１から必要な命令ボタンをクリックして
該当する操作を図２の動画像再生装置１１０に指示し、
モニタ３０２に映し出される画像や、図２のスピーカ動
画像再生装置１１０から再生される音声を確認する。マ
ーク設定パネル３０４にはマーク設定ボタン３１０が配
置されている。マーク設定ボタン３１０は、フレームに
マークを付けるための命令ボタンである。ユーザは、モ
ニタ３０２の表示を見ながら所望の場面を発見した時、
マーク設定ボタン３１０をクリックしてマークを設定す
る。これによって、ユーザは動画像の内容を確認してい
る途中で、「この辺りが必要である」という大まかな指
定を与えることができる。

【００２９】マーク表示パネル３０５は、フレーム画像
表示領域３１２、フレーム番号表示ボックス３１３、お
よび再生指定パネル３１４から構成される。フレーム画
像表示領域３１２には、ユーザがマークを設定したフレ
ームの画像を表示する。フレーム番号表示ボックス３１
３には、フレーム画像表示領域３１２に表示されたフレ
ームのフレーム番号を表示する。再生指定パネル３１４
には、先頭フレーム検索ボタン３１５および末尾フレー
ム検索ボタン３１６が配置されている。先頭フレーム検
索ボタン３１５は、フレーム画像表示領域３１２に表示
されたフレームを含むカットの先頭フレームを検出する
まで動画像を再生するための命令ボタンである。末尾フ
レーム検索ボタン３１６は、同様に、末尾フレームを検
出するまで動画像を再生するための命令ボタンである。

【００３０】ユーザは、先頭フレーム検索ボタン３１５
や末尾フレーム検索ボタン３１６の命令ボタンをクリッ
クするだけで、カットの先頭や末尾を見つけることがで
きるので、従来のジョグ、シャトルで再生、停止を繰り
返して見つける作業に比べて作業を省力化できる。ま
た、動画像の変化点を検出するのは、ユーザがマークを
設定したフレームの時間軸前方、または、後方の各１点
に限定できるので、変化点検出処理の回数を削減でき、
ユーザが編集に取りかかるまでの準備時間を削減でき
る。

【００３１】ここで、マーク表示パネル３０５を命令ボ
タンとし、マーク表示パネル３０５をクリックすれば、
先頭フレーム検索ボタン３１５および末尾フレーム検索
ボタン３１６の両方をクリックしたのと同じになるよう
に処理を設定しても良い。このようにマーク表示パネル
３０５を命令ボタンにした場合、まず先頭フレーム検索
ボタン３１５がクリックされたのと同様に先頭フレーム
を検出するまで動画像を再生し、次いで、末尾フレーム
検索ボタン３１６がクリックされたのと同様に、末尾フ
レームを検出するまで動画像を再生するようにすれば良
い。

【００３２】この時、ユーザは、マーク設定ボタン３１
０でマークを設定した後、マーク表示パネル３０５をク
リックするという一回の操作で、所望のカットを自動的
に検出できる。同様に、マーク設定ボタン３１０に機能
を追加して、このマーク設定ボタン３１０をクリックす
るとフレームにマークを設定するだけではなく、先頭フ
レーム検索ボタン３１５および末尾フレーム検索ボタン
３１６の両方をクリックしたのと同じになるように処理
を設定しても良い。

【００３３】カット表示パネル３０６は、先頭フレーム
のフレーム画像表示領域３１７、フレーム番号表示ボッ
クス３１８、末尾フレームのフレーム画像表示領域３１
９、フレーム番号表示ボックス３２０、カット操作パネ
ル３２１から構成される。先頭フレームのフレーム画像
表示領域３１７には、先頭フレーム検索ボタン３１５が
クリックされて検出した先頭フレームの画像を表示す
る。フレーム番号表示ボックス３１８には、先頭フレー
ムのフレーム画像表示領域３１７に表示されたフレーム
のフレーム番号を表示する。同様に、末尾フレームのフ
レーム画像表示領域３１９とフレーム番号表示ボックス
３２０には、末尾フレーム検索ボタン３１６がクリック
されて検出した末尾フレームの画像や番号を表示する。

【００３４】このように、先頭と末尾のフレームをカッ
ト表示パネル３０６上に提示するので、ユーザは、先頭
および末尾を同時に確認できる。これによって、撮影中
のカメラの動き等カットの内容をユーザが把握しやすく
なり、カットを改めて再生したり、切り出したりする操
作を指示しやすくなる。こうした操作のために、カット
操作パネル３２１には、区間再生ボタン３２２、区間切
り出しボタン３２３が配置されている。区間再生ボタン
３２２は、フレーム番号表示ボックス３１８とフレーム
番号表示ボックス３２０に表示されているフレーム番号
区間の動画像を再生するための命令ボタンである。同様
に、区間切り出しボタン３２３は、区間再生しながら、
その区間の動画像を図２の補助記憶装置１０６に格納す
るための命令ボタンである。

【００３５】区間切り出しボタン３２３によって格納す
るカットの動画像ファイル名称は、例えば、マークした
フレームのフレーム番号に従って「hhmmssff」という数
字列にすれば良い。また、入力手段を別途に設けてファ
イル名を設定できるようにしても良い。ここで切り出し
たカットは即座に後工程の編集に利用できるので編集の
準備時間を削減できる。次に、このような図３における
表示画面を用いて本発明に係る動画像再生制御を行なう
処理例を、図４〜図９に基づき説明する。これらの図４
〜図９の処理は、図２における動画像処理装置１０４上
でＣＰＵ１０７によって実行される。

【００３６】図４は、本発明の動画像再生制御に係る処
理の全体の流れを示すフローチャートである。ユーザか
らプログラムの起動要求があると、図２において、ＣＰ
Ｕ１０７は補助記憶装置１０６からプログラムを読み出
し、メモリ１０９に格納する。図４において、ステップ
４０１〜４０４は処理開始に当たっての初期化処理であ
る。まず、ステップ４０１では、図２のＣＰＵ１０７は
対話再生処理に必要なメモリ領域を確保しリセットす
る。このメモリ領域には、フレーム画像データや変化点
検出に用いる色のヒストグラム等が今後格納される。格
納するデータの構造については後ほど図１１を用いて説
明する。

【００３７】ステップ４０２では、ディスプレイ装置１
０１に、図３に示した対話再生処理ウィンドウ３０１を
表示する。ステップ４０３では、動画像再生装置１１０
との通信の設定を初期化し、通信ポートを開いた後、動
画像再生装置１１０に制御命令を送信して、動画像再生
装置１１０の再生を一時停止状態（STAND BY ON）にす
る。このように、動画像再生装置１１０を停止状態では
なく一時停止状態にしておくことで、別の制御命令が送
られた時に動画像再生装置１１０を即座に動作させるこ
とができ、フレーム画像やフレーム番号を常に読み出す
ことができるようになる。

【００３８】ステップ４０４では、処理状態を示すフラ
グ群を初期化する。ここで、「flagQUIT」はユーザの終
了要求があったことを示す。「status」は、図２の動画
像再生装置１０１の動作状態を示す。「flagMark」はユ
ーザによってマークが設定されたことを示す。「flagI
N」はカットの先頭フレームが既に検出されていること
を示す。「flagOUT」はカットの末尾フレームが既に検
出されていることを示す。「flagMark」によって、マー
クが設定されていない間に誤って先頭や末尾を検出しよ
うとするのを防ぐことができる。また「flagIN」、「fl
agOUT」によって、マークが設定されているフレームに
ついて先頭あるいは末尾を複数回検出する無駄を省くこ
とができる。

【００３９】ステップ４０５では、ユーザの終了要求の
有無を判定し、要求がない間、ステップ４０６〜４１２
の対話再生処理を繰り返して実行する。ステップ４０６
では、現在のフレーム画像を入力する。フレーム画像
は、図２におけるインタフェース１０８を介して動画像
入力装置１０３から、動画像処理装置１０４上のメモリ
１０９に確保されたフレームバッファ１１０３に逐次格
納される（図１１参照）。

【００４０】この時、入力するフレーム画像は、ユーザ
が内容を確認できる程度の大きさ、あるいは変化点検出
に利用できる程度の大きさに間引いておいても良い。例
えば、幅１６０×高さ１２０画素や、幅８０×高さ６０
画素程度の大きさにしても良い。これによって、本発明
の処理で処理するデータ量や必要なメモリ量を減らすこ
とができ、データ転送の負荷を減らすことができるの
で、能力の低い計算機でも本発明の方法を実現できるよ
うになる。尚、表示の際には、必要な大きさに拡大して
表示するようにすれば良い。

【００４１】ステップ４０７では、図２の動画像再生装
置１１０にフレーム番号読み出し命令を送信して、現在
のフレーム番号を受信する。ステップ４０８では、ステ
ップ４０６、４０７で入力したフレーム画像やフレーム
番号をモニタ３０２に表示する。ステップ４０６〜４０
８をステップ４０５におけるループ中で実行することに
よって、図２のモニタ３０２上に常に現在の動画像を表
示できる。それゆえ、ユーザは、図３の動画像再生装置
操作ボタン群３１１を利用するのではなく、直接に、図
２の動画像再生装置１１０を操作して動画像の内容を確
認することもできる。

【００４２】次いで、ステップ４０９では、ユーザの要
求を検出する。ユーザの要求は図２のマウス１０５で命
令ボタンをクリックして入力される。それゆえ、クリッ
クの有無を判定してユーザの要求、例えば、本発明に係
るユーザ所望のフレームの指定の有無等を検出する。す
なわち、図２のマウス１０５がクリックされていた場
合、クリックされた位置と、図３の対話再生処理ウィン
ドウ３０１上の各命令ボタンの位置を比較して、選択さ
れた命令ボタンを判別する。命令ボタンがクリックされ
ていた場合、指定された命令ボタンが終了ボタン３０７
か否かを判定し（ステップ４１０）、終了ボタンであっ
た場合は、「flagQUIT」を「TRUE」にする（ステップ４
１１）。他の命令ボタンであった場合は、指定された命
令ボタンに応じた処理を実行する（ステップ４１２）。

【００４３】ステップ４１３〜４１５は、処理終了に当
たっての終了処理である。ステップ４１３では、図２の
動画像再生装置１１０に制御命令を送信して、動画像再
生装置１１０を停止状態（STAND BY OFF)にした後、通
信ポートを閉じる。ステップ４１４では、図２のディス
プレイ装置１０１上の対話再生処理ウィンドウを消去す
る。そして、ステップ４１５では、確保していたメモリ
領域を開放し、処理を終了する。

【００４４】図５は、図４のステップ４１２における処
理の詳細例を示すフローチャートである。本例は、指定
された命令ボタンに応じた処理の流れを示し、まず、ス
テップ５０１では、指定された命令ボタンに対応して処
理を分岐させる。図２の対話再生処理ウィンドウ３０１
に配置される命令ボタンの個数や種類の増減に応じて分
岐数、分岐判断を増減し、常に最適な処理が選択できる
ようにすれば良い。

【００４５】ステップ５０２〜５０５はそれぞれの命令
ボタンに応じた処理である。ステップ５０２は動画像再
生装置の制御処理であり、図２の動画像再生装置１１０
に制御命令を送信する。ステップ５０３はマーク設定処
理である。ステップ５０４はカットの先頭フレームある
いは末尾フレーム検索処理であり、マークが付けられた
フレームを含むカットの先頭フレームあるいは末尾フレ
ームを検出するまで動画像を再生する。ユーザが指定し
た命令ボタン３１５、３１６に応じて、先頭までの再生
あるいは末尾までの再生のいずれか一方を実行する。ス
テップ５０５は区間再生あるいは切り出し処理であり、
ユーザがマークを設定したカットに対して、ユーザが指
定した命令ボタン３２２、３２３に応じて、再生あるい
は切り出しのいずれか一方を実行する。

【００４６】図６は、図５のステップ５０２における処
理の詳細例を示すフローチャートである。本例は、動画
像再生装置制御処理の流れを示したフローチャートであ
り、ここで説明する制御処理は、図３における動画像再
生装置操作ボタン群３１１がクリックされた時ばかりで
なく、図２の動画像再生装置１１０を制御する処理とし
て本発明を実現するための処理全体に渡って広く利用す
ることができる。まず、ステップ６０１では、図２の動
画像再生装置１１０に制御命令を送信する。送信する制
御命令は、動画像再生装置操作ボタン群３１１のうち、
ユーザが指定した命令ボタンに対応した命令である。ス
テップ６０２では、動画像再生装置１１０の応答ステー
タスを受信する。

【００４７】ステップ６０３では、応答ステータスを判
定し、エラーが発生した場合には、ステップ６０４でエ
ラーメッセージをディスプレイ装置１０１に表示して処
理を中断する。正常に制御できた場合は、次のステップ
６０５〜６１１で、送信した制御命令に対応して、図２
の動画像再生装置１０１の動作状態を示す「status」を
更新する。例えば、制御命令がコマ送り、コマ戻しの場
合は、実行終了後に一時停止状態になるので「status」
を「PAUSE」にする（ステップ６０９、６１０）。以上
によって、ユーザの要求に応じて図２の動画像再生装置
１１０を制御することができ、動画像再生装置１１０の
動作状態を把握することができる。

【００４８】図７は、図５のステップ５０３における処
理の詳細例を示すフローチャートである。本例は、マー
ク設定処理の流れを示したフローチャートであり、ユー
ザが所望の動画像のフレームにマークを設定すると、シ
ステムは、マークが付けられたフレーム画像とフレーム
番号を読み取り、マーク情報として図２のメモリ１０９
に格納する。ただし、図２における動画像再生装置１１
０の動作状態が早送りや巻き戻しで現在再生中の動画像
が刻々と変化している場合、図２の動画像入力装置１０
３がフレーム画像をディジタル化する時点と、フレーム
番号が図２の動画像処理装置１０４に読み出される時点
との時間差によって、画像と番号の実際のフレームは異
なることがある。

【００４９】そのため、ステップ７０１〜７０５のよう
に、図２の動画像再生装置１１０の動作状態「status」
に従ってフレーム番号を微調整する。取り込みのフレー
ム差は、動作状態ごとに一定の値を取るため、予めパラ
メータとして蓄えておくことができる。このフレーム差
を、読み出したフレーム番号から減ずることで、フレー
ム画像とフレーム番号の両者のフレームを一致させるこ
とができる。このステップ７０１〜７０５の処理によっ
て、マーク情報の信頼性を高める。

【００５０】まずステップ７０１で、動作状態「statu
s」を判定する。「status」が「PAUSE」の場合、前述し
た取り込みのフレーム差は発生しないので、ステップ４
０６，４０７の処理で入力したフレーム画像およびフレ
ーム番号をそのままマーク情報に利用できる。すなわ
ち、マークの設定されたフレームの番号「Nmark」には
ステップ４０７で取得したフレーム番号を代入する（ス
テップ７０２）。「status」が「PAUSE」以外の場合、
ステップ４０９で命令ボタン判定に要した時間等のため
に、ステップ４０６，４０７で入力したフレームと現在
再生中のフレームにずれを生じることがある。

【００５１】それゆえ、フレーム画像、フレーム番号を
再度入力し直す。すなわち、ステップ７０３で、ステッ
プ４０６と同様にフレーム画像を入力し直し、ステップ
７０４で、ステップ４０７と同様にフレーム番号を入力
し直す。さらにステップ７０５で、前述のフレーム差を
考慮して、ステップ７０４で入力したフレーム番号から
「status」によるフレーム差を差し引いて微調整して
「Nmark」に代入する。ステップ７０６では、マーク付
けしたフレームの画像および番号「Nmark」をマーク情
報として図２のメモリ１０９上の別の領域に蓄える。フ
レーム画像については、図１１におけるフレームバッフ
ァ１１０３の画像をマーク情報用の領域に複写する。こ
の時、フレーム画像を表示に必要な大きさに間引いても
良い。さらに、図３のマーク表示パネル３０５上のフレ
ーム画像表示領域３１２およびフレーム番号表示ボック
ス３１３に表示する。

【００５２】ステップ７０７では、「flagMark」に「TR
UE」を代入して、ユーザによってマークが設定されたこ
とを登録する。以上によって、ユーザは動画像の内容を
確認している途中で、「この辺りが必要である」という
大まかな指定を与えることができるようになる。ステッ
プ７０８，７０９では、以前のマーク情報に基づいて検
出したカットの先頭および末尾のフレームに関する情報
をリセットする。すなわち、ステップ７０８では、先頭
や末尾のフレームの検出状況を示す「flagIN」および
「flagOUT」に「FALSE」を代入して初期化する。ステッ
プ７０９では、図３のカット表示パネル３０６に表示さ
れた先頭フレームと末尾フレームのそれぞれの画像およ
び番号の表示を消去する。

【００５３】図８は、図５のステップ５０４における処
理の詳細例を示すフローチャートである。本例は、ユー
ザがマークを付けたフレームを含むカットの先頭（末
尾）フレームを検索する処理の流れを示したものであ
り、ユーザが指定した命令ボタンが図３の先頭フレーム
検索ボタン３１５であった場合には、先頭フレームまで
を過去の時間軸方向（逆再生方向）に再生する。また、
ユーザが指定した命令ボタンが図３の末尾フレーム検索
ボタン３１６であった場合には、末尾フレームまでを未
来の時間軸方向（順再生方向）に再生する。このように
命令ボタンによって再生方向は変化するが、変化点を検
出する処理はどちらも同じ技術に従うため、以下、両者
をまとめて説明する。

【００５４】ステップ８０１では、ユーザによってマー
クが既に設定されているか否かを判定する。設定されて
いた場合、ステップ８０２〜８１０を実行し、マークが
まだ設定されていない場合には、何も実行しないでステ
ップ４０５のループ内の処理に戻る。ステップ８０２で
は、マークが設定されたフレームのフレーム番号「Nmar
k」と検索命令を図２の動画像再生装置１１０に送信し
て、「Nmark」のフレームで動画像再生装置１１０を一
時停止状態にする。

【００５５】ステップ８０３では、まず、ユーザが指定
した命令ボタンに応じて動画像を過去あるいは未来の時
間軸方向に再生しながら、再生した動画像をフレーム単
位で時系列に、図２の動画像入力装置１０３から、ステ
ップ４０６と同様の処理で入力する。能力の高い計算機
でこの入力処理を実行するには、図２の動画像再生装置
１１０に順方向再生あるいは逆方向再生命令を送信して
フレーム画像を入力する。また、能力の低い計算機でこ
の入力処理を実行するには、コマ送りあるいはコマ戻し
命令を、図２の動画像再生装置１１０に送信して、１コ
マごとに取り込むようにすれば良い。また、動画像再生
装置１１０が標準速度での逆再生機能を持たない場合に
は、コマ戻し命令を動画像再生装置１１０に送信して、
１フレーム毎に逆再生すれば良い。

【００５６】次に、このフレーム単位に画像の特徴量を
算出し、この特徴量と直前に算出した特徴量の間のフレ
ーム間相関係数を算出し、この相関係数の値が予め定め
た許容範囲の範囲外となった変化点を検出し、カットが
変化した直後のフレーム番号「n」を求める。変化点を
検出する技術は、先述した特願平７−３２０２７号「動
画像の変化点検出方法」に記された技術を利用すれば良
い。尚、この検出動作については、後ほど図１０で説明
する。

【００５７】ステップ８０４では、変化点の直前のフレ
ーム番号を算出する。変化点直後のフレーム番号「n」
から直前のフレーム番号を求め、先頭（末尾）フレーム
番号NchangeI (NchangeO)に代入する。ステップ８０５
では、上記で検出したフレーム画像および番号を、先頭
（末尾）フレーム情報として、ステップ７０６と同様に
蓄える。変化点が検出されるのは既にカットが変わった
後になるため、検出した時点に再生されているフレーム
画像を取り出すと、別のカットの画像になってしまう。
ここでは、図３に示すフレームバッファ１１０３に数枚
のフレーム画像が蓄えられる程度のメモリを割り当て、
リングバッファにすることによって、常に最近の数フレ
ームの画像を蓄える。このリングバッファに最新の画像
を入れる時、最も古い画像に上書きする。これによっ
て、変化点直前のフレーム画像は該リングバッファから
取り出せるようになる。

【００５８】ステップ８０６では停止位置の微調整を行
う。すなわち、変化点が検出されるのは既にカットが変
わった後になるため、検出した時点で再生を停止すると
別のカットで停止することになる。そこで、現在の再生
方向とは逆の方向に再生しすぎたフレーム数だけ戻して
一時停止する。これによって動画像の再生を、ユーザが
指定したフレームを含むカットの先頭あるいは末尾で止
めることができる。また一時停止にしておけば、停止位
置のフレーム画像を図３のモニタ３０２に表示し続ける
ことができ、ユーザにカットの先頭あるいは末尾を提示
し続けることができる。

【００５９】ステップ８０７では、「flagIN」あるいは
「flagOUT」に「TRUE」を代入して、先頭フレームある
いは末尾フレームが検出されたことを登録する。ステッ
プ８０８では、先頭フレームおよび末尾フレームの検出
状態を判定する。両方のフレームが検出されていれば、
ステップ８０９において、「flagMark」に「FALSE」を
代入する。このステップ８０９の処理によって、同じマ
ークに対して図３の命令ボタン３１５（３１６）が指定
されても、同じ先頭（末尾）フレームを複数回検出する
無駄を避けることができる。

【００６０】ステップ８１０では、ステップ８０５で格
納した先頭（末尾）フレームのフレーム画像およびフレ
ーム番号を図３のカット表示パネル３０６上の先頭フレ
ームのフレーム画像表示領域３１７およびフレーム番号
表示ボックス３１８（末尾フレームのフレーム画像表示
領域３１９およびフレーム番号表示ボックス３２０）に
表示する。このように、図３のモニタ３０２だけではな
くカット表示パネル３０６上に先頭フレームおよび末尾
フレームを表示することによって、ユーザが図２の動画
像再生装置１１０を操作して、図３のモニタ３０２上の
表示が変更されてもカットの先頭や末尾をユーザに提示
できる。

【００６１】以上のステップを実行することによって、
ユーザは図３の命令ボタン３１５（３１６）をクリック
するだけで、マークを設定したフレームを含むカットの
先頭（末尾）で再生を停止することができるようにな
り、手作業で探し出す必要がなくなる。また、動画像の
変化点を検出するのは、カットの先頭フレームあるいは
末尾フレームの各１点に限定できるので、編集に取りか
かるまでの準備時間を削減できるようになる。

【００６２】ここで、図３のマーク表示パネル３０５を
命令ボタンとした場合には、このマーク表示パネル３０
５がクリックされると上記のステップ８０１を実行し、
次いで先頭フレーム検索再生および末尾フレーム検索再
生の各々についてステップ８０２〜８１０を１回ずつ実
行する。この時、ユーザは図３のマーク設定ボタン３１
０によりマークを設定した後、図３のマーク表示パネル
３０５をクリックするという一回の操作で所望のカット
を自動的に検出できるようになる。この時、先頭フレー
ム検索再生、末尾フレーム検索再生の順に実行するよう
にすれば、動画像の再生はカットの末尾で停止するよう
になる。

【００６３】同様に、図３のマーク設定ボタン３１０に
機能を追加した場合、このマーク設定ボタン３１０がク
リックされると、図７に示したマーク設定処理を実行し
た後、先頭フレーム検索再生および末尾フレーム検索再
生を実行するようにする。この時、ユーザは図３のマー
ク設定ボタン３１０をクリックするという一回の操作で
所望のカットを自動的に検出できるようになる。

【００６４】図９は、図５のステップ５０５における処
理の詳細例を示すフローチャートである。本例は、区間
再生あるいは区間切り出し処理の流れを示し、図３のカ
ット操作パネル３２１上の区間再生ボタン３２２あるい
は区間切り出しボタン３２３をユーザが指定すると、前
述のステップ５０３、５０４を通じてユーザが指定した
フレームを含むカットが既に検出されている場合、検出
したカットを再生し直したり、ディジタル化して図２の
補助記憶装置１０６に格納する。

【００６５】まず、ステップ９０１では、カットが既に
検出されているかどうかを判定する。検出状態を示す
「flagIN」および「flagOUT」の値がともに「TRUE」な
らば、ステップ９０２を実行する。いずれかが「FALS
E」ならば、何も実行しないで図４のステップ４０５の
ループ内の処理に戻る。次に、ステップ９０２では、指
定された命令ボタンに応じて区間再生あるいは区間切り
出しを行う。

【００６６】区間再生の場合、図８のステップ８０５で
図２のメモリ１０９上に格納した先頭フレームおよび末
尾フレームのフレーム番号「NchangeI」および「Nchang
eO」を読み出し、「NchangeI」から「NchangeO」までの
区間再生命令を図２の動画像再生装置１１０に送信し、
再生されるフレームを読み込んでモニタ３０２に表示す
る。区間切り出しの場合、区間再生に加えて、読み込ん
だフレームを図２の補助記憶装置１０６に格納する。格
納するフレーム画像は、編集に十分な画質、大きさで図
２の動画像入力装置１０３から補助記憶装置直接１０６
に格納するようにしても良い。格納するファイル名称
は、例えば、「NchangeI」の値を文字列に変換して設定
する。ここで切り出したカットは即座に後工程の編集に
利用できるので編集の準備時間を削減でき、従来の動画
像編集装置とカット分割機能を効果的に連携動作させる
ことができるようになる。

【００６７】図１０は、本発明に係る動画像のカットの
変化点検出動作例を示す説明図である。動画像のカット
変化点を検出には、先述したように、特願平７−３２０
２７号「動画像の変化点検出方法」に記された技術を利
用すれば良い。以下、この変化点検出技術を簡単に説明
する。尚、本例は、過去の時間軸方向（逆再生方向）に
動画像を再生している場合を示しており、フレーム番号
は「n+1，n，n-1」と再生が進むにつれて小さくなって
いく。

【００６８】この変化点検出技術では、フレームごとに
フレーム画像「fn」の特徴量として色のヒストグラム
「Hn」を作成する。色ヒストグラムは、一枚のフレーム
画像全体における、同じ色の画素の出現頻度である。例
えば、「RGB各２bit ６４色」の色ヒストグラムを作成
する場合、フレーム画像「fn」の各画素の「RGB」色の
値を各上位２bitを取り出して６４色に縮退し、それぞ
れの色の画素数を計数して、色ヒストグラム１００２を
作成する。色ヒストグラムは配列「Hn(i)（i=０、１、
・・、６３）」で表現する。次いで、隣接するフレーム
画像「fn+１」とフレーム画像「fn」との間で色のヒス
トグラム「Hn+1」,「Hn」の相関係数「R1n」を計算する。

【００６９】また、さらにフレーム画像「fn+2」とフレ
ーム画像「fn」の間で色のヒストグラム「Hn+2」,「Hn」
の相関係数「R2n」を計算する。相関係数「R1n」,「R2n」
は、統計処理でよく用いられるカイ２乗検定の計算式や
特開平４−１１１１８１号公報（特願平２−２３０９３
０号「動画像の変化点検出方法」）に記された計算式等
を用いて算出できる。相関係数「R1n」,「R2n」の値は、
フレーム画像の色や絵柄が似ていると小さくなり、逆に
似ていないと大きくなる。そこで、相関係数「R1n」,「R2
n」を予め定めた閾値と比較して大小を判定する。「R1n
+1」が大、「R1n」が小、「R2n」が大となっていれば、
フレーム画像「fn+2」とフレーム画像「fn+1」の間が変
化点であると判定し、変化点１００１が検出できる。こ
の時、この検出処理では、変化した直後のフレーム番号
「n+1」を変化点として記録する。

【００７０】このような変化点の検出では、変化点を検
出できるのは変化点１００１から２フレーム後になるの
で、カットの先頭や末尾で停止させるために図８におけ
るステップ８０４や８０６では停止位置を微調整する。
図１０中の１００３は、図１１のフレームバッファ１１
０３に蓄えるフレームを表す。上記のように、変化点１
００１が検出されるのは、フレーム画像「fn」を取り込
んで評価した時点である。そのため、フレーム１００３
のように最低３フレーム分の画像をバッファに蓄えてお
けば、変化点１００１の直前のフレーム画像「fn+2」を
図３のカット表示パネル３２０上に表示することができ
る。

【００７１】図１１は、図２におけるシステムの処理デ
ータの構造例を示す説明図である。各データは、図２の
メモリ１０９、または補助記憶装置１０６に格納され
る。尚、ここでは、現在のフレームを「m」、直前のフ
レームを「m-1」、さらに直前のフレームを「m-2」と表
記する。フレーム情報１１０１は、フレーム番号１１０
４、フレーム画像の幅１１０５、フレーム画像の高さ１
１０６、フレーム画像データ１１０７から構成され、マ
ーク情報、先頭フレーム情報、および末尾フレーム情報
の３つのフレームの情報を格納する。

【００７２】色ヒストグラムバッファ１１０２は、図１
０で示した変化点検出に用いるリングバッファであり、
常に最近の３フレーム分の色ヒストグラムを格納する。
ヘッダ１１０８には、ヒストグラムを取る色の総数（図
１０の場合６４色）、頻度値を格納する配列要素のデー
タサイズ等、色ヒストグラムバッファ１１０２全体に関
する情報を格納する。先頭オフセット１１０９は、各フ
レームの色ヒストグラムが色ヒストグラムバッファ１１
０２中のどの位置から格納されているかを示す先頭位置
の値である。現在のオフセット１１１０は、現在フレー
ム「m」の色ヒストグラム配列の格納開始位置を示す値
である。

【００７３】図１１において、１１１１〜１１１３はフ
レームごとの色ヒストグラムの配列である。この配列の
データサイズは、ヘッダ１１０８の色の総数、配列要素
のデータサイズの積で求められるので、各色ヒストグラ
ム１１１１〜１１１３のオフセットは先頭オフセット１
１０９と配列のデータサイズとから容易に計算できる。
次のフレームの色ヒストグラムが求められた場合、この
ヒストグラムは最も古いフレーム「m-2」のヒストグラ
ムに上書きする。ここでは色ヒストグラム１１１３に上
書きする。この時、現在のオフセットを、色ヒストグラ
ム１１１２のオフセットから色ヒストグラム１１１３の
オフセットに書き換える。

【００７４】フレームバッファ１１０３は、最近の３フ
レーム分のフレームに関する情報を格納するリングバッ
ファである。フレームバッファ１１０３には、図４のス
テップ４０６，４０７等で読み込まれたフレーム画像や
フレーム番号を格納する。ヘッダ１１１４には、フレー
ム画像の幅、高さ、１画素当たりのデータサイズ、１フ
レーム当たりの属性データのデータサイズ等、フレーム
バッファ１１０３全体に関する情報を格納する。

【００７５】先頭オフセット１１１５は、フレーム画像
データバッファ１１１９がフレームバッファ１１０３中
のどの位置から格納されているか（先頭位置の値）を示
す。現在のオフセット１１１６は、現在フレーム「m」
のフレーム画像データの格納開始位置を示す値である。
同様に、属性データの先頭オフセット１１１７は、画像
属性バッファ１１２０のフレームバッファ１１０３中の
格納先頭位置の値を示し、現在の属性データのオフセッ
ト１１１８は、現在フレーム「m」の属性データの格納
開始位置を示す値である。

【００７６】フレーム画像データバッファ１１１９に
は、各フレームのフレーム画像データを格納し、画像属
性バッファ１１２０には、各フレームの画像属性データ
を格納する。ここで画像属性とは、フレーム番号等、個
々のフレーム画像に関する情報である。各フレーム画像
データや属性データのオフセットも上記の色ヒストグラ
ムバッファ１１０２の場合と同様に、ヘッダ１１１４の
情報を用いて容易に計算できる。データの書き換えも色
ヒストグラムバッファ１１０２と同様に行う。フレーム
画像データバッファ１１１９と画像属性バッファ１１２
０のフレームごとの情報は、同じ順序に並ぶように格納
され、同じフレームに関する情報は一対一に対応付ける
ことができる。

【００７７】尚、ここで示した各データのデータサイズ
であるが、フレーム画像データのデータサイズは、幅１
６０画素、高さ１２０画素、RGB各１bitの場合、１フレ
ーム当たり５７．６ＫＢである。フレームバッファに格
納する３フレームと、マーク情報、先頭（末尾）フレー
ム情報の３フレームとの合計６フレームでも３５０ＫＢ
弱である。また、色ヒストグラム配列は１色当たり４by
teあれば十分頻度値を格納できるが、３フレーム分でも
１ＫＢに満たない。それゆえ、メモリ量が比較的少ない
計算機でも本発明は十分に実装可能である。

【００７８】以上によって、ユーザは、動画像を確認し
ながら所望のフレームを選択でき、このフレームを含む
カットを検出することができ、素材映像全体を再生する
よりも短い時間でカット分割処理を終えることができ
る。次に、素材映像の全体構造を代表画像の一覧表でユ
ーザに提示し、一覧から所望の代表画像をユーザが選択
すると該代表画像を含むカットを自動的に検出する実施
例について説明する。

【００７９】図１２は、本発明に係る代表画像の一覧の
表示画面の構成例を示す説明図である。本例では、一覧
表示ウィンドウ１２０１に、予め定めた時間間隔で取り
込んだフレーム画像を代表画像１２０２として表示す
る。この時、各代表画像のフレーム番号１２０３を代表
画像１２０２に合わせて表示する。１２０９はスクロー
ル・バーであり、スクロール・ボックス１２１０のドラ
ッグやスクロール・アロー１２１１のクリックによって
一覧表示ウィンドウ１２０１上の表示をスクロールして
変更する。これらによって、素材映像にどのような画像
が、どのような順番で、映像中のどの辺りの位置に撮影
されているのかを一望できるので、ユーザが素材映像の
全体構造を把握するのが容易になる。

【００８０】このような代表画像の一覧を作成するに
は、図２の動画像再生装置１１０に対して高速再生命令
を送信し、高速再生状態で一定時間間隔にフレーム画像
を読み込む。また同時にフレーム番号を読み込み、図７
のステップ７０５における処理と同様に読み込みのフレ
ーム差を微調整する。そして、フレーム画像とフレーム
番号を一覧表示ウィンドウ１２０１上に表示する。フレ
ーム画像やフレーム番号の入力は、先に述べた図４のス
テップ４０６、４０７における処理に従う。

【００８１】動画像を高速再生することで、代表画像の
一覧を素早く作成することができる。例えば、図２の動
画像再生装置１１０として、一般にプロ用の編集でよく
使われるβカム・ビデオデッキを用いるとする。このビ
デオデッキでは８倍速の高速再生が可能であるため、一
時間の素材映像から８分弱で代表画像の一覧を作成でき
ることになる。但し、このように単純に一覧を作成する
時、被写体やカメラに動きの少ない動画像に対しては、
同じような絵柄の代表画像が何枚も続いて表示されるこ
とがある。また、代表画像の枚数を減らして全体を一望
しやすくするために代表画像を取り込む時間間隔を長く
すれば、この時間間隔よりも短いカットについては代表
画像が取り込めないことがある。そのため、ここでは十
分短い時間間隔（例えば数秒程度）で代表画像を取り込
み、類似した代表画像は自動的に一つにまとめるように
する。１２０４は一つにまとめられた代表画像である。

【００８２】以下、このように、類似した代表画像をま
とめて、代表画像の枚数を減らして全体を一望しやすく
する技術について説明する。新たに代表画像としてフレ
ーム画像１２０５を取り込んだ時、直前に一覧表示ウィ
ンドウ１２０１に表示した代表画像１２０６との相違度
を算出する。画像の相違度には、図１０で説明した変化
点の検出の相関係数を利用する。フレーム画像１２０５
と代表画面１２０６の色ヒストグラムの相関係数「R」
を算出し、この「R」を予め定めた閾値と比較して、
「R」の値が大きいと判定した場合にのみ、フレーム画
像１２０５を代表画像として表示する。逆に「R」の値
が小さいと判定した場合には、代表画像１２０４で示す
ように代表画像１２０６の厚みを増やして、複数枚の画
像を１つにまとめていることがユーザに容易に分かるよ
うに表示する。

【００８３】このようにして、同じような絵柄の代表画
像を続けて表示することを防ぐことができる。また、ま
とめられた代表画像は、その厚みによって何枚程度の画
像がまとめられたのかが一目でわかり、隣接する代表画
像間の時間差がフレーム番号を見なくても把握できる。
これにより、素材映像全体を自動カット分割するのに近
い一覧をも素早く作成できる。但しこの技術では、素材
映像中の被写体の動きが激しい時には相関係数Rの値が
大きくなるため、代表画像を続けて表示する。しかし、
この場合は逆に代表画像から被写体の動きを捉えること
ができるため、ユーザは動画像をあらためて再生して内
容確認する必要がなくなる。カットを検出する場合に
は、図１０の変化点検出技術では動きの激しい場面の３
枚のフレーム画像の間の相関係数はすべて大となり、変
化点は検出されない。それゆえ動きに惑わされずにカッ
トを検出できるので問題はない。

【００８４】次に、一覧から所望の代表画像をユーザが
選択すると、この代表画像を含むカットを自動的に検出
する技術について説明する。１２０７はマウスカーソル
である。まず、図２のマウス１０５がクリックされて代
表画像１２０８が選択されると、代表画像１２０８を反
転表示して選択されていることを示す。この時、代表画
像１２０８のフレーム番号を読み出して、図２の動画像
再生装置１１０に、このフレーム番号のフレームを検索
する検索命令を送信し、検索が終了すると図２の動画像
再生装置１１０を一時停止にする。次いで、代表画像１
２０８をマークが設定されたフレームとして、カットの
先頭フレームおよび末尾フレームを検出する。

【００８５】この時の処理は、図７のマーク設定処理、
図８の先頭（末尾）フレーム検索再生処理を用いれば良
い。これによって、ユーザは、素材映像の全体構造を見
渡しながら所望のフレームを選択できるので、所望のカ
ットだけを効率よく切り出すことができる。ここで、代
表画像１２０８がクリックされた途端にカットを検出す
る代わりに、ユーザが、代表画像１２０８を選択した上
で、図３のマーク設定ボタン３１０をクリックしてマー
クを設定するようにしても良い。同様に、図３の先頭フ
レーム検索ボタン３１５や末尾フレーム検索ボタン３１
６をクリックして先頭や末尾を検索するようにしても良
い。なお、マウス操作については、別の代表画像をクリ
ックすれば前の選択を解除したり、選択中の代表画像を
もう一度クリックすると選択解除するようにしても良
い。

【００８６】図１３は、本発明の動画像の再生制御の操
作に係る表示画面の第２の具体例を示す説明図である。
本例は、図１２における代表画像の一覧作成機能を有す
る操作画面例であり、対話再生処理ウィンドウ１３０１
は、図２のディスプレイ装置１０１に表示され、ユーザ
とシステムの対話環境を提供する。対話再生処理ウィン
ドウ１３０１は、図３で説明したモニタ３０２、動画像
再生装置操作パネル３０３、マーク設定パネル３０４、
マーク表示パネル３０５、カット表示パネル３０６、終
了ボタン３０７と、一覧表作成パネル１３０２を有す
る。

【００８７】動画像再生装置操作パネル３０３上の各操
作命令ボタンによって、ユーザは、一覧の作成を開始し
たいフレーム位置に動画像を頭出ししておく。一覧作成
パネル１３０２には、一覧を作成開始する開始ボタンと
作成終了する終了ボタンを配置する。ユーザが開始ボタ
ンを指定すると、図１２で説明した手順でで代表画像の
一覧が作成される。また、ユーザが終了ボタンを選択す
ると一覧作成は終了し、図１２の一覧表示ウィンドウ１
２０１上に代表画像が提示される。

【００８８】図１４は、図１２における代表画像の一覧
を構成するためのデータ構造例を示す説明図である。一
般に代表画像の総数は数十枚を超え、データ量が大きく
なることが予想されるため、代表画像データは、図２の
補助記憶装置１０６に格納し、表示に応じて必要枚数分
だけ図２のメモリ１０９に読み出してユーザに提示す
る。代表画像情報リスト１４０１は、代表画像の一覧に
関する情報を格納するものであり、ヘッダ１４０２に、
代表画像の総数Ｎ、取り込み時間間隔、代表画像の幅、
高さ、１画素当たりのデータサイズ等、代表画像の一覧
全体に関する情報を格納する。また、１４０３〜１４０
５は、代表画像ごとの代表画像情報１４０６を格納する
データ領域である。

【００８９】代表画像情報１４０６は、代表画像のフレ
ーム番号１４０７、類似性を判断してまとめられた代表
画像の枚数１４０８、代表画像のフレーム画像１４０９
からなる。図１２の一覧表示ウィンドウ１２０１上に代
表画像を表示する際には、ヘッダ１４０２と、表示に用
いる枚数分の代表画像情報１４０６とを、図２のメモリ
１０９に読み出しておく。読み出すべき代表画面情報１
４０６は、図１２のスクロール・ボックス１２１０の位
置と代表画面の総数Nと一覧表示ウィンドウ１２０１上
の表示枚数から算出できる。

【００９０】以上によって、ユーザは動画像を確認しな
がら所望のフレームを選択するのではなく、高速に作成
した代表画像の一覧から所望のフレームを選択でき、選
択すると自動的に所望のフレームを含むカットを検出す
ることができ、素材映像全体を再生するよりも短い時間
でカット分割処理を終えることができる。ここまでに説
明した動画像の再生制御技術では、ユーザとシステムが
対話的に所望のカットを一つ一つ検出しているが、ユー
ザが、予めシステムと対話的に所望のフレームを複数選
択しておいて、各フレームを含むカットの検出は後でま
とめて実行することもできる。

【００９１】以下、ユーザが複数選択したフレームにつ
いてリストを作成し、このリストに従ってカットをバッ
チ処理で検出する技術について説明する。カットをバッ
チ処理で検出するには、次の図１５に示すように、検出
処理の入力と出力を格納するカット情報リストを準備す
れば良い。検出処理の入力は、ユーザが選択したフレー
ムの情報の一覧であり、検出処理の出力は、先頭および
末尾フレームの情報の一覧である。

【００９２】図１５は、本発明に係るカット情報リスト
の表示画面例を示す説明図である。カット検出パネル１
５０１は、カット情報表示パネル１５０２とカット検出
ボタン１５０７とカット操作パネル３２１からなる。カ
ット情報表示パネル１５０２は、表形式の構成で、行方
向にはマーク情報フィールド１５０３と先頭フレーム情
報フィールド１５０４と末尾フレーム情報フィールド１
５０５とを並べ、列方向にはカット情報１５０６を並べ
る。

【００９３】各カット情報１５０６について、マーク情
報フィールド１５０３のフレームがカット検出処理の入
力になり、先頭フレーム情報フィールド１５０４と末尾
フレーム情報フィールド１５０５のフレームが出力にな
る。ここで、カット検出パネル１５０１は、マーク表示
パネル３０５およびカット表示パネル３０６の２つのパ
ネルの代わりに、図３の対話再生処理ウィンドウ３０１
や図１２の一覧表示ウィンドウ１２０１上に表示する。
あるいは、カット検出パネル１５０１を１つのウィンド
ウとして図２のディスプレイ装置１０１に表示してもよ
い。

【００９４】選択フレームの一覧を作成する処理は、対
話的に進める。すなわち、ユーザが図３のマーク設定ボ
タン３１０をクリックしたり、図１２の一覧表示ウィン
ドウ１２０１上の代表画面をクリックしたりして選択し
たフレームを、マーク情報としてリスト中に蓄える。ま
た格納に伴い、カット情報表示パネル１５０２上のマー
ク情報フィールド１５０３に、このマーク情報を表示す
る。これによって一覧が作成できると、カット検出のバ
ッチ処理は実行可能である。

【００９５】カット検出ボタン１５０７はカット検出の
バッチ処理を実行するための命令ボタンである。選択フ
レームの一覧作成後にユーザによってカット検出ボタン
１５０７がクリックされると、カット情報リスト中の各
マーク情報について、カット検出を自動的に行う。ま
ず、このマーク情報のフレームを含むカットの先頭フレ
ームを検出し、検出したフレームを先頭フレーム情報と
してリストに格納する。次いで、同様に末尾フレームを
検出し、末尾フレーム情報としてリストに格納する。ま
た、これらのフレーム情報を、先頭フレーム情報フィー
ルド１５０４、末尾フレーム情報フィールド１５０５に
表示する。ここで、先頭および末尾フレームの検出処理
は、図８のステップ８０２〜８１０の処理を１回ずつ実
行すれば良い。

【００９６】このようにして、すべてのマーク情報につ
いてカットの自動検出が終了するまでの間、ユーザは別
の作業を進められる。また、カット情報表示パネル１５
０２上のカット情報番号をマウスでクリックすれば、該
当するカットが選択できるようにする。この時、カット
情報１５０６を反転表示して、選択されたことを示すよ
うにする。１２０７はマウスカーソルであり、本図１５
の例では番号「２」のカット情報が選択されている。こ
れによって、カット操作パネル３２１上の命令ボタンで
検出したカットをもう一度再生したり、ディジタル化し
て取り込んだりできるようになる。

【００９７】図１６は、図１５におけるカット情報リス
トのデータ構造例を示す説明図である。カット情報リス
トは、データ量が大きくなっても構わないように図２の
補助記憶装置１０６に格納し、表示の必要に応じて必要
枚数分だけ図２のメモリ１０９に読み出してユーザに提
示する。カット情報リスト１６０１のヘッダ１６０２に
は、カット情報の総数Ｎ、フレーム画像の幅、高さ、１
画素当たりのデータサイズ等、１６０１全体に関する情
報を格納する。カット情報リスト１６０１における１６
０３〜１６０５は、カットごとのカット情報１６０６を
格納するデータ領域である。

【００９８】カット情報１６０６は、マーク情報１６０
７、先頭フレーム情報１６０８、末尾フレーム情報１６
０９からなり、マーク情報１６０７はユーザがマークを
設定したフレームの情報である。先頭フレーム情報１６
０８、末尾フレーム情報１６０９はカットの先頭あるい
は末尾のフレームの情報である。マーク情報１６０７か
ら末尾フレーム情報１６０９には、図１１におけるフレ
ーム情報１１０１のようにフレーム番号やフレーム画像
を格納する。フレーム番号は正数値であるから、マーク
情報１６０７から末尾フレーム情報１６０９のフレーム
番号には初期状態で負の値を代入しておく。この時、フ
レーム番号の値の正負によってマークの未設定やカット
の未検出がわかる。

【００９９】ここで、カット情報リストは図２の補助記
憶装置１０６に格納するので、図２の動画像処理装置１
０４の電源を切ってもなくなることはない。図２の補助
記憶装置１０６上のカット情報リストのファイルにユー
ザが名前を付けられるようにし、随時、この補助記憶装
置１０６から読み出せるようにすれば、ユーザは好きな
時に作業を中断したり、再開したりできるようになる。
以上によって、ユーザが選択したフレームを含むカット
を自動検出して、素材映像全体を再生するよりも短い時
間でカット分割処理を終えることができるようになるだ
けではなく、カットの自動検出中にはユーザは別の作業
を進めることができる。

【０１００】以上説明した動画像の再生制御では、フレ
ーム画像の特徴から動画像の変化点を検出してカットを
検出している。しかし音声に関係なくカットを検出した
場合、発話中にカットを分割することがあり、編集でカ
ットをつないだ時にカットのつなぎ目で登場人物の発言
が途切れることがあるので問題である。これを解決する
ためには、画像特徴から動画像の変化点が検出された場
合、その時の音声信号を調べて、音声が入っているなら
ば、次に音声が変化した点（音声がなくなった無音点、
登場人物の発言が途絶えてBGM等の背景音だけになった
発言終了点等）を変化点として検出するようにすれば良
い。以下、音声の特徴を利用する動画像の変化点の変出
技術について説明する。

【０１０１】図１７は、本発明の動画像の再生制御の操
作に係る表示画面の第３の具体例を示す説明図である。
本例は、停止位置の補正に音声特徴を利用した操作画面
例を示すもので、対話再生処理ウィンドウ１７０１は、
図３で説明したモニタ３０２、動画像再生装置操作パネ
ル３０３、マーク設定パネル３０４、マーク表示パネル
３０５、カット表示パネル３０６、終了ボタン３０７
と、特徴量チェックボックス１７０２およびカット表示
パネル１７０３からなり、図２のディスプレイ装置１０
１に表示され、ユーザとシステムの対話環境を提供す
る。

【０１０２】特徴量チェックボックス１７０２には、変
化点の検出に用いることのできる特徴量の一覧を提示
し、ユーザが自分の意図に応じた特徴量を選択できるよ
うにする。本例では、画像の特徴量（図中、Imageと記
載）、音声の特徴量（図中、Soundと記載）、および両
者の組み合わせ（図中、Image + Soundと記載）を提示
しており、ここでは両者の組み合わせ（Image + Soun
d）が選択されている。ユーザが「Image」を選択してい
る場合には、前述したように画像の特徴量に基づいて変
化点を検出する。

【０１０３】本例のように、「Image + Sound」を選択
している場合には、まず画像の特徴量に基づいて変化点
の検出を行い、変化点を検出した時点で音声の特徴量の
変化点検出に切り替える。この音声の変化点検出では、
画像の変化点を検出した時点から音声信号を調べて、次
に音声が変化した点を検出し、音声の変化点を動画像の
変化点として記録する。カット表示パネル１７０３に
は、特徴量の表示１７０４を図３におけるカット表示パ
ネル３０６に加える。この時、先頭フレーム表示領域１
７０５には画像の特徴量に基づいて検出したフレーム画
像と音声の特徴量に基づいて検出したフレーム画像の両
者を表示するようにし、各々のフレーム番号を表示す
る。さらに、実際に先頭フレームを検出した場合には、
画像と音声のどちらの特徴量を用いたかが分かるよう
に、特徴量の表示１７０４を強調表示する。末尾フレー
ム表示領域１７０６についても同様である。

【０１０４】本例では、先頭フレームについては画像の
変化点と音声の変化点が共に、同じフレームで検出され
たことを示しており、末尾フレームについては音声の変
化点が検出されたことを示している。以上によって、画
像の特徴の変化点と音声の特徴の変化点のどちらの変化
点で停止したのかを表示できるので、ユーザは一層、自
分の意図に即したカットを検出できる。また、音声の変
化点を検出することで、発話中にカットを分割するのを
防ぐことができる。

【０１０５】図１８は、図１７における音声の特徴の変
化の検出対象となる音声信号例を示す説明図である。本
図１８においては、横軸が時間で、縦軸が音声信号の振
幅を示す。無音区間は、振幅の絶対値が予め定めた閾値
「Sth」よりも小さい区間である。無音点は無音区間の
開始点として検出できる。ただし、人物の発話中にも言
葉の合間で発言が瞬断して振幅が小さくなることがあ
る。このような瞬間的な無音区間によって無音点を誤検
出しないように、１フレーム分の音声データごとに無音
区間か否かを判定し、予め定めた一定フレーム数以上に
渡って振幅が小さい場合に無音点を検出する。登場人物
の発言が途絶えてBGM等の背景音だけになった発言終了
点の検出については、画像の色ヒストグラムに代わる特
徴量として、音声信号の自己相関係数を用いる。

【０１０６】人間の音声は自己相関が高いことが一般に
知られている。音声波形ｘ(t)のサンプル値｛ｘn｝、n
= 0、 1、 ...、 N-1が与えられた時、自己相関係数ｒi
は次式で計算できる。

【数１】 この「ｒi」を「Hn(i)」と見なして、変化点の検出を行
う。人間の音声の基本周波数は50Hz〜500Hz程度なの
で、「i」の最大値は｛ｘn｝を１KHz（＝１msec）程度
でサンプリングし直した時に得られるデータ数を用いれ
ば良い。

【０１０７】ここで、音声の変化点検出に用いるデータ
構造は、図１１における画像の場合のフレームバッファ
１１０３と同様とする。フレーム画像の代わりに１フレ
ーム分の音声信号を格納する形式とすれば良い。音声信
号を調べる場合、音声信号は一定時間分（例えば１秒間
＝３０フレーム分）のデータを常に図２のメモリ１０９
上のリングバッファに蓄えておく。音声データをサンプ
リング周波数１０KHz、１６bit、ステレオで取り込んだ
場合、１秒間のデータ量は４０KB程度なのでメモリの負
担にはならない。１フレーム分の音声データを読み込ん
だ時、バッファの最も古いフレームの音声データを最新
の音声データに置き換えて格納する。またこの時、１フ
レーム分の音声データから無音区間か否かを判定し、音
声属性データに無音区間か否かを示す状態ラベルを格納
する。また音声信号の自己相関係数を算出する。音声の
自己相関係数は画像の場合の色ヒストグラムに該当す
る。さらに、この自己相関係数からフレーム間の相関係
数「R」を算出し、音声属性データに格納する。

【０１０８】以上、図１〜図１８を用いて説明したよう
に、本実施例の動画像の再生制御方法およびシステムに
よれば、ユーザは、動画像の内容を確認しながら、所望
のカットだけを簡便に切り出すことができるので、従来
のジョグ、シャトルによるカットの精密な頭出し作業が
不要になり、作業効率を大幅に向上することができる。
また、高速に作成した代表画像の一覧から所望のフレー
ムをユーザが選択することにより、このフレームを含む
カットを自動的に検出することができるので、素材映像
全体を再生するよりも短い時間でカット分割処理を終え
ることができる。これは緊急度の高い編集用途に有効で
ある。さらに、検出したカットは即座に後工程の編集に
利用できるので、従来の動画像編集装置とカット分割機
能を効果的に連携動作させることができる。

【０１０９】尚、本発明は、図１〜図１８を用いて説明
した実施例に限定されるものではなく、その要旨を逸脱
しない範囲において種々変更可能である。例えば、素材
映像がすべてディジタル化されてディジタル動画像とし
て図２の補助記憶装置１０６に格納されている場合で
も、本発明の動画像の再生制御技術を利用してカットご
とに再生したり、図２の補助記憶装置１０６の別領域に
格納し直したりすることができる。すなわち、ディジタ
ル動画像を扱う場合、図２における動画像再生装置１１
０を制御したり、動画像入力装置１０３からデータを入
力したりする代わりに、補助記憶装置１０６内の動画像
データファイルを操作するようにする。そして、先に述
べた変化点の検出処理等、本発明の処理は、動画像デー
タファイルからフレームごとの画像や音声のデータを読
み出すことによって同様に実行できる。それゆえ、ディ
ジタル動画像編集システムの場合でも、ユーザが選択し
たフレームを含むカットを自動的に検出することがで
き、素材映像全体を再生するよりも短い時間でカット分
割処理を終えることができる。

【０１１０】

【発明の効果】本発明によれば、動画像からのカットの
自動抽出を、ユーザが所望するカットに限定して行なう
ので、ユーザは、高速再生中の動画像から直接、所望の
（フレームを含む）カットのみを、自動的にかつ正確に
得ることができ、動画像の編集を高効率的に行なうこと
が可能である。

【図面の簡単な説明】

【図１】本発明の動画像の変化点検出制御方法および再
生停止制御方法に係る動作の一実施例を示す説明図であ
る。

【図２】図１における動画像の変化点検出制御方法およ
び再生停止制御方法を用いて動画像の編集処理を行なう
本発明の動画像編集システムの一構成例を示すブロック
図である。

【図３】本発明の動画像の再生制御操作に用いる表示画
面の第１の具体例を示す説明図である。

【図４】本発明の動画像再生制御に係る処理の全体の流
れを示したフローチャートである。

【図５】図４のステップ４１２における処理の詳細例を
示すフローチャートである。

【図６】図５のステップ５０２における処理の詳細例を
示すフローチャートである。

【図７】図５のステップ５０３における処理の詳細例を
示すフローチャートである。

【図８】図５のステップ５０４における処理の詳細例を
示すフローチャートである。

【図９】図５のステップ５０５における処理の詳細例を
示すフローチャートである。

【図１０】本発明に係る動画像のカットの変化点検出動
作例を示す説明図である。

【図１１】図２におけるシステムの処理データの構造例
を示す説明図である。

【図１２】本発明に係る代表画像の一覧の表示画面の構
成例を示す説明図である。

【図１３】本発明の動画像の再生制御の操作に係る表示
画面の第２の具体例を示す説明図である。

【図１４】図１２における代表画像の一覧を構成するた
めのデータ構造例を示す説明図である。

【図１５】本発明に係るカット情報リストの表示画面例
を示す説明図である。

【図１６】図１５におけるカット情報リストのデータ構
造例を示す説明図である。

【図１７】本発明の動画像の再生制御の操作に係る表示
画面の第３の具体例を示す説明図である。

【図１８】図１７における音声の特徴の変化の検出対象
となる音声信号例を示す説明図である。

【符号の説明】

１０１：ディスプレイ装置、１０２：通信線、１０３：
動画像入力装置、１０４：動画像処理装置、１０５：入
力装置、１０６：補助記憶装置、１０７：ＣＰＵ、１０
８：接続インタフェース、１０９：メモリ、１１０：動
画像再生装置、１１１：スピーカ、２０１：フレーム
（マーク設定）、２０２：逆再生方向、２０３：順再生
方向、２０４：変化点、２０５：フレーム（再生停
止）、２０６：変化点、２０７：末尾フレーム、２０
８：カット、３０１：対話再生処理ウィンドウ、３０
２：モニタ、３０３：動画像再生装置操作パネル、３０
４：マーク設定パネル、３０５：マーク表示パネル、３
０６：カット表示パネル、３０７：終了ボタン、３０
８：動画像表示領域、３０９：フレーム番号表示ボック
ス、３１０：マーク設定ボタン、３１１：操作ボタン
群、３１２：フレーム画像表示領域、３１３：フレーム
番号表示ボックス、３１４：再生指定パネル、３１５：
先頭フレーム検索ボタン、３１６：末尾フレーム検索ボ
タン、３１７：先頭フレームのフレーム画像表示領域３
１８：フレーム番号表示ボックス、３１９：末尾フレー
ムのフレーム画像表示領域、３２０：フレーム番号表示
ボックス、３２１：カット操作パネル、３２２：区間再
生ボタン、３２３：区間切り出しボタン、１００１：変
化点、１００２：色ヒストグラム、１００３：フレー
ム、１１０１：フレーム情報、１１０２：色ヒストグラ
ムバッファ、１１０３：フレームバッファ、１１０４：
フレーム番号、１１０５：フレーム画像の幅、１１０
６：フレーム画像の高さ、１１０７：フレーム画像デー
タ、１１０８：ヘッダ、１１０９：先頭オフセット、１
１１０：現在のオフセット、１１１１〜１１１３：色ヒ
ストグラム、１１１４：ヘッダ、１１１５：先頭オフセ
ット、１１１６：現在のオフセット、１１１７：属性デ
ータの先頭オフセット、１１１８：現在の属性データの
オフセット、１１１９：フレーム画像データバッファ、
１１２０：画像属性バッファ、１２０１：一覧表示ウィ
ンドウ、１２０２：代表画像、１２０３：フレーム番
号、１２０４：一つにまとめられた代表画像、１２０
５：フレーム画像、１２０６：代表画面、１２０７：マ
ウスカーソル、１２０８：代表画像、１２０９：スクロ
ール・バー、１２１０：スクロール・ボックス、１２１
１：スクロール・アロー、１３０１：対話再生処理ウィ
ンドウ、１３０２：一覧表作成パネル、１４０１：代表
画像情報リスト、１４０２：ヘッダ、１４０３〜１４０
５：データ領域、１４０６：代表画像情報１、１４０
７：代表画像のフレーム番号、１４０８：まとめられた
代表画像の枚数、１４０９：代表画像のフレーム画像、
１５０１：カット検出パネル、１５０２：カット情報表
示パネル、１５０３：マーク情報フィールド、１５０
４：先頭フレーム情報フィールド、１５０５：末尾フレ
ーム情報フィールド、１５０６：カット情報、１５０
７：カット検出ボタン、１６０１：カット情報リスト、
１６０２：ヘッダ、１６０３〜１６０５：データ領域、
１６０６：カット情報、１６０７：マーク情報、１６０
８：先頭フレーム情報、１６０９：末尾フレーム情報、
１７０１：対話再生処理ウィンドウ、１７０２：特徴量
チェックボックス、１７０３：カット表示パネル、１７
０４：特徴量の表示、１７０５：先頭フレーム表示領
域、１７０６：末尾フレーム表示領域。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 谷口 勝美 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内 (56)参考文献 特開 平７−59003（ＪＰ，Ａ) 特開 平５−232862（ＪＰ，Ａ) 特開 平６−302161（ＪＰ，Ａ) 特開 平５−37853（ＪＰ，Ａ) 特開 平４−111181（ＪＰ，Ａ) 特開 平５−30463（ＪＰ，Ａ) 特開 平６−223179（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/91 - 5/956 G06F 17/30 G06T 13/00

Claims (15)

(57)【特許請求の範囲】
1. 【請求項１】 再生中の動画像から、該動画像の各フレ
   ームの特徴量に基づきカットの変化点を検出する動画像
   の変化点検出制御方法であって、 上記動画像のフレームに対する外部から指定の入力の有
   無を判別し、該指定の入力が有りと判定されれば、該指
   定のフレームを含むカットの先頭あるいは末尾の変化点
   の検出処理を実行することを特徴とする動画像の変化点
   検出制御方法。
2. 【請求項２】 請求項１記載の動画像の変化点検出制御
   方法において、 上記動画像の再生を通常再生よりも高速に行ない、該動
   画像の高速再生中に、上記指定の有無の判別を実行する
   ことを特徴とする動画像の変化点検出制御方法。
3. 【請求項３】 請求項１に記載の動画像の変化点検出制
   御方法において、上記動画像の再生を通常再生よりも高
   速に行ない、該高速再生中の動画像から一定時間間隔で
   フレームを取り込み、該取り込んだ各フレームの画像を
   代表画像として一覧表示し、該一覧表示した各代表画像
   に対する外部からの選択操作に基づき、上記指定の有無
   の判別を実行することを特徴とする動画像の変化点検出
   制御方法。
4. 【請求項４】 請求項３に記載の動画像の変化点検出制
   御方法において、新たに取り込んだフレーム画像と前回
   取り込んだ上記代表画像の各々の特徴量を比較し、該比
   較結果が示す両フレーム画像の相違度が予め定められた
   闘値以上であれば、上記新たに取り込んだフレーム画像
   を上記代表画像とすることを特徴とする動画像の変化点
   検出制御方法。
5. 【請求項５】 請求項４に記載の動画像の変化点検出制
   御方法において、上記代表画像としない上記新たに取り
   込んだ各フレーム画像を、上記比較した前回の代表画像
   の下に、一部が見える位置に重ねて表示することを特徴
   とする動画像の変化点検出制御方法。
6. 【請求項６】 請求項３から請求項５のいずれかに記載
   の動画像の変化点検出制御方法において、上記フレーム
   画像の一覧表示時、上記フレーム画像に対応するフレー
   ム番号を共に一覧表示することを特徴とする動画像の変
   化点検出制御方法。
7. 【請求項７】 請求項１から請求項６のいずれかに記載
   の動画像の変化点検出制御方法において、上記指定のフ
   レームを含むカットの変化点の検出は、上記再生中の動
   画像の各フレームをディジタル信号に変換し、該各フレ
   ームのディジタル信号中の特徴量を算出し、該各フレー
   ムの特徴量の比較に基づき行なうことを特徴とする動画
   像の変化点検出制御方法。
8. 【請求項８】 請求項７に記載の動画像の変化点検出制
   御方法において、上記フレームの特徴量は、上記ディジ
   タル化された画像信号のカラーヒストグラムを含むこと
   を特徴とする動画像の変化点検出制御方法。
9. 【請求項９】 請求項８に記載の動画像の変化点検出制
   御方法において、上記フレームの特徴量は、上記動画像
   から読み出されディジタル化された音声の自己相関量を
   含むことを特徴とする動画像の変化点検出制御方法。
10. 【請求項１０】 請求項９に記載の動画像の変化点検出
    制御方法において、上記指定のフレームを含むカットの
    変化点の検出が、上記カラーヒストグラムを含む画像信
    号の特徴量、もしくは、上記音声の自己相関量を含む特
    徴量のいずれに基づくものであるかを示す情報を表示す
    ることを特徴とする動画像の変化点検出制御方法。
11. 【請求項１１】 再生中の動画像中の任意の画像を指定
    し、 各フレームの特徴量に基づき、前記指定された画像のフ
    レームを含むカットの先頭あるいは末尾の変化点を検出
    し、 上記指定されたフレームから順方向又は逆時間方向に上
    記動画像を再生し、再生方向に対して、前記カットの末
    尾又は先頭の変化点の直前のフレーム位置で動画像の再
    生を停止することを特徴とする動画像の再生停止制御方
    法。
12. 【請求項１２】 請求項１から請求項１０のいずれかに
    記載の動画像の変化点検出制御方法による上記ユーザ指
    定のフレームを含むカットの変化点の検出に基づき、上
    記ユーザ指定のフレームを含むカットの先頭フレームと
    末尾フレームの両方を求め、該求めた先頭フレームもし
    くは末尾フレームのいずれか一方を表示する位置で動画
    像の再生を停止することを特徴とする動画像の再生停止
    制御方法。
13. 【請求項１３】 請求項１１、もしくは、請求項１２の
    いずれかに記載の動画像の再生停止制御方法において、 上記変化点の検出に伴う動画像の再生の停止時、該停止
    位置のフレーム番号を読み出し、該読み出したフレーム
    番号を、上記停止位置でのフレーム画像と共に表示する
    ことを特徴とする動画像の再生停止制御方法。
14. 【請求項１４】 動画像の再生を行なう動画像再生装置
    と、該動画像再生装置で再生する動画像をディジタル信
    号としてフレーム単位で時系列に入力する動画像入力装
    置と、該動画像入力装置と上記動画像再生装置の人手に
    よる指示操作に基づく動作制御、および、上記動画像の
    各フレーム毎のディジタル信号の特徴量に基づくカット
    の変化点の自動検出を行なう動画像処理装置とを少なく
    とも有する動画像の編集システムにおいて、 上記動画像処理装置に、上記動画像入力装置で入力した
    上記動画像再生装置で再生中の動画像の任意のフレーム
    に対するユーザの指定に基づき、上記動画像再生装置を
    制御して上記動画像を逆再生方向もしくは順再生方向に
    フレーム単位で再生させる手段と、該逆再生方向もしく
    は順再生方向での再生中の動画像に対する上記ユーザ指
    定のフレームを含むカットの変化点の検出時に、上記動
    画像再生装置を制御して上記動画像の逆再生方向もしく
    は順再生方向での再生を停止させる手段と、上記カット
    が変化する直前のフレーム番号を読み出す手段とを設
    け、該カットが変化する直前のフレーム番号とフレーム
    画像を表示することを特徴とする動画像の編集システ
    ム。
15. 【請求項１５】 動画像の再生を行なう動画像再生装置
    と、該動画像再生装置で再生する動画像をディジタル信
    号としてフレーム単位で時系列に入力する動画像入力装
    置と、該動画像入力装置と上記動画像再生装置の人手に
    よる指示操作に基づく動作制御、および、上記動画像の
    各フレーム毎のディジタル信号の特徴量に基づくカット
    の変化点の自動検出を行なう動画像処理装置とを有する
    動画像の編集システムにおいて、 前記入力された動画像から取り込まれた一定時間間隔の
    複数のフレームを前記動画像再生装置に表示し、該表示
    された複数のフレームの中から前記指示操作によって１
    つのフレームが選択されると、該選択されたフレームを
    含むカットの変化点を検出することを特徴とする動画像
    の編集システム。