JP3340905B2

JP3340905B2 - 動画像処理方法

Info

Publication number: JP3340905B2
Application number: JP02074496A
Authority: JP
Inventors: 敏充金子; 恒青木
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1996-02-07
Filing date: 1996-02-07
Publication date: 2002-11-05
Anticipated expiration: 2016-02-07
Also published as: JPH09214879A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像の検索、編
集を自動で行うための動画像処理方法に関する。

【０００２】

【従来の技術】従来、動画像は連続するフレーム全体で
一つの単位をなしており、単に一つの動画像を選択して
再生するのが一般的であった。したがって、動画像中の
所望の場面を選択して再生したい場合には、まず、一本
の動画像を選択して再生し、時間的に未来方向、過去方
向に早送りしながら所望の場面まで到達していた。すな
わち、動画像のはじめから、または、たまたま選択され
た途中の場面から動画像の時間軸をたどって所望の場面
まで到達していた。

【０００３】また、所望の場面が動画像のどのあたりに
あったかをあらかじめ記憶している場合には、その記憶
を頼りにして再生開始位置を指定し、到達するまでの時
間を短くするようにしていた。

【０００４】以上は、以前見たことのある動画像から所
望の場面を探す場合の手続きであったが、一度も見たこ
とのない動画像から利用者が興味のありそうな場面を選
択するためには、動画像のはじめから再生するしかな
い。動画を見る時間を短縮するためには、早送り操作を
織り交ぜながら動画像を早見したり、時間的に未来方向
または過去方向に再生開始場所を適当に飛ばして再生
し、興味のありそうな場面が再生されたら通常の再生速
度で再生し、興味のなさそうな場面であれば再び再生開
始場所を飛ばして次の場面の再生へと移っていた。

【０００５】もう少し効率よく所望の場面を探すための
手法として、動画像をいくつかの場面に分割しておき、
それぞれの場面を代表するフレームを一覧表示するもの
がある。利用者は表示された代表フレームの中から所望
の場面に相当する代表フレームを選択し、その場面から
動画像を再生する。

【０００６】また、まだ見たことのない動画像から利用
者の興味のある場面を選択してみる場合には、代表フレ
ームの一覧を見ることにより動画像の内容をざっと見る
ことができるため、比較的容易に興味のある場面を予測
して、その場面からの再生を行うことができる。

【０００７】また、長時間の動画像を見たいが、十分な
時間がない場合には、あまり必要のない部分は再生させ
ずに、重要な部分だけを再生させることにより再生時間
を短縮させる必要がある。同様に、素人が撮影したビデ
オには不必要な場面が多く含まれているため、このよう
な不必要な部分を簡単に削除したいという要求がある。
しかしながら、現在のところ、人手により必要な部分と
不必要な部分との判定を行い、動画像の編集により短縮
する以外に方法はなかった。

【０００８】さらに、音声のみが必要であるにも関わら
ず、ビデオカメラによって動画像も撮影してしまった場
合や、やはり音声は重要であるが映像は動画である必要
はなく静止画でも十分である場合でも、とくに編集をす
ることはほとんどなく動画像とそれに付随する音声とし
て保管、再生されていた。

【０００９】

【発明が解決しようとする課題】従来のような動画像の
時間軸をたどりながらの検索では、動画像の時間軸上の
一点しか利用者が見ることができないために所望の場面
にたどり着くまでの時間が非常に長くなり、効率的では
ない。特に、長い動画像の場合には顕著である。利用者
の記憶を頼りにして動画像の再生開始位置を指定し、所
望の場面を探す場合にも、利用者の記憶は曖昧で信頼の
置けないものであり、記憶違いの場合にはかえって検索
の効率を悪くしてしまうことさえもある。また、所有し
ている動画像全てに対してどの場面が動画像のどのあた
りに存在していたかを記憶しておくのは利用者に多大な
付加をかけることになるし、多くの動画像にたいしては
全て記憶すること事態が不可能である。

【００１０】一方、動画像の中から代表フレームを選
び、これを一覧表示して所望の場面を探す手法において
は、動画像の時間軸上の複数の点の映像を同時に見るこ
とができるため、検索の効率は改善されている。しかし
ながら、代表フレームを利用者自身が選択してあらかじ
め登録しておくのは、利用者に負担を強いることにな
る。

【００１１】この負担をなくすために、自動的に動画像
の不連続点（ショットの切れ目）を検出し、それぞれの
ショットの中から代表フレームを選ぶ（例えばショット
のはじめのフレームを選ぶ）手法があるが、編集された
映像ではショットは一般に５秒程度と短いため、表示さ
れる代表フレーム数が多くなってしまうという欠点があ
る。画面に多くの静止画が一覧表示されると、かえって
動画像の内容がわかりづらくなり、利用者が困惑してし
まう場合がある。

【００１２】また、ときには画面上に表示しきれなくな
り、複数回に分けて表示しなければならなかったり、一
度に表示しようとするために一つの代表フレームの表示
がきわめて小さくなってしまったりする。このような場
合には、所望の場面の検索効率の改善度が低下してしま
うという問題がある。

【００１３】また、長時間の動画像を短縮したい場合に
は、すでに説明したように人手により必要な部分と不必
要な部分との判定を行い、動画像の編集により短縮する
以外に方法はないのが現状である。

【００１４】さらに、音声情報だけが重要で、動画像は
必要がない、もしくは静止画でも十分であると言った場
合でも、動画像は動画像として保管、再生されていたの
で、意味のない動画像に無駄な記録容量が費やされてい
た。また、ネットワークを経由してデータを受け取る場
合には、情報量が多いため、長い時間待たされてしまう
という状況であった。

【００１５】

【課題を解決するための手段】本発明は、入力された動
画像データから時間的に連続して撮影されたフレームの
固まり（ショット）の切れ目（カット）部分を検出する
カット検出手段と、入力された音声データから無音部分
を検出する無音部検出手段と、前記動画像データのフレ
ームの固まりの切れ目部分かつ前記音声データの無音部
分に対応したシーンの切れ目を検出するシーン検出手段
と、当該シーンの切れ目またはシーンの始まりに対応し
たタイミング情報を前記動画像データ、音声データと関
連づけて記録する記録手段とを具備し、それぞれのシー
ンに対応した少なくとも１つの代表フレームの画像を一
覧表示することを特徴とする動画像処理方法を提供す
る。

【００１６】また本発明は、入力された動画像データか
ら時間的に連続して撮影されたフレームの固まり（ショ
ット）の切れ目（カット）部分を検出するカット検出手
段と、入力された音声データから無音部分を検出する無
音部検出手段と、前記動画像データのフレームの固まり
の切れ目部分かつ前記音声データの無音部分に対応した
シーンの切れ目を検出するシーン検出手段と、当該シー
ンの切れ目またはシーンの始まりに対応したタイミング
情報を前記動画像データ、音声データと関連づけて記録
する記録手段とを具備し、それぞれのシーンに対応した
少なくとも１つの代表フレームの画像を一覧表示する動
画像処理方法において、前記代表フレームの画像を指
示、選択する信号が入力されると、当該代表フレームの
画像に対応したシーンに含まれるフレームの固まり（シ
ョット）毎の代表フレームの画像を一覧表示することを
特徴とする。

【００１７】また本発明は、入力された動画像データか
ら時間的に連続して撮影されたフレームの固まり（ショ
ット）の切れ目（カット）部分を検出するカット検出手
段と、入力された音声データから無音部分を検出する無
音部検出手段と、前記動画像データのフレームの固まり
の切れ目部分かつ前記音声データの無音部分に対応した
シーンの切れ目を検出するシーン検出手段と、当該シー
ンの切れ目またはシーンの始まりに対応したタイミング
情報を前記動画像データ、音声データと関連づけて記録
する記録手段とを具備し、それぞれのシーンに対応した
少なくとも１つの代表フレームの画像を一覧表示する動
画像処理方法において、前記代表フレームの画像とし
て、少なくとも当該シーンのはじめのフレームの画像を
選択することを特徴とする。

【００１８】また、動画像データに対応付けられてなる
音声データの無音区間を検出し、検出した前記音声デー
タの無音区間に対応する前記動画像データの不連続点を
検出し、検出した前記不連続点のフレームの動きの変化
があらかじめ定められた第一のしきい値よりも小さい区
間で、あらかじめ定められた第二のしきい値よりも長
く、前記区間の音声が無音であるときに、前記区間の動
画像データのうちの一つのフレームを静止画として表示
し、静止画として表示した前記区間の動画像データに対
応付けられてなる音声を再生しないことを特徴とする。

【００１９】また、動画像データに対応付けられてなる
音声データの無音区間を検出し、検出した前記音声デー
タの無音区間に対応する前記動画像データの不連続点を
検出し、検出した前記不連続点のフレームの動きの変化
があらかじめ定められた第一のしきい値よりも小さい区
間で、あらかじめ定められた第二のしきい値よりも長
く、前記区間の音声が無音であるときに、前記区間の動
画像データおよび音声データを再生しないことを特徴と
する。

【００２０】つまり、本発明の動画像処理方法では、動
画像の不連続点（カット点）を検出し、さらに音声の無
音部分を音声の切れ目として検出し、音声の切れ目かつ
動画像のカット点である部分を全体の切れ目として検出
し、このようにして切り分けられた部分ごとに代表フレ
ームを選んで一覧表示させる。

【００２１】また、本発明の動画像処理方法では、動画
像データから動きの激しさを検出し、さらに音声から音
声のない無音部分を検出し、動きの激しさと無音部分の
情報とから音声と動画像をどのようなメディアの組み合
わせで表示させるか、または表示しないかを決定する。
また、本発明の動画像処理方法では、動画像データか
ら動きの激しさを検出し、さらに音声から音声のない無
音部分を検出し、動きの激しさと無音部分の情報によっ
て、あらかじめ決められた方法で音声と動画像を編集す
る。

【００２２】以上の手段により、本発明の動画像処理方
法では、動画像を意味的なまとまりに階層化する事がで
きるため、所望の場面の検索が効率的に行えるようにな
る。また、本発明の動画像処理方法では、不要な場面を
自動的に削除もしくは飛ばして再生することができるた
め、時間がないときにも動画像を短時間で見たり、素人
の撮影した間延びした動画像を質の高い動画像に編集し
直すことができる。

【００２３】さらにまた、本発明の動画像処理方法で
は、音声のみが必要で、画像は静止画でも十分である場
面を判定することができるため、ユーザの手を煩わせる
ことなく、無駄なデータを削除することができる。その
結果記録媒体の無駄をなくし、データの転送にかかる時
間も削減できる。

【００２４】

【発明の実施の形態】

（第一の実施例）本発明の第一の実施例を図を用いて詳
細に説明する。図１は第一の実施例の一構成例を示すブ
ロック図である。まず、図１における各ブロックの機能
について簡単に説明する。

【００２５】図１において、アナログの音声を扱う場合
にはディジタル音声データ入力端子１０への入力の前段
階としてＡ／Ｄ変換が施される。ディジタル音声データ
入力端子１０への入力となる音声データは記録部８０に
記憶されている音声データであることもある。

【００２６】ディジタル音声データ入力端子１０に入力
される音声データは、ディジタル動画像データ入力端子
２０に入力される動画像データに付随している音声デー
タである。動画像データもアナログデータを扱う場合に
はディジタル動画像データ入力端子２０への入力の前段
階としてＡ／Ｄ変換を施しておく。また、音声データと
ともに記録部８０に記録されている動画像データが２０
の入力データである場合もある。

【００２７】音声データおよび動画像データにはそれぞ
れタイミング情報が含まれており、音声と動画像を同期
して再生できるようになっている。無音声部検出装置３
０は、音声データから無音部分、音声レベルの低い部分
を検出する。具体的な方法としては、例えば「音声認
識」（新美康永著、共立出版）などに記されている方法
が適用される。

【００２８】映像カット検出部４０は、ディジタル動画
像データ入力端子２０に入力された動画像の連続したフ
レームのうち、変化の大きかったフレーム間（カット）
を検出する。すなわち、時間的に連続して撮影されたフ
レームのかたまり（ショット）のつなぎ目を検出する。
例えば、フレーム間の輝度の差分量としきい値との比較
による検出方法、フレームごとの輝度ヒストグラムの差
分量としきい値との比較による検出方法などがあり、い
ずれも本実施例に適用可能である。

【００２９】音声符号化部５０は、音声データを圧縮す
るなど、音声の記録に適した符号化を施す。例えば、入
力された音声信号を周波数帯域に変換し、周波数をサブ
バンドに分割することによって、各サブバンド内での信
号エネルギーの偏りを減少させ、各サブバンドの信号エ
ネルギーに応じたビットを割り当てるサブバンド符号化
が用いられる。または、入力音声信号をフーリエ変換や
コサイン変換などの線形変換により信号エネルギーを集
中させ、量子化を行う適応変換符号化なども用いること
ができる。

【００３０】動画像符号化部７０も同様に多量の動画像
データを圧縮し、記録に適したデータに変換を行う。こ
の際にはコサイン変換などの直行変換を行った後に量子
化を行う方法や、動画像の時間方向の相関を利用した動
き補償を用いた方法、さらに両者を用いた方法などを用
いることができる。

【００３１】また、記録部８０は、実際には磁気ディス
ク装置や磁気テープ装置などが用いられ、音声データ、
動画像データ、及びこれらに付随した情報が記録され
る。シーン検出部６０は、無音部検出部３０から出力さ
れる無音部情報、及びカット検出部４０から出力される
カット情報とから、動画像をシーン単位に分割し、分割
位置とタイミング情報とを関連させたシーン情報を生成
し、出力する。シーン情報は動画像データ、音声データ
に関連づけられ、記録部８０に記録される。

【００３２】以下、本発明の処理の流れを説明する。無
音部検出部３０に入力された音声データは、先に説明し
たように、無音部分、または音声レベルの低い部分を検
出する。

【００３３】上記の無音部検出部３０により検出された
無音部は、無音部情報として出力される。無音部情報
は、無音部分を音声データに含まれているタイミング情
報と関連させた情報である。例えば、無音部に相当する
タイミング情報のリストとして記述しても良いし、無音
部のはじめと終わりに対応する位置のタイミング情報だ
けをリストとして記述してもよい。また、全てのタイミ
ング情報にその時刻において音声が有音か無音かを示す
情報を付与しておいてもよい。

【００３４】カット検出部４０においては、動画像中の
カットを見つけるため、例えば、フレームごとに求めた
輝度のヒストグラムの差分を調べる方法が使われる。こ
の方法では、まずフレームの画素の輝度のヒストグラム
を作成する。そして、直前のフレームについて同様に求
められた輝度のヒストグラムとの差分を求める。このと
き、同じ輝度値に対応する二つのヒストグラムの成分の
絶対値差分をとり、この絶対値差分を全ての輝度値につ
いて加えたものを二つのフレームの輝度ヒストグラムの
差分とする。そしてあらかじめ定められたしきい値との
比較を行い、輝度ヒストグラムの差分がしきい値よりも
大きければ、二つのフレームの間にカットがあると判定
する。以上の処理を全ての連続したフレーム間で行え
ば、動画像のどこにカットがあったかを検出することが
できる。

【００３５】処理の高速化のために、フレーム内の全て
の画素についてではなく、間引かれた画素についてのみ
ヒストグラムを作成する方法も用いられる。また、輝度
ヒストグラムの差分そのものではなく、輝度ヒストグラ
ムの差分の変化量を使うことにより、検出能力を向上さ
せた方法も用いられる。その他、（「映像カット自動検
出方式の検討」、テレビジョン学会技術報告、１９９２
年Ｖｏｌ．１６，Ｎｏ．４３，ｐｐ．７−１２）などに
記述されているように、様々なカット検出の方法が知ら
れている。

【００３６】動画像のカットが検出されると、カットの
生じた位置に対応するタイミング情報のリストであるカ
ット情報が作られ、カット検出部４０から出力される。
カット検出情報は、全てのタイミング情報にカットの有
無を表す情報を付与したものであってもよい。

【００３７】無音部検出部３０からの出力である無音部
情報、及びカット検出部４０からの出力であるカット情
報はシーン検出部６０に入力される。同時に、無音部情
報、カット情報はそのまま記録部８０に記憶させてもよ
い。シーン検出部６０では、二つの情報から、カットの
生じており、なおかつ音声が無音である時刻を検出す
る。

【００３８】図２は音声の無音部、動画像のカット、及
びシーン検出部６０で検出されるシーンの切れ目の関係
を示したものである。１００は音声の波形を簡略化して
表現したもので、平らな部分が無音部に対応している。
実際には、音声には周囲の雑音など目的以外の音が含ま
れているため、このようにきれいな無音部ができるわけ
ではないが、わかりやすく表現するため、無音部検出部
３０で検出された無音部は平らな部分として表現する。
１１０は動画像をカットとカットで区切られるショット
単位で表示したものである。１２０がショットの切れ目
であるカットに対応している。

【００３９】１３０は動画像をいくつかのショットの集
まりであるシーン単位に表示したものである。シーンの
切れ目は、カットがあり、なおかつ音声が無音部である
位置が選択されている。例えば時刻ｔ１、ｔ２、ｔ４で
はカットはあるが音声が無音部でないため、シーンの切
れ目ではないと判定される。一方、時刻ｔ０、ｔ３では
カットがあり、音声も無音であるため、シーンの切れ目
であると判定される。

【００４０】ドラマや映画においては、編集によって複
数のショットにまたがって同じバックグラウンドミュー
ジックが流れていることがよくある。従って、音楽がと
ぎれ、なおかつカットのあるところだけがシーンの切れ
目として検出される本実施例の動画像処理方法では、関
連のあるショットを自動的にまとめてシーンという単位
を作ることができる。また、時間的に連続してとられた
映像であるが、途中でカメラの切り替えのある動画像も
ある。この様な動画像に対しても、本実施例の動画像処
理方法では、音声が連続して流れてさえいれば、別のカ
メラに切り替えられた場合でも同一のシーンであると判
断される。

【００４１】以上のようにして検出されたシーンの切れ
目は、シーン情報としてシーン検出部６０から出力され
る。シーン情報は、シーンの切れ目、もしくはシーンの
始まりに対応したタイミング情報のリストとして記述さ
れる。または、全てのタイミング情報に、その時刻がシ
ーンの切れ目か否かの情報を付与した形態でもよい。シ
ーン情報は動画像データ、音声データとともに記録部８
０に記録される。

【００４２】次に、シーン情報の利用方法について説明
する。本発明によりシーン情報の付与された動画像は、
光ディスク、磁気ディスク等のディスク状の記録媒体
や、半導体メモリに記録される。これらの記録装置は、
図７に示すように、動画像の再生装置にローカルに接続
されるか、もしくはネットワーク上の動画像サーバに接
続される。そして、ユーザはこれらローカルなもしくは
ネットワーク上に接続された記録媒体上の動画像データ
を再生し、ディスプレイに表示させる。このさいに、動
画像と関連づけて記録されているシーン情報にアクセス
することにより、以下のような検索を行うことができ
る。

【００４３】動画像の所望の場面を探す場合には、まず
シーン情報に記述されているシーンの切れ目により作ら
れるシーンごとに一つの代表フレームを選んでおき、代
表フレームだけを表示させる。そして、所望の場面が含
まれるシーンを見つけ、選択する。一つのシーンが指
示、選択されると、指示されたシーンに含まれるショッ
トごとの代表フレームが一覧表示される。表示された代
表フレームの中から所望の場面に相当するものを選択、
再生させることにより、所望の場面の検索が終了する。

【００４４】シーンごとの代表フレームの選び方は様々
なものが考えられ、いかようなものでも本実施例に適用
可能である。例えば、シーン情報に記述されているシー
ンのはじめのフレームを代表として選ぶ。もしくは、連
続した二つのシーンの切れ目、またはシーンの始まりの
中間のフレームを代表として選んでもよい。ショット単
位の代表フレームもカット情報から同様の方法で選ぶこ
とができる。

【００４５】一方、はじめてみる動画像の全体の流れを
先に見ておき、興味を感じたところだけをみたいといっ
た場合にも、同様の操作を行えばよい。すなわち、シー
ン単位で選ばれた代表フレームを一覧表示させることに
より、動画像全体がどのような流れになっているかを把
握した後、興味を感じたシーン、またはそのシーンに含
まれるショットの一覧表示を行い、ショット単位で再生
開始位置を指定する。

【００４６】シーン検出部６０によるシーン情報がない
場合には、はじめにショットごとに選ばれた代表フレー
ムを表示させることになる。この様な場合には、表示さ
せなければならないフレームの数が多すぎて、何回にも
分けて表示させなければならなくなり、動画像の全体を
短時間で見渡すことができない。結果、検索の効率が落
ちることになるが、本発明を実施することにより、これ
を改善することができる。

【００４７】（第二の実施例）次に、第二の実施例につ
いて説明する。図３は第二の実施例の一構成例を示すブ
ロック図である。まず、各ブロックの大まかな働きを説
明する。

【００４８】図３の中で、ディジタル音声データ入力端
子１０、ディジタル動画像データ入力端子２０、無音部
検出部３０、音声符号化部５０、動画像符号化部７０、
記録部８０は第一の実施例で図１を用いて説明したもの
と同じ機能を持つものである。

【００４９】動き検出部２１０は、入力された動画像の
動きの激しさを測定し、動画像データに含まれているタ
イミング情報と関連させて動き情報として出力する。選
択部２２０は無音部検出部３０の出力である無音部情報
と、動き検出部２１０の出力である動き情報とから、動
画像の不要部分を検出し、不要部分が取り除かれた動画
像、音声データを音声符号化部５０及び動画像符号化部
７０に出力する。このとき、タイミング情報も新たに付
与し直されている。

【００５０】次に、処理の方法を詳細に説明する。動き
検出部２１０はディジタル動画像データ入力端子２０か
ら入力された動画像データから、動画像の動きがどれだ
け激しいかを数値化し、動き情報とする。動きの激しさ
の尺度としては、様々なものが用いられ得る。

【００５１】例えば簡単な例として、連続する二つのフ
レームの輝度、または色の変化を評価する方法がある。
この方法では、まず連続する二つのフレームの、対応す
る位置の輝度もしくは色の差分の絶対値を全ての画素に
ついて求める。そして、全ての画素について求まった輝
度もしくは色の差分の絶対値を加えあわせ、連続したフ
レーム間の動きの大きさの値とする。このようにして求
めた評価値は、画像に全く動きがない場合には０の値を
とり、小さな物体が動くとき、もしくは大きな物体が少
しだけ動くときには正の値をとり、さらに多くの小さな
物体が動くときや大きな物体が大きく動くときなどに正
の大きな値をとる。従って、動画像の動きの激しさの尺
度として用いることができる。

【００５２】動画像の動きの激しさを求める別の方法と
して、オプティカルフローを利用する方法がある。オプ
ティカルフローは動画像の局所的な動き速度ベクトルの
分布であり、各種の推定方法が提案されている。例え
ば、画像の色の勾配から推定する方法（"Determining O
ptical Flow", Artificial Intelligence, 1981,pp.185
-203）が知られている。オプティカルフローは画像の動
きそのものを表現しているので、そのまま動きの激しさ
の尺度の推定に利用することができる。例えば、オプテ
ィカルフローの動きベクトルの個々の長さを計算し、フ
レーム中の動きベクトル全てについての和をとり、動き
の激しさの評価値とすることができる。計算時間を減ら
すためには、求める動き速度のベクトルの個数を減らせ
ば良い。

【００５３】動きの激しさが数値化されると、動画像に
含まれるタイミング情報と関連づけられ、動き情報とし
て動き検出部２１０から出力される。もしくは、あらか
じめ定められたしきい値よりも大きな数値を示す場合に
動きあり、しきい値よりも小さな値を示す場合に動きな
しとして、タイミング情報に動き情報を付加したのを動
き情報として用いてもよい。さらに、動きのある時刻に
対応したタイミング情報のリストとして記述したり、動
きあり／なしの変化点のタイミング情報のリストとして
動き情報を記述しても良い。

【００５４】選択部２０では無音部検出部３０から出力
される無音部情報と、動き検出部２１０から出力される
動き情報とから、動画像の必要な部分、不必要な部分を
判断する。図４は、動画像の必要部分、不必要な部分の
判定方法を説明したものである。

【００５５】図４の中で、３１０は音声波形を簡略的に
表現したもので、平らな部分が無音部情報に無音部分と
して記述されている部分、それ以外の波の部分は音声の
ある部分を示している。また、３２０は動き情報であり
上方にあるほど大きな動きがあることを示している。３
３０はあらかじめ定められたしきい値であり、しきい値
を越えるとその時刻の映像に動きがあると判定され、し
きい値よりも低い値の時は小さな動きが無視され、動き
がなかったものと見なされる。

【００５６】選択部２２０では、無音部分で、なおかつ
動きのない部分の動画像を不必要な部分であると判定す
る。例えば、図４の場合には、Ｔ１、Ｔ３が不必要な部
分と判定され、Ｔ０，Ｔ２，Ｔ４が必要な部分であると
判定される。

【００５７】必要な部分と不必要な部分の判定がなされ
ると、必要な部分もしくは不必要な部分に対応するタイ
ミング情報のリストである選択情報が生成され、記録部
８０に記録される。

【００５８】選択情報の付与された動画像を再生する際
には、選択情報を読みとり、必要な部分に相当する部分
だけの再生を行う。このように処理することにより、不
要な部分と判定された部分のデータは削除されずに記録
部に残っているので、後で必要になったときや、選択部
の判定を変更したい場合に利用することができる。

【００５９】一方、動画像のうち、選択部２２０で不必
要と判定された部分は削除してもかまわない場合には、
選択情報は記録部８０に記録する必要はない。動画像、
音声の必要な部分だけを音声符号化部５０、動画像符号
化部７０に送ることにより、不必要な部分を削除でき
る。この場合には、必要な部分の動画像、音声が連続し
て再生されるように、あらかじめ付与されていたタイミ
ング情報を変更し、新たに付与し直す必要がある。

【００６０】図７のようにネットワーク上の動画像デー
タにアクセスする場合には、上記のような不要部分の削
除により転送するデータ量が削減されるため、ネットワ
ークへの付加が軽くなる。

【００６１】（第三の実施例）次に、本発明の第三の実
施例を説明する。図５は本発明の第三の実施例の一構成
例を示すブロック図である。はじめにそれぞれのブロッ
クの役割を簡単に説明する。

【００６２】図５において、ディジタル音声データ入力
端子１０、ディジタル動画像データ入力端子２０、音声
符号化部５０、動画像符号化部７０および記録部８０は
第一の実施例での説明に用いたものと同様のものであ
る。また、動き検出部２１０は第二の実施例で説明に用
いた動き検出部と同様のものである。

【００６３】表示方式判定部４１０は、無音部検出部３
０の出力である無音部情報と、動き検出部２１０の出力
である動き情報とから、動画像の一部または全体を動画
像のままにしておくか、静止画として保存しておくかを
後に説明する方法で判定する。

【００６４】静止画符号化部４２０は、静止画データを
記録しておくのに適した形に変換する。例えば、コサイ
ン変換などの直行変換により画像信号を少ない低域係数
に集中させ、空間方向の情報を削減する画像圧縮符号化
などが用いられる。

【００６５】次にメディア形式判定部４１０での処理を
より詳しく説明する。メディア形式判定部４１０は、動
画像の部分部分に対して、動画像のまま保存、再生すべ
きか、それとも動画像を静止画に変換して保存、表示す
べきかを判定する。そのために、無音部情報および動き
情報を参照し、動きの激しさがあらかじめ定められたし
きい値よりも小さく、なおかつ音声のレベルがあらかじ
め定められたしきい値よりも大きな部分があらかじめ定
められた時間以上続く部分を検出する。音声が含まれて
おり、動きが少ない画像は、音声情報が特に重要である
場合が多く、動画像は静止画に変換されても差し支えな
い。そこで、動きの激しさがあらかじめ定められたしき
い値よりも小さく、なおかつ音声のレベルがあらかじめ
定められたしきい値よりも大きな部分は、その部分の動
画像が切り離されて静止画に変換され、音声付きの静止
画として記録、再生されるようにする。

【００６６】動画像を静止画に変換する方法としては、
もっとも単純なものとして、動画像の中の一つのフレー
ムだけを選択する方法がある。例えば、はじめのフレー
ムや真ん中のフレームなどが選ばれる。

【００６７】このとき静止画には、変換された動画像部
分に対応する音声に付与されたタイミング情報が関連づ
けられて記録部８０に記録される。もしくは、音声は静
止画に変換された部分が元の音声データから切り離さ
れ、独立に音声符号化部５０により符号化され、動画像
が変換された静止画と関連づけられて記録部８０に記録
される。

【００６８】図６は以上の処理により、動画像が音声付
きの静止画に変換される部分を図示したものである。図
６において、５１０は音声レベルを簡略化して表したも
ので、図２や図４の表記方法と同じである。また、５２
０は動きの激しさを表す評価値で、図４における３２０
と同じ意味を持つ。５３０はあらかじめ定められたしき
い値で、このしきい値を下回る部分では動画像の動きは
非常に少ない。Ｔ７に対応する部分は、音声が含まれて
おり、なおかつ動きがしきい値よりも少ない。従って区
間Ｔ７があらかじめ定められた長さよりも長いならば、
この部分はメディア形式判定部４１０により音声付きの
静止画に変換される。

【００６９】メディア形式判定部４１０はまた、無音部
情報および動き情報を参照し、動きの激しさがあらかじ
め定められたしきい値よりも小さく、なおかつ音声のレ
ベルもあらかじめ定められたしきい値よりも小さな部分
があらかじめ定められた時間以上続く部分を検出する。
このような部分は、音声は不必要であることが多く、ま
た、映像形態も動画像ではなく静止画で十分であること
が多い。従って、このような部分は音声データをなく
し、動画像を静止画に変換した形で保存、表示させるよ
うにする。図６においては、区間Ｔ５がこのような処理
の対象になる。

【００７０】動画像を静止画に変換する方法はすでに説
明した方法が適用できる。音声データは、削除された部
分の音声データは音声符号化部５０には送られない。ま
たは、他の削除されない部分と連続したかたちで音声符
号化部５０に送られて、符号化されるが、この場合に
は、音声を再生しない部分のタイミング情報を新たに付
与しておく。

【００７１】以上のような処理により、動画像から静止
画の変換が行われた場合、動画像の一覧表示をすると、
動画像のままの形態である部分のショットごと、または
シーンごとの代表フレームの一覧に混じって、動画像か
ら変換された静止画も表示される。動画像のままの形態
である部分が選択されて再生要求がなされると、選択さ
れた部分の再生が行われる。一方、静止画に変換された
部分が選択されて再生が要求されると、音声が付随して
いる場合には静止画の表示とともに音声の再生が行わ
れ、音声が付随していない場合には単に静止画の表示が
行われる。図７は、本願発明を実施する際の具体的な一
形態を示したものである。

【００７２】

【発明の効果】本発明の動画像処理方法では、利用者の
手を煩わすことなく、動画像を階層構造に分割すること
ができるため、この構造を用いることにより所望の場面
の検索が効率的になる。

【００７３】また、本発明の動画像処理方法では、自動
的に動画像の不要な部分が削除されるため、利用者の手
を煩わせることなく内容の濃い動画像に編集することが
可能になる。

【００７４】さらにまた、本発明の動画像処理方法で
は、静止画で十分であるにも関わらず、動画像として撮
影されている部分を自動的に検出し、静止画として扱う
ため、記憶容量が節約できる、データ転送時間が節約で
きる、間延びした表示が引き締まるなどの効果がある。

【図面の簡単な説明】

【図１】第一の実施例の一構成例を示すブロック図。

【図２】第一の実施例の処理例の説明図。

【図３】第二の実施例の一構成例を示すブロック図。

【図４】第二の実施例の処理例の説明図。

【図５】第三の実施例の一構成例を示すブロック図。

【図６】第三の実施例の処理例の説明図。

【図７】本発明のシステム構成の例を示した図。

【符号の説明】

１０・・・ディジタル音声データ入力端子２０・・・ディジタル動画像データ入力端子３０・・・無音部検出部４０・・・カット検出部５０・・・音声符号化部６０・・・シーン検出部７０・・・動画像符号化部８０・・・記録部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平８−339379（ＪＰ，Ａ) 特開平８−317342（ＪＰ，Ａ) 特開平６−30367（ＪＰ，Ａ) 特開平３−184484（ＪＰ，Ａ) 特開平３−80782（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/76 - 5/956

Claims

(57)【特許請求の範囲】

【請求項１】入力された動画像データから時間的に連続
して撮影されたフレームの固まり（ショット）の切れ目
（カット）部分を検出するカット検出手段と、入力され
た音声データから無音部分を検出する無音部検出手段
と、前記動画像データのフレームの固まりの切れ目部分
かつ前記音声データの無音部分に対応したシーンの切れ
目を検出するシーン検出手段と、当該シーンの切れ目ま
たはシーンの始まりに対応したタイミング情報を前記動
画像データ、音声データと関連づけて記録する記録手段
とを具備し、それぞれのシーンに対応した少なくとも１
つの代表フレームの画像を一覧表示することを特徴とす
る動画像処理方法。
【請求項２】前記代表フレームの画像を指示、選択する
信号が入力されると、当該代表フレームの画像に対応し
たシーンに含まれるフレームの固まり（ショット）毎の
代表フレームの画像を一覧表示することを特徴とする請
求項１記載の動画像処理方法。
【請求項３】前記代表フレームの画像として、少なくと
も当該シーンのはじめのフレームの画像を選択すること
を特徴とする請求項１または２記載の動画像処理方法。
【請求項４】動画像データに対応付けられてなる音声デ
ータの無音区間を検出し、検出した前記音声データの無
音区間に対応する前記動画像データの不連続点を検出
し、検出した前記不連続点のフレームの動きの変化があ
らかじめ定められた第一のしきい値よりも小さい区間
で、あらかじめ定められた第二のしきい値よりも長く、
前記区間の音声が無音であるときに、前記区間の動画像
データのうちの一つのフレームを静止画として表示し、
静止画として表示した前記区間の動画像データに対応付
けられてなる音声を再生しないことを特徴とする動画像
処理方法。
【請求項５】動画像データに対応付けられてなる音声デ
ータの無音区間を検出し、検出した前記音声データの無
音区間に対応する前記動画像データの不連続点を検出
し、検出した前記不連続点のフレームの動きの変化があ
らかじめ定められた第一のしきい値よりも小さい区間
で、あらかじめ定められた第二のしきい値よりも長く、
前記区間の音声が無音であるときに、前記区間の動画像
データおよび音声データを再生しないことを特徴とする
動画像処理方法。